この記事は穏やかなぴょこりんクラスタ Advent Calendar 2025 - Adventarのために書いたものです。このアドベントカレンダーは、こういう趣旨のものです。

サマリ

Proxmox Backup Serverのバックアップ用データストアが満杯になったら、sshでログインして手動で消せばOK
消し方をミスるとデータストアを全消しして再作成する羽目になる(自分はそうなった)

はじめに

我が家のおうちITシステムにはProxmoxを使っています(参考: 第5世代おうちITシステム - お菓子食べる部)。これ作ったときにmini pcとHDD x2が余ったので、余ったmini pc上でProxmox Backup Serverも動かして、自己満足的にバックアップも取るようになりました。

で、しばらく調子よく動いてたんですが、バックアップサーバ上でPruneとGCの設定を忘れていたようで、

2025-11-24 03:31:52 ERROR: backup write data failed: command error: write_data upload error: pipelined request failed: inserting chunk on store 'backup' failed for 912d99a44b7eb8a051099c86da835a90d6bdc4e5d3f88d9b85622409ac5f4f8a - mkstemp "/mnt/datastore/backup/.chunks/912d/912d99a44b7eb8a051099c86da835a90d6bdc4e5d3f88d9b85622409ac5f4f8a.tmp_XXXXXX" failed: ENOSPC: No space left on device

こんな感じで失敗するようになりました。慌ててGCやろうとしたんですが、満杯でGCすら動きません。自己満足とはいうものの、最近はおうちITシステムにかなり依存するようになったので、安心のためにも復旧させようと思います。今回は、このときの試行錯誤の話です。

試行錯誤1: sshログインしてファイルを消す ---> 手が滑って失敗

Disk full - unable to run garbage collection | Proxmox Support Forum ここに似たような問題で困ってる人がいました。.chunkの中身を消したらよさそうです。 .chunkの中身を消すことに関して、Proxmoxの元中の人は

If you want to lose your data, sure

と言ってるので、邪道っぽくはありますね。まあでも今壊れてないし最悪全部消してもいいだろうという適当な見通しの元、これをやることにしました。やり方は簡単で、sshログインしてrmするだけです。いくつか消したらGCが動き始めました。よかったよかった・・・と思ったらなんかwarning出てるな。

025-11-30T10:09:59+09:00: warning: unable to access non-existent chunk 4215922e4b808b2fddfd7227db674524a61fbd0b0baeb7eb7bad36ced995fb22, required by "/mnt/datastore/backup/vm/100/2025-11-22T18:30:00Z/drive-scsi0.img.fidx"

はい、お察しの通り、ここで自分は失敗しました。間違って最新のchunkをいくつか消してしまいました*1ので、最新世代のバックアップが壊れました。さて、どうするか。

試行錯誤2: バックアップを消して再作成 ---> 失敗

GCはできているようですので、ほっといたら壊れたバックアップもGCされるかなと思いきや、そうはなりませんでした。どうにもならないので、バックアップを消して再作成することにしました。

バックアップ消せばチャラになるだろうと思って、Proxmoxからバックアップ作成を指示したら、そんなことはありませんでした。。。バックアップの親玉ないのにダメなの？

ERROR: backup write data failed: command error: write_data upload error: pipelined request failed: inserting chunk on store 'backup' failed for e5a40f10ad289fc215b56f9419b0faec547de7b7eed4039693ad375b8f4b1b0a - mkstemp "/mnt/datastore/backup/.chunks/e5a4/e5a40f10ad289fc215b56f9419b0faec547de7b7eed4039693ad375b8f4b1b0a.tmp_XXXXXX" failed: ENOENT: No such file or directory

試行錯誤3: データストアを消して再作成 ---> 成功

もうバックアップ消しちゃったし、データストアを消したところで大差はありません。Proxmox Backup Serverから、データストアをまず消しました。たしかKeep configured jobs and permissionsにはチェック付けなかった気がするけど、記憶が定かではありません。

で、同名のデータストアを作り直してリトライすると、今度は何も言わずにバックアップを作ることができました。よかったよかった。

終わりに

てへぺろミスしないように落ち着いて作業しようね。

*1:手癖でls -lshrtして下から選んだので、最新のものを消した・・・