GNU tar による増分バックアップの作成と復元
GNU tar の --listed-incremental オプションで、フルバックアップを作成し、その後の変更をアーカイブします。この手順では、ローカルのバックアップチェーンを作成し、ファイルの追加・変更・削除の結果も含め、内容を検証する復元テストを行います。バックアップごとにスナップショットのコピーを保持するため、実行に失敗しても、最後に成功したバックアップの状態が先に進むことはありません。
小規模なバックアップ元の準備
Linux、Bash、GNU tar、gzip、標準の diff およびファイル操作ユーティリティを使用します。この例は GNU tar 1.35 と Bash 5 でテストしています。tar --version が GNU tar を示すことを確認してください。GNU の増分アーカイブは、ほかの tar 実装ではサポートされない可能性のある拡張を使用します。GNU tar の増分バックアップマニュアルを参照してください。
tar --version
bash --version
gzip --version
以下の各ブロックを、同じ開始ディレクトリから Bash で実行してください。丸括弧により、ディレクトリの変更とシェルオプションの適用範囲を各ブロック内に限定します。セットアップでは、既存の tar-demo ディレクトリの再利用を拒否します。
(
set -euo pipefail
mkdir tar-demo
cd -- tar-demo
mkdir -p project/cache backups
printf 'version one\n' > project/notes.txt
printf 'keep this file\n' > project/unchanged.txt
printf 'remove this file later\n' > project/obsolete.txt
printf 'rebuildable cache\n' > project/cache/item.txt
)
ここに示すように、backups はソースツリーの外に置き、アーカイブに自身の出力が含まれないようにしてください。バックアップ中に書き込みが行われないソースを使用してください。この演習はローカルディレクトリ内の通常のファイルを対象としています。稼働中のデータベースの整合性のあるバックアップを作成したり、あらゆる種類のシステムメタデータを保持したりするものではありません。
各バックアップとスナップショットの保存
スナップショットファイルには、前回のバックアップ時に tar が確認した状態が記録されます。スナップショットがなければ、フルバックアップ(レベルゼロのバックアップ)が開始されます。既存のものを再利用すると、そのスナップショット以降の変更が記録され、作成中に tar がスナップショットを更新します。次のアーカイブを作成する前に前回のスナップショットをコピーし、前回のコピーは変更せずに保持してください。
このスクリプトを tar-demo/backup.sh として保存してください。第1引数は新しいバックアップディレクトリの名前です。省略可能な第2引数は、前回成功したバックアップの名前です。名前には ASCII の英字、数字、アンダースコア、ハイフンを使用できます。
#!/usr/bin/env bash
set -euo pipefail
unset TAR_OPTIONS
cd -- "$(dirname -- "$0")"
if (( $# < 1 || $# > 2 )); then
printf 'Usage: bash backup.sh NAME [PREVIOUS]\n' >&2
exit 2
fi
for name in "$@"; do
case "$name" in
''|*[!a-zA-Z0-9_-]*)
printf 'Invalid backup name: %s\n' "$name" >&2
exit 2
;;
esac
done
output="backups/$1"
previous=${2:-}
if [[ -n "$previous" ]]; then
for file in complete archive.tar.gz state.snar; do
if [[ ! -f "backups/$previous/$file" ]]; then
printf 'Previous backup is incomplete: %s\n' "$previous" >&2
exit 1
fi
done
fi
# Reserve a new directory before installing cleanup that can remove it.
mkdir -- "$output"
trap 'rm -rf -- "$output"' EXIT
trap 'exit 1' HUP INT TERM
if [[ -n "$previous" ]]; then
cp -- "backups/$previous/state.snar" "$output/state.snar"
fi
tar --create --file=- \
--listed-incremental="$output/state.snar" \
--exclude='project/cache' \
-- project | gzip > "$output/archive.tar.gz"
gzip --test -- "$output/archive.tar.gz"
touch -- "$output/complete"
trap - EXIT
printf 'Created %s\n' "$output"
先行バックアップを指定せずに、一度実行します。
bash tar-demo/backup.sh 00-full
これにより、backups/00-full/archive.tar.gz、state.snar、空のマーカー complete が
tar-demo 内に作成されます。このマーカーは、アーカイブの作成と gzip による検証が完了したことを記録します。復元テストの代わりにはなりません。出力ディレクトリがすでに存在すると、入力が非対話式の場合でも、スクリプトは内容を変更する前に失敗します。バックアップは同時に実行せず、一度に一つだけ実行してください。
除外設定の統一
引用符で囲んだ --exclude='project/cache' は、対象ディレクトリとその内容を除外します。チェーン全体でソースパスと除外設定を統一してください。バックアップ対象を変更する場合は、新しい名前でフルバックアップを開始してください。find -mtime で最近のファイルを選択する方法では、この手順で得られる、削除済みディレクトリエントリの記録は得られません。tar にソースディレクトリを走査させてください。
gzip は各アーカイブを個別に圧縮します。変更されたファイルを判定するものではありません。圧縮方式の選択については、tar と Zstd・LZ4 の併用を参照してください。
変更の順次記録
ファイルを一つ変更し、別のファイルを追加し、不要になったファイルを削除します。短い待機時間を挟むことで、時刻の分解能が粗いファイルシステムでも、この小規模な例のタイムスタンプを区別できるようにします。GNU tar の増分選択はタイムスタンプに依存するため、チェーンの途中で時計を戻さないでください。
(
set -euo pipefail
cd -- tar-demo
sleep 1
printf 'version two\n' > project/notes.txt
printf 'new file\n' > project/added.txt
rm -- project/obsolete.txt
bash backup.sh 01-change 00-full
)
変更ファイルのアーカイブを確認します。
tar --list --gzip --file=tar-demo/backups/01-change/archive.tar.gz
このアーカイブには project/、project/notes.txt、project/added.txt が含まれます。順序は異なる場合があります。ディレクトリエントリには増分メタデータも含まれます。unchanged.txt は引き続きフルバックアップに依存し、obsolete.txt の削除は増分展開時に適用されます。
01-change を先行バックアップとして、さらに変更を加えます。
(
set -euo pipefail
cd -- tar-demo
sleep 1
printf 'version three\n' > project/notes.txt
bash backup.sh 02-change 01-change
)
結果のチェーンは 00-full → 01-change → 02-change です。最終状態を復元するには、三つのアーカイブをすべて保持してください。先行バックアップとして再び 00-full を選ぶと、この連続したチェーンを延長するのではなく、そのフルバックアップを基準とする別のバックアップが作成されます。
チェーン全体を空のディレクトリに復元
GNU tar の増分展開では、アーカイブ内のディレクトリに存在しなかったファイルが削除されることがあります。自身が所有する信頼できるアーカイブだけを新しい復元先に復元し、稼働中のソースには決して上書きしないでください。フルバックアップも含め、すべての展開で --listed-incremental=/dev/null を使用してください。展開時にはアーカイブからディレクトリ履歴を読み取るため、保存済みの .snar ファイルは不要です。
(
set -euo pipefail
cd -- tar-demo
mkdir restore
for generation in 00-full 01-change 02-change; do
test -f "backups/$generation/complete"
gzip --test -- "backups/$generation/archive.tar.gz"
tar --extract --gzip --listed-incremental=/dev/null \
--file="backups/$generation/archive.tar.gz" --directory=restore
done
diff --recursive --exclude=cache project restore/project
test ! -e restore/project/obsolete.txt
printf 'Restored files match the source, excluding cache.\n'
)
成功すると、diff は何も出力せず、最終行で比較結果を確認できます。復元された notes.txt には version three が、added.txt には new file が含まれ、unchanged.txt は保持され、obsolete.txt はなくなっています。cache ディレクトリは復元されません。ここで比較するのはファイル名と内容であり、所有者、権限、拡張属性ではありません。
再実行時は、restore ディレクトリがすでに存在すると、展開前に処理を拒否します。復元に失敗すると、ディレクトリに途中までの結果が残る場合があります。エラーを確認し、次のテストには新しい空の復元先を選んでください。部分的な復元結果を、復旧済みのデータとして扱わないでください。
不完全なバックアップの拒否
圧縮処理の成功は、その入力を生成する処理の成功を証明するものではありません。Bash の pipefail オプションを使うと、gzip が部分的なアーカイブの圧縮を正常に完了しても、tar | gzip が失敗すればパイプライン全体が失敗します。その後、スクリプトは自ら確保した新しいディレクトリだけを削除します。前回のアーカイブとスナップショットは変更されないため、問題を解決してから同じ先行バックアップで再試行してください。
このスクリプトに --ignore-failed-read を追加しないでください。GNU tar のドキュメントによると、このオプションを指定すると、入力の欠落や読み取り不能、読み取り中のファイル変更が終了ステータスに影響しなくなります。これは、不完全なバックアップの検出とは逆の動作です。--ignore-failed-readを参照してください。診断メッセージが見える状態を保ち、作成中にファイルが変更された場合のステータス 1 を含め、ゼロ以外の終了ステータスはすべて失敗として扱ってください。変更中のソースに対して再試行する前に、書き込み処理を停止するか、適切なファイルシステムスナップショットを使用してください。
tar --list は、tar がアーカイブ構造を読み取れるかどうかを検証します。tar のヘッダーチェックサムはファイルの内容を対象としません。gzip --testは圧縮ストリームの完全性を検証しますが、入力ファイルの欠落は判定できません。そのため、この手順ではコマンドの失敗を確認することに加え、結果を復元して比較します。この違いについては、GNU tar の破損に関する注意事項で説明されています。
完全なバックアップチェーンの一括保管
成功した各ディレクトリのアーカイブとスナップショットは、一緒に保管してください。復旧にはアーカイブが、チェーンの継続にはスナップショットが必要です。停電や SIGKILL によってクリーンアップのトラップが実行されず、complete のないディレクトリが残る場合があります。バックアッププロセスが一つも動作していない状態で、その不完全なディレクトリを確認し、再試行前に削除してください。先行バックアップとしては使用しないでください。
これらのローカルコピーでは、ディスクの喪失には備えられません。完了したバックアップディレクトリを別のストレージにコピーし、そのコピーからも復元テストを繰り返してください。この例には SSH 転送やアーカイブ分割は実装されていません。ストレージシステムがアーカイブを分割する場合は、gzip による検証と復元の前に、すべての分割片を再結合する必要があります。
フルバックアップと、保持する復旧時点に必要なすべての増分アーカイブを保持してください。経過期間に応じて個々のアーカイブを削除すると、チェーンが壊れる可能性があります。定期的に新しいフルバックアップを開始して復旧手順をテストし、保持ポリシーに従って古いチェーンを一括で廃止してください。
