Rust で Rayon と SHA-256 を使ったファイルの並列ハッシュ計算
Rust で複数ファイルのハッシュをまとめて計算するには、各ファイルをストリーミングで SHA-256 に渡し、別々のファイルを Rayon で並行処理します。以下のコマンドは、ファイル全体をメモリに読み込まずに、各ファイルの標準的な SHA-256 チェックサムを出力します。並列ワーカーでバッチのスループットが向上する場合もありますが、単一ファイルの処理は逐次実行のままで、ストレージが高速化の限界になることもあります。
システム要件
この手順では、Linux 上の Bash、Rust と Cargo 1.98.1、ring 0.17.14、Rayon 1.12.0 を使用します。Debian 12 の ARM64 コンテナでテストしました。Rust ツールチェーンと、ring のビルド用に C コンパイラーとリンカーをインストールしてください。検証手順では GNU sha256sum も使用します。初回ビルド時には、Cargo が依存関係をダウンロードするためのネットワーク接続が必要です。
プロジェクトの作成
新しい file-hashing プロジェクトを配置する親ディレクトリで、次を実行します。
cargo new --bin --edition 2024 --vcs none file-hashing &&
cd file-hashing &&
cargo add ring@=0.17.14 rayon@=1.12.0
&& による連結は、プロジェクトの作成やディレクトリ移動に失敗すると停止します。file-hashing がすでに存在する場合、Cargo は置き換えを拒否します。未使用の場所を選び、ブロック全体を再実行してください。セットアップに成功してから、新しいプロジェクトディレクトリ内で残りの手順を進めてください。
= の指定により、直接依存する二つのパッケージを固定します。それらの依存先についても解決済みのバージョンを維持するため、生成された
Cargo.lockをマニフェストと一緒に保持してください。
受信側が想定するチェックサムアルゴリズムの選択
この例では、出力を sha256sum と直接比較できるように SHA-256 を使います。BLAKE2 のダイジェストは、計算に使うライブラリにかかわらず、SHA-256 の参照値とは一致しません。実装を最適化する前にアルゴリズムを選んでください。
各ファイルのストリーミング処理とバッチの並列化
生成された src/main.rs を、次の完全なプログラムで置き換えます。Cargo が生成したひな形のソースを意図的に置き換える手順です。
use rayon::prelude::*;
use ring::digest::{Context, SHA256};
use std::fs::File;
use std::io::{self, ErrorKind, Read};
use std::path::PathBuf;
use std::process::ExitCode;
fn sha256_digest<R: Read>(mut reader: R) -> io::Result<String> {
let mut context = Context::new(&SHA256);
let mut buffer = [0u8; 8192];
loop {
let count = match reader.read(&mut buffer) {
Ok(count) => count,
Err(error) if error.kind() == ErrorKind::Interrupted => continue,
Err(error) => return Err(error),
};
if count == 0 {
break;
}
context.update(&buffer[..count]);
}
Ok(context
.finish()
.as_ref()
.iter()
.map(|byte| format!("{byte:02x}"))
.collect())
}
fn main() -> ExitCode {
let files: Vec<PathBuf> = std::env::args_os().skip(1).map(PathBuf::from).collect();
if files.is_empty() {
eprintln!("Usage: file-hashing <file> [file ...]");
return ExitCode::from(2);
}
let result = files.par_iter().try_for_each(|path| -> io::Result<()> {
let digest = File::open(path).and_then(sha256_digest).map_err(|error| {
io::Error::new(error.kind(), format!("{}: {error}", path.display()))
})?;
println!("{digest} {}", path.display());
Ok(())
});
match result {
Ok(()) => ExitCode::SUCCESS,
Err(error) => {
eprintln!("{error}");
ExitCode::FAILURE
}
}
}
各ワーカーは、8 KiB の読み取りバッファーと、それぞれ専用の
ring::digest::Contextを保持します。update を繰り返し呼び出してファイルのバイト列を順にハッシュ計算し、finish で完全なダイジェストを生成します。ループでは実際に読み取ったバイトだけをハッシュ計算し、短い読み取りの後も処理を続け、ErrorKind::Interruptedの場合は再試行します。それ以外の読み取りエラーでは、不完全なデータのチェックサムではなく失敗を返します。
Rayon の
try_for_eachは、異なるパスの処理を並行してスケジュールします。出力順序は未規定です。ファイルを開く操作や読み取りに失敗すると、コマンドはパスを stderr に出力し、ステータス 1 で終了します。Rayon は残りの処理の停止を試みますが、ほかのワーカーがすでにチェックサムを出力している場合があります。この場合、バッチは未完了として扱ってください。引数がない場合は、使用方法を出力してステータス 2 で終了します。
実行とダイジェストの確認
小さなテスト用ファイルを二つ作成して、プログラムを実行します。サブシェルの set -C は既存のサンプルファイルの上書きを拒否し、各 && は失敗後に後続コマンドが実行されるのを防ぎます。
(
set -C
printf abc > abc.txt &&
: > empty.txt &&
cargo run --release --locked -- abc.txt empty.txt
)
次の二行が、いずれかの順序で出力されます。abc.txt のテスト用ファイルは改行を含まず、三バイトで構成されます。
ba7816bf8f01cfea414140de5dae2223b00361a396177a9cb410ff61f20015ad abc.txt
e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 empty.txt
独立した実装でダイジェストを比較します。
sha256sum abc.txt empty.txt
ハッシュ計算を繰り返すには、作成済みのファイルを再利用します。
cargo run --release --locked -- abc.txt empty.txt
このコマンドは、入力を読み取り、stdout に出力するだけです。Cargo が target/release/ 内の実行ファイルを再ビルドすることはありますが、入力ファイルを置き換えることはありません。自分のファイルのパスは -- の後に渡し、スペースを含むパスは引用符で囲んでください。出力されるパスは表示用です。この例では、sha256sum のファイル名のエスケープや、チェックサム検証モードは実装していません。
使用するストレージでのワーカー数の比較
リリースビルドを作成したら、コンパイル時間を除外するため、実行ファイルを直接実行して計測します。Rayon 1.12 では、RAYON_NUM_THREADSでワーカー数を設定します。
time env RAYON_NUM_THREADS=1 ./target/release/file-hashing abc.txt empty.txt &&
time env RAYON_NUM_THREADS=4 ./target/release/file-hashing abc.txt empty.txt
これらの小さなテスト用ファイルは、性能ではなくコマンドの動作を確認するためのものです。経過時間を比較する前に、両方のコマンドのパスを、実際の処理を代表する同じバッチのパスに置き換えてください。実行順序を入れ替えながら繰り返し測定してください。OS のファイルキャッシュにより、後の実行が速くなることがあります。ワーカーを増やすと、ハッシュ計算がボトルネックの場合には効果がある一方、並行した読み取りがストレージ帯域幅を奪い合う場合には、遅くなることもあります。ワークロードに適したワーカー数を使用してください。高速化は保証されません。
信頼できる参照値との比較
ダウンロードを検証するには、信頼できる情報源から取得した配布元の想定 SHA-256 値と、ダイジェストを比較してください。ファイルと参照値の両方を誰かが置き換えられる場合、チェックサムだけではファイルの真正性を確認できません。たとえば、Ubuntu は、ダウンロードを検証する前にチェックサムファイルの署名を検証します。
ハッシュ計算中はファイルを変更しないでください。このプログラムはストリームを読み取るため、別のプロセスが変更中のファイルについて、一貫したスナップショットを取得することはできません。
