Java のメモリマッピングによるファイル読み取り
Java の FileChannel.map() では、MappedByteBuffer を通じてファイルのバイト列を読み取れます。具体的な処理で試せるよう、以下のプログラムではメモリマッピングまたはバッファー読み取りを使って、ファイルの SHA-256 チェックサムを計算します。両モードは同じバイト列を処理するため、手元のファイルで性能を比較する前に、結果の正しさを確認できます。
メモリマップトファイルの仕組み
マッピングは、仮想メモリを通じてファイルの領域にアクセスできるようにします。バイト列へのアクセス時には、OS がファイルのページを RAM に読み込む必要がある場合があります。ファイルをマッピングしても、すべてのバイトがすでにメモリに常駐しているわけではありません。Java のダイレクトバッファーのドキュメントでは、マップトバッファーを、内容が通常の Java ヒープの外に置かれるダイレクトバッファーとして説明しています。
この例では、バイト列をデコードせずにハッシュ化します。テキスト、UTF-8 文字、バイナリデータのいずれも同じ処理経路を通ります。エンコーディングの検証や改行の正規化は行いません。一方、マッピング全体を String にデコードすると、デコードされた文字と生成される文字列には、テキストサイズに比例するヒープ領域が必要です。マッピングによって、この割り当てが不要になるわけではありません。
重要な制限事項
内容が変化しない通常ファイルと 64 ビットの JDK 21 を使用してください。以下のコマンドは Bash を使用し、Linux 上の OpenJDK 21.0.12.1 でテストしています。ここでは Windows と macOS でのファイルの動作はテストしていません。
引数が三つの FileChannel.map() では、領域ごとの上限は Integer.MAX_VALUE バイト、つまり 2,147,483,647 バイト(2 GiB より一バイト少ないサイズ)です。以下のマッピングモードは、これを超えるファイルを拒否します。対になるバッファーモードでは、再利用可能な 64 KiB のバッファーを使って、より大きなファイルも読み取れます。複数のマッピングを使う方法もありますが、この例では有効期間とサイズ制限を明確にするため、一つの領域を使用します。
どちらの読み取りでも、処理中に入力を変更したり切り詰めたりしないでください。読み取り専用のマッピングでもファイルの内容は固定されません。MappedByteBuffer の仕様で説明されているように、切り詰めによってマッピングされたバイトにアクセスできなくなる場合があります。どちらのモードも、別のプロセスが書き込み中のファイルのスナップショットは提供しません。
Java NIO によるメモリマップトファイルの利用
任意の作業ディレクトリに、次のコードを FileChecksum.java として保存してください。JDK 以外の依存関係は不要です。
import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
import java.nio.file.Path;
import java.nio.file.StandardOpenOption;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
import java.util.HexFormat;
public class FileChecksum {
private static byte[] checksum(Path path, boolean mapped)
throws IOException, NoSuchAlgorithmException {
MessageDigest digest = MessageDigest.getInstance("SHA-256");
try (FileChannel channel = FileChannel.open(path, StandardOpenOption.READ)) {
long size = channel.size();
if (size == 0) {
return digest.digest();
}
if (mapped) {
if (size > Integer.MAX_VALUE) {
throw new IllegalArgumentException(
"Mapped mode supports at most 2147483647 bytes; use buffered mode");
}
MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_ONLY, 0, size);
digest.update(buffer);
} else {
ByteBuffer buffer = ByteBuffer.allocate(64 * 1024);
while (channel.read(buffer) != -1) {
buffer.flip();
digest.update(buffer);
buffer.clear();
}
}
}
return digest.digest();
}
public static void main(String[] args) throws IOException, NoSuchAlgorithmException {
if (args.length != 2 || !(args[0].equals("mapped") || args[0].equals("buffered"))) {
throw new IllegalArgumentException(
"Usage: java FileChecksum <mapped|buffered> <path>");
}
byte[] result = checksum(Path.of(args[1]), args[0].equals("mapped"));
System.out.println(HexFormat.of().formatHex(result));
}
}
MessageDigest.update(ByteBuffer) は、バッファーの position から limit までのバイト列を消費します。バッファーモードでは、flip() によって、短い最後のチャンクも含め、直前に読み取ったバイト列だけを処理対象にします。clear() はバッファーを再利用できる状態にします。空ファイル用の分岐では、マッピングを作成せずにダイジェストを計算します。
末尾に改行を付けず、abc を含む三バイトの入力を作成し、コンパイルして両モードを実行してください。サブシェルの noclobber 設定は、既存の example.txt の上書きを拒否します。コンパイルすると、この作業ディレクトリ内の FileChecksum.class が置き換わります。チェックサムの計算では、入力を読み取り、標準出力に結果を表示するだけです。
(set -o noclobber; printf 'abc' > example.txt) &&
javac FileChecksum.java &&
java FileChecksum mapped example.txt &&
java FileChecksum buffered example.txt
どちらのコマンドも、次のチェックサムを出力するはずです。
ba7816bf8f01cfea414140de5dae2223b00361a396177a9cb410ff61f20015ad
既存のファイルを使う場合は、ファイルの作成を省略し、いずれかのモードにパスを渡してください。スペースを含むパスは引用符で囲みます。空ファイルでも処理は成功し、e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 を出力します。ファイルが存在しない場合、引数が不正な場合、マッピングがサイズ上限を超える場合は、例外が発生します。Java は診断情報を標準エラー出力に書き込み、非ゼロのステータスで終了します。読み取りに失敗した場合、プログラムはチェックサムを出力しません。
性能に関する考慮事項
マッピングには初期設定のコストがかかります。FileChannel のドキュメントでは、少量のデータなら、従来の方法で読み取るほうがマッピングの作成よりも低コストになる場合があると説明しています。また、順次読み取りによるチェックサム計算ではハッシュ化にも時間がかかるため、ファイルへのアクセスが速くなっても、全体の実行時間はほとんど変わらない場合があります。
両モードで、マッピングのサイズ上限内に収まる、内容が変化しない同じ代表的なファイルを使用してください。まず、ダイジェストが一致することを確認します。Bash では、以下のコマンドで JVM の起動、ファイルを開く処理、マッピングまたはバッファーの割り当て、ハッシュ化、チャネルを閉じる処理を含む、コマンド全体を測定します。
time java FileChecksum mapped example.txt &&
time java FileChecksum buffered example.txt
両コマンドの example.txt を、代表的なファイルに置き換えてください。三バイトの例は正しさの確認用であり、速度比較には適していません。測定を繰り返し、実行順序を逆にし、JDK、JVM オプション、入力、マシンの負荷を同じ条件に保ってください。最速の実行結果だけでなく、経過時間のばらつきを比較します。先行する読み取りによって OS のファイルキャッシュにデータが格納されることがあるため、初回実行と繰り返し実行の観測結果は分けて報告してください。新しい JVM でも、ファイルキャッシュが空とは限りません。これらの測定でわかるのは、このコマンドの実行にかかる時間です。長時間稼働するサービスや、ランダムアクセスのワークロードの性能を予測するものではありません。
ベストプラクティス
try-with-resources はチャネルを閉じますが、チャネルを閉じてもバッファーのマッピングは解除されません。バッファーがガベージコレクションで回収されるまで、マッピングは有効なままです。そのため、長時間稼働するアプリケーションでは、マッピングを繰り返すと、回収される前に蓄積することがあります。この短いコマンドは一つのファイルを処理した後に JVM を終了します。サービス内での確定的なマッピング解除を示すものではありません。
ヒープ使用量が少ないことを、総メモリ使用量が少ないことと同一視しないでください。マッピングは仮想アドレス空間を予約し、アクセスされたファイルのページは物理メモリを消費します。このコードはファイル全体を格納するヒープ上の配列を使いませんが、ダイジェストの実装が内部でチャンクをコピーする可能性はあります。API の領域上限を下回っていても、利用可能なアドレス空間やシステムリソースによってはマッピングできない場合があります。
スレッドセーフに関する考慮事項
この例はシングルスレッドのまま使用してください。ファイルチャネルは並行利用をサポートしますが、スレッド間でバッファーを共有する場合は同期が必要です。読み取り専用バッファーでも position は可変で、digest.update() によって進みます。各タスクに専用のバッファーとダイジェストを持たせれば、これらの可変オブジェクトの共有を避けられます。ただし、基になるファイルを別の書き込み元から保護するものではありません。
主なユースケース
一度の走査でチェックサムを計算するなら、バッファー読み取りがわかりやすい出発点であり、単一領域のサイズ制限もありません。内容が変化しないファイル内で、パーサーがバイトオフセットを使ってレコードを繰り返し参照する場合は、マッピングを検討する価値があります。マップトバッファーでは、参照のたびに明示的な読み取りを行わずに、インデックスでアクセスできます。動作中の実装を変更する前に、そのアクセスパターンを別途測定してください。チェックサムの比較だけでは、その用途での高速化は確認できません。
