Transloadit を使ったコンテンツモデレーションの自動化方法(NSFW)
今日の開発者にとって、セキュリティは最優先で考えるべき事項です。残念ながら、ファイルをアップロードするユーザーが全員、善意を持っているとは限りません。そのようなファイルに対処するための対策が必要です。今回は、さまざまな種類の悪意あるファイルがサーバーやエンドユーザーに届くのを防ぐための方法をいくつか紹介します。
コンテンツモデレーションが重要な理由は?
コンテンツモデレーションは、あらゆるオンラインビジネスに欠かせません。ユーザーは生々しいコンテンツを意図せず目にしたくありませんし、広告主もその隣に広告を表示したくありません。効果的なコンテンツモデレーションはブランドとユーザーの両方を守りますが、専任チームの雇用には多額の費用がかかることがあります。Transloadit は、不要なコンテンツやマルウェアの検出を支援します。さらに、メタデータやファイルハッシュをモデレーションワークフローの判断材料として利用できます。ただし、これらの検査は安全性やファイルの使用許可を保証するものではありません。具体的な方法を見ていきましょう 👇
NSFW コンテンツの自動拒否
当社の /image/describe Robot を使うと、入力画像に基づくタグのリストを生成し、残虐な描写、憎悪の象徴、ヌードなどのタグを含むファイルを除外できます。
提供されるタグの一覧は、AWS と GCP の両方で確認できます。
プロバイダーのラベルは変更されることがあります。このフィルターを運用する前に、別の診断用 Assembly で format: "json" を使い、代表的なテスト画像の /image/describe 出力を確認してください。実際に返されたラベルにフィルターを合わせてから、以下のフィルタリングパイプラインでは
format: "meta" を使ってください。
これを利用した Template を見てみましょう。
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"described": {
"use": ":original",
"robot": "/image/describe",
"explicit_descriptions": true,
"format": "meta",
"granularity": "list",
"provider": "aws"
},
"filtered": {
"use": "described",
"robot": "/file/filter",
"result": true,
"declines": [
["${file.meta.descriptions}", "includes", "Hate Symbols"],
["${file.meta.descriptions}", "includes", "Explicit Nudity"],
["${file.meta.descriptions}", "includes", "Visually Disturbing"]
],
"error_msg": "One file contains explicit content!",
"error_on_decline": true
}
}
}
ここでは、画像の内容を記述するラベルのリストを生成しています。フィルターがこのリスト内に指定した最上位カテゴリのいずれかを検出すると、ファイルが拒否され、Assembly が停止します。Assembly が成功した後にのみ、フィルタリング済みの結果を公開し、元のアップロードファイルは公開しないでください。自動ラベル付けでは、コンテンツの見落としや、問題のない画像の誤検出が起こることがあります。アプリケーションの要件に合わせて、カテゴリと人による確認のルールを選んでください。
著作権メタデータの確認
メタデータだけでは、アップロードしたユーザーに画像の使用許可があるかどうかは判断できません。著作権情報は存在しない場合や、削除されている場合、不正確な場合があり、著作権表示があるだけで、そのアップロードが無許可だとは限りません。メタデータの検査を隠しても、セキュリティ対策にはなりません。
次の Template は、メタデータのフィルターのみを示す例です。著作権フィールドが空でないファイルは結果から除外され、そのフィールドがないファイルは通過します。通過しても、著作権上の許諾が確認されたことにはなりません。使用許可の確認と、必要に応じた人による確認は、この例とは別に行ってください。著作権に関する自動判定として使わないでください。
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"filter": {
"use": ":original",
"robot": "/file/filter",
"result": true,
"accepts": [["${file.meta.copyright}", "empty", ""]],
"error_on_decline": false
}
}
}
マルウェアの検出
当然ながら、ユーザーにアップロードしてほしくないものの代表がマルウェアです。他のユーザーに届く場合でも、システムの重要なマシンに届く場合でも、ウイルスはできる限り早い段階で阻止することが重要です。
当社の /file/virusscan Robot はマルウェアを検出し、スキャンで脅威を検出すると Assembly をキャンセルします。スキャンが正常に完了した後にのみ結果を公開してください。スキャンはリスクを減らしますが、ファイルが無害であることは保証できません。他のアップロード制御も維持してください。現在の提供状況と料金については、Robot のドキュメントと料金ページを参照してください。
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"virus_scanned": {
"use": ":original",
"robot": "/file/virusscan",
"result": true,
"error_on_decline": true
}
}
}
既知のファイルの除外
ユーザーが同じファイルを何千回もアップロードし、何らかの理由で他の防御策をすり抜けてしまう場合は、ファイルハッシュを取得して拒否リストに追加できます。次の例では、SHA-256 ダイジェストを使って空のファイルを拒否します。独自のポリシーに合わせて、そのダイジェストを既知の不要なファイルの SHA-256 に置き換えてください。ファイルのバイト列が変わるとハッシュも変わるため、完全一致の拒否リストでは変更されたコピーを検出できません。
これを目的とした Template を紹介します。
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"hash_files": {
"use": ":original",
"robot": "/file/hash",
"algorithm": "sha256"
},
"filter_files": {
"use": "hash_files",
"robot": "/file/filter",
"result": true,
"error_on_decline": true,
"declines": [["${file.meta.hash}", "===", "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855"]]
}
}
}
つまり、アップロードされた各ファイルのハッシュを生成します。それが除外したいファイルのハッシュと一致すると、そのファイルはフィルターを通過しません。
まとめ
このように、アップロードファイルのスクリーニングにはいくつかの方法があります。いずれか一つの判断材料に頼るのではなく、適切な検査にアクセス制御、安全な保存方法、人による確認を組み合わせてください。
Transloadit では、セキュリティの向上に向けて常に取り組んでいます。次はぜひセキュリティページで、そのための取り組みをご覧ください。
