セキュリティ強化:ImageMagick の脆弱性修正
2019年6月20日木曜日、Transloadit のサーバーで root 権限を取得できる脆弱性が報告され、サポート責任者が緊急警報を発しました。root はマシン上で得られる最高の権限であり、セキュリティエンジニアや技術系スタートアップの創業者にとって最悪の悪夢です。

この記事では、侵入の経緯と影響、再発防止のために実施した対策、そして今後実施する予定の対策を公開します。
背景
Transloadit は、メディアの加工や変換にさまざまなエンコードツールを使用しています。画像処理には ImageMagick を使用しており、このプロジェクトを長年支援してきました。今日に至るまで、ImageMagick には多大な恩恵を受けています。
Transloadit のお客様は、当社のサービスを基盤として事業を構築し、その基盤の堅牢性を期待しています。そのため、ソフトウェアの変更やアップグレードは容易ではありません。変更によって、微妙なものから大きなものまで、動作に違いが生じるためです。そこで、これまでは新しいスタックバージョンを公開しつつ、利用するかどうかはお客様に選んでいただいてきました。お客様は都合のよいタイミングで新しいスタックをテストでき、その間も旧バージョンは、期待どおりの信頼できるサービスを提供し続けます。
社内で imagemagick_stack v1.0.0 と呼んでいる最も古いバージョンは、10年間にわたりサポートしてきました。以前から非推奨にするつもりでしたが、慎重に進める必要があります。お客様の基盤から不可欠な要素を取り除けば、事業が立ち行かなくなるおそれがあるためです。どのソフトウェアでも、修正が必要なバグや脆弱性が見つかります。ImageMagick も例外ではありません。長年の間に、imagemagick_stack v1.0.0 では深刻な脆弱性がいくつか発見されました。そのうちの一つは、細工した SVG 画像に隠されたシステムコマンドを実行できるというものでした。
この状況で、Transloadit は板挟みになります。変わらない堅牢な基盤を提供する必要がある一方で、お客様を危険にさらさないために、脆弱なソフトウェアをアップグレードする必要もあります。私たちは第三の選択肢として、脆弱なソフトウェアを段階的に非推奨にする方法を取ってきました。お客様が旧バージョンから徐々に移行できるよう支援しながら、問題のあるソフトウェアを封じ込めることで、移行のための時間を確保してきたのです。
封じ込め対策は次のとおりです。
- エンコード用マシンのアクセス範囲を制限。この場合は、ハッシュ化された一時ファイル、S3、およびキューからのジョブ取得のみに限定
- SVG 画像などをセキュリティスキャンし、システムコマンドを含む画像を、ImageMagick が処理する前に拒否
- root ユーザーがプロセスメモリに注入した秘密情報を除き、いかなる秘密情報にもアクセスできない非特権ユーザーでプロセスを実行
発生した事象
6月20日、GitLab のシニアセキュリティエンジニア Jeremy Matos 氏から、ハッカーが当社サーバーの一台で root アクセスを取得したとの報告を受けました。GitLab はHackerOne キャンペーンを実施していました。これはハッカーに脆弱性の発見を呼びかけ、侵入に成功し、責任ある方法で報告した場合に報奨金を支払うものです。GitLab は 2017年に Gitter.im を買収しました。Gitter(オープンソースプロジェクト向けの Slack のようなサービス)は、2014年から当社のサービスを利用していました。Gitter でチャットメッセージと一緒に画像をアップロードすると、そのアップロードとリサイズが Transloadit のプラットフォームで処理される場合がありました。
セキュリティ研究者の Sergey Kashatov 氏は、このプログラムに参加し、悪意のあるペイロードを含む画像をアップロードして、GitLab の Gitter.im への侵入を試みました。同氏は GitLab の脆弱性を発見したと考えていましたが、その時点では知らなかったことに、画像は当社のサーバーで処理され、結果として Transloadit が侵害されました。Jeremy 氏はすぐにこの事実に気づき、Sergey 氏とのやり取りを仲介してくれました。その後、当社から Sergey 氏に直接連絡し、root アクセスを取得した方法を確認できました。
発生の仕組み:「根本原因」の分析
Richard I. Cook 氏は、How Complex Systems Failで、次のように説明しています。
「事故の後で、その事故を『根本原因』に帰するのは根本的に誤っています。顕在化した障害には複数の不具合が必要なため、事故の独立した『原因』は存在しません。事故には複数の寄与要因があります。」
程度の違いはあり、主な異常要因を指摘するだけで十分な場合もあるでしょう。しかし今回は、複数の要因を説明することが有益だと考えています。
前述のとおり、ImageMagick スタック v1.0.0 の脆弱性は認識しており、次の対策によって潜在的な被害を封じ込めていました。
非特権ユーザーでのプロセス実行
この安全策は、今年の初めに新しいプロセスランナーを導入した際に機能しなくなりました。メタデータの読み取りの遅さを改善するため、エンコード用マシンのマルチコア性能をより有効に活用し、同じプロセスを複数起動して処理を並列化しようとしました。そのために、本番環境ですでに十分な利用実績がある既存のオーケストレーターを導入しました。
しかし、新しいスーパーバイザーへの移行時に、引き続き権限のないユーザーでプロセスを起動しているかを確認できていませんでした。実際には、メタデータのスキャンプロセスが
ubuntu ユーザーで起動されていました。このユーザーには、より多くのファイルへのアクセス権限があり、root になることさえできました。この問題が見過ごされた理由は二つあります。A)本番環境で、プロセスが引き続き制限付きユーザーで動作していることを確認する監視がありませんでした。B)開発とテストでは、便宜上すべてを同じユーザーで実行しているため、多くの開発者にとって、この状態は通常どおりに見えました。
SVG 画像などのセキュリティスキャン
悪意のあるペイロードを拒否するフィルターは、考えられるすべての攻撃経路をスキャンしていましたが、インクルード先を再帰的にスキャンしていませんでした。SVG ファイルは、別のファイルをインラインで組み込むために参照できます。その意味で SVG ファイルは HTML ファイルによく似ています。描画方法を指定するさまざまな XML タグで構成され、別の画像を含めることもあります。他のハッカーが悪意のあるペイロードを直接送信する方法を選んだのに対し、Sergey 氏は、悪意のあるシステムコマンドを含む別ファイルを参照する、有効な SVG をアップロードしました。このインクルードを偽装し、拡張子を .jpeg にすることで、ImageMagick に渡しても安全だとシステムが判断するよう、さらに偽装していました。
影響
Sergey 氏は責任ある方法でこの問題を開示し、データの窃取や削除は一切行いませんでした。もちろん、同氏の発見前に別のハッカーがこの脆弱性を悪用し、データを窃取または削除した可能性はあります。調査ではそれを示す証拠は一切見つかっていませんが、完全には否定できません。
悪意のあるハッカーがこの脆弱性を悪用し、エンコード用マシンへの root アクセスを取得していた場合、次のことが可能でした。
- 一時ファイルの閲覧。これらは Robot の入力または出力からなり、エンコード用マシン上に短時間だけ存在します。ただし、一時ファイルの名前にはダッシュを除いた UUIDv4 を使用しており、元のユーザーやお客様を特定することはできません。
- Transloadit の S3 バケットへのアクセス
この衝撃的な発見の中で、わずかながら救いだったのは、数年前にすでにエンコード用マシンのアクセス範囲を制限していたことです。そのため、root アクセスがあっても、マシンから S3 以外の AWS リソース、当社のデータベース、お客様の秘密情報にはアクセスできませんでした。
是正措置
当然ながら、直ちに次の措置を講じました。
- 外部参照された悪意のあるペイロードにも対応するようフィルタリングを改善し、脆弱なスタックでは、このまれな種類の画像を許可しないようにしました。現在は Assembly がエラーで終了し、スタック
v2.0.3へのアップグレードを求める警告を出します。 - 新しいスーパーバイザープロセスを削除し、非特権ユーザーでのプロセス実行に戻しました。また、本番環境に監視を追加し、この状態が再び変わった場合に緊急通知を受けるようにしました。
- ImageMagick が独自にネットワークリクエストを行うことを防ぐ C ライブラリを作成しました。
- 当社の S3 バケット用など、すべてのキーをローテーションしました。また、エンコード用マシンの IAM アクセスをさらに制限し、必要な少数のバケット(tmp.transloadit.com など)への書き込みアクセスのみを許可しました。キーのローテーションも大幅に簡単にし、一般的な予防措置として即座に実施できるようにしました。
- Sergey 氏の調査に対して報酬を支払いました。GitLab には、自社が管理していないシステムで発見された脆弱性に報奨金を支払えないという、当然の方針があるためです。
- すべてのマシンを Ubuntu の最新 LTS である bionic にアップグレードしました。これにより、今後さらに 4年間のパッチ提供が保証され、エンコードプロセスをさらに隔離するための追加ツールも利用できます。
これで当面の問題は解決するはずです。Sergey 氏には Transloadit にこの脆弱性がもはや存在しないことを確認してもらい、同氏もそれを認めています。ただし、これで対策が終わったわけではありません。次の項目が残っています。
- 開発とテストでも非特権ユーザーを使用すること。開発が多少遅くなる可能性はありますが、本番環境と開発環境のこの違いによって、今回の脆弱性が見過ごされました。
- 新しい OS のツールを活用してエンコードプロセスをさらに隔離し、処理中の一時ファイルだけにアクセスを許可すること。
- imagemagick_stack v1.0.0 の削除に向け、非推奨化の手続きを開始すること。利用を続けているお客様を把握し、新しいスタックのテストを促す警告を出します。また、メールで連絡し、より新しいスタックへ円滑に移行できるよう、必要な支援を提供します。最後のお客様が利用を停止した時点で、
v1.0.0を完全に削除します。 - エンコードツール向けに環境変数の許可リストを導入すること。エンコード用マシンが当社の S3 バケットへの書き込みアクセスしか持たないとしても、ImageMagick がその情報を知る必要はまったくありません。
推奨事項
パスワードなどへのアクセスはなかったため、お客様側でパスワードをローテーションする必要はないと考えています。Sergey 氏より前にこの攻撃が成功していたことを示す情報もありません。エンコード用一時ファイルへの不正アクセスが最悪のシナリオだと考えていますが、幸い、悪い面ばかりではありません。これらの一時ファイルは匿名化されており、ダウンロード中のため完全ではない場合も多く、エンコードとアップロードが完了すると直ちに削除されます。
それでも、ハッカーが一時ファイルを取得した可能性は否定できません。また、メディア自体に個人を特定できる情報が含まれる可能性も当然あります。たとえば、名札を着けた人物の写真や、居場所が分かる道路標識などです。Google や Facebook に渡れば、それらの企業が写っている人物を特定できるかもしれません。そのため、当社がお客様に開示しているのと同様に、お客様からもご自身のお客様に開示することをお勧めします。
幸い、この脆弱性による認証情報の漏えいはありませんでしたが、安心しきってよい理由にはなりません。最高水準のセキュリティを目指して日々取り組んでいますが、100% のセキュリティは常に幻想にすぎません。そのため、単一のバケットやフォルダーに書き込むだけのために、すべてに対する root アクセスを当社に付与するよりも、そのバケット、あるいはフォルダーだけへの書き込みアクセスを付与するほうが安全です。
まだ対応していない場合は、Robot の
/image/resize を
"imagemagick_stack": "v2.0.3" にアップグレードすることもお勧めします。
まとめ
今回の問題を、私たちは非常に重く受け止めています。何としてもお客様の安全を守ることは Transloadit の存続に不可欠であり、この会社は私たちにとってすべてです。過去数週間、同様の事態を二度と起こさないよう、昼夜を問わずアップグレードの展開に取り組んできました。そのために、Sergey 氏や同氏のような脆弱性研究者とも協力しています。今後も追加のアップグレードを予定していますが、現時点でこのセキュリティ問題を開示する必要があると判断しました。この開示によって、お客様がご自身の事業に適した方法で対応するための時間を、十分に確保できることを願っています。
当社の不手際により、本番環境にこの脆弱性が存在する事態を招いたことを、心よりお詫び申し上げます。この記事を読んでご質問やご懸念がありましたら、どうぞ遠慮なくご連絡ください。必要な補足説明は、もちろん喜んでいたします。
