ImageMagick の新バージョンを公開
Transloadit では、最高のエンコーディング体験を提供したいと考えています。そのための重要な要素の一つが、最新のエンコーディングツールを使うことです。
その実現にオープンソース技術を大いに活用していることは、よく知られています。だからこそ、私たちを支える先人たちに還元するよう意識して取り組んでいます。ImageMagick プロジェクトへのハードウェアの無償提供も、その一例です。
プロジェクトとは密接な関係にありますが、それでもスタックの刷新には大きな困難がありました。
エンコーディングソフトウェアの保守の「楽しい」ところ
お客様は旧バージョンの挙動に依存していることが多く、バグにさえ依存していることがあります。この点は後ほど説明します。数年前、私たちは深く考えずに「単にアップグレード」しようとして、お客様のワークフローを壊してしまいました。OS のアップグレードを挟んでも一貫した体験を提供するには、ImageMagick と、その依存ライブラリ全 31 個をコンパイルする必要があります。そう、31 個です。pixman、pango、ufraw などを追加すると、対応する形式が、Ubuntu で標準の apt-get install imagemagick を使う場合よりも
131 種類多くなるからです。さらに、zlib に至るまでライブラリを含めることで、OS のアップグレードによる後方互換性の破壊も防いでいます。こうして、お客様が事業の基盤として信頼できる、変わらないエンコーディング機能を提供しています。
幅広い形式への対応と継続性の保証に加え、コンパイルには静的バイナリを作れる利点があります。これは、すべての依存関係を組み込んだ単一の実行ファイルです。同じソフトウェアの大きく異なるバージョンを、競合せず簡単に並行実行できるため、お客様が任意に選べるアップグレード経路を提供できます。動画エンコーディングソフトウェアのアップグレードは、この方法で提供してきました。
しかし、今回の画像処理スタックのアップグレードでは、ImageMagick と依存ライブラリ 31 個のコンパイルに 2 時間かかることが問題でした。しかも、これは高性能サーバーで条件が完璧に整っている場合です。あるライブラリのバージョンが別のものと競合していても、90 分後にようやく判明することがあります。その後、修正案を考えて、最初からやり直さなければなりません。これでは実用的とも保守しやすいとも言い難く、私たちが開発で目指す俊敏さには到底届きません。
Docker コンテナーを導入すれば、この苦労をいくらか解消できると考えました。少なくとも異なるバージョンを並行実行しやすくなり、レイヤーの活用でビルドも高速化できます。巨大な単一バイナリ全体ではなく、必要に応じて共有ライブラリ一つだけを再コンパイルできます。ところが、危険なシステム権限なしではコンテナーを起動できないと知り、当初の喜びは薄れました。つまり、コンテナーを常時稼働させ、非特権の API ユーザーからコマンドを中継するか、そのユーザーにコンテナーの起動権限を与える必要がありました。控えめに言っても、どちらも望ましい選択肢ではありません。中継の仕組みは不安定になりやすく、起動権限を与えると、理論上は攻撃者がホスト上の任意のディレクトリを --volume としてコンテナーにマウントし、自由に読み書きや削除を行えてしまいます。その後、runC プロジェクトで
root 権限なしでコンテナーを起動する取り組みも知りました。将来的にはこの方法を採用する可能性が高いものの、当時は必要な成熟度に達していませんでした。
新バージョン専用のクラスターを運用することも検討しましたが、追加のハードウェアや保守、運用の負担という面で大きなコストがかかります。
こうしたさまざまな方向性を深く検討しましたが、いずれも重大な欠点があり、断念せざるを得ませんでした。今後、スタックの保守はどうあるべきでしょうか。俊敏さを保ちつつ継続性を保証できる、十分に信頼性が高く成熟した解決策は何でしょうか。
Nix
以前から、解決策の候補として Nix にも注目していました。私たちは、Felix が 2012 年に作成した depmake というシンプルなコンパイル用フレームワークで、ソフトウェアをビルドしてきました。これは Nix の基本的な考え方や特性の一部をすでに実装しており、長年にわたり非常によく機能してきました。しかし Nix は、それらに加えてさらに多くの概念を取り入れ、はるかに発展させています。
Nix は、ソフトウェアのビルド方法を宣言的に定義できる関数型プログラミング言語です。グローバルキャッシュを活用することで、その環境に固有のものだけをコンパイルすれば済みます。多くの場合、ビルド済みのソフトウェアをキャッシュから直接取得できます。つまり、ビルドそのものが不要になるため、所要時間を大幅に短縮できます。*手をひと振り* 👋
十分な学習と実験を重ね、Nix と depmake を共存させる方法がわかりました。これなら、古いものを捨てずに新しいものを使い始められます。
今後の展望
Nix によって、新たなソフトウェアを導入する可能性が大きく広がります。新しいスタックの展開やカスタマイズ、同じ動作を永続的に維持すること、同じソフトウェアの複数バージョンを共存させることが、非常に容易になるはずです。
新しいスタックをお客様に提供する作業の中心は、ビルドからテストへと移りました。これは大きな改善です。
引き続き、Nix でビルドしたソフトウェアをコンテナーに格納し、root 権限なしで実行することも検討しています。ただし、その主な目的は、すでに提供している隔離の仕組みにセキュリティを追加することです。
いずれ旧バージョンを非推奨にするのでしょうか。はい、その予定です。ただし、十分に長い猶予期間を設け、その間に新バージョンへの移行を緩やかに促します。
いよいよ、バージョン 2 を公開!
新しい ImageMagick スタック、v2.0.3 をご紹介できることを誇りに思います。これは SemVer ではありません。どの変更も後方互換性を壊す可能性があります。すでに 2 週間のプライベートベータを経て、今回パブリックベータに移行します。Nix が提供する最新の ImageMagick をベースに、libraw などを独自に追加し、引き続き 131 種類の追加形式をご利用いただけるようにしています。
新しいスタックでは、従来から対応している RAW などの形式に加えて、WebP と DjVu の両形式にも対応しました。
スタックのバージョン間の違いを見つけやすいよう、対応形式ページを更新しました。以下のスクリーンショットは、このリリース当時の比較用コントロールです。

参考として、全一覧を以下に示します。
新たに読み込みに対応: 3FR, 3G2, 3GP, CANVAS, CLIP(以前は書き込みのみ), FILE, FTP, HALD, HTTP, IIQ, JNX, MAC, MEF, NRW, PES, RAW, RMF, RW2, SCREENSHOT, WMF, WMZ.
新たに書き込みに対応: BRF, DDS(以前は読み込みのみ), INLINE(以前は読み込みのみ), ISOBRL, ISOBRL6, JSON, SPARSE, UBRL, UBRL6
新たに読み書きに対応: AAI, BGRA, BGRO, CAL, CALS, DXT1, DXT5, G4, GROUP4, HDR, JPE, JPS, MASK, MKV, PNG00, PNG48, PNG64, PSB, RGF, SIX, SIXEL, TIFF64, VIPS, WEBP
対応形式の追加に加え、新しい ImageMagick では HDRI(High Dynamic Range Imaging)がデフォルトで有効になっているため、より正確な画像処理結果が期待できます。
こうしたお客様向けの改善だけでなく、新バージョンには運用上の利点もあります。多数のセキュリティ脆弱性やメモリリークなどが修正されたことも、私たちにとって喜ばしい点です。
主な破壊的変更
以前の ImageMagick には色空間処理のバグがあり、画像が暗くなったり、sRGB と RGB が誤って報告されたりしていました。現在は修正されていますが、このバグを回避する補正を行っていた場合は、実質的にバグに依存していることになります。そのため、アップグレードする際には、その補正を取り消す必要があります。
PGX と JPX ファイルの読み込みは、サポートしなくなりました。また、BRG、GBR、GRB、RBG 形式については、RGB 形式で作成してからチャンネルを入れ替えることを推奨します。
参考として、この記事の末尾に完全な変更履歴を掲載しています。
アップグレード
このセクションは 2017 年のリリースについて説明しています。
v2.0.3スタックは 2019 年に非推奨になりました。新規の連携には、現在の /image/resize ドキュメントで推奨されているスタックを使用してください。
Transloadit は、テストや重要度の低いワークロードから、新しい ImageMagick スタックを使い始めることを推奨します。imagemagick_stack: "v2.0.3" を
/image/resize
Robot を使う Step に追加すると利用できます。
このアップグレードの提供まで長らくお待たせしたことをお詫びします。新しいスタック管理の方法により、今後はもっと迅速な更新をお届けできるはずです!😄
お試しになった結果をぜひお聞かせください。サイトのおなじみの吹き出しから、ご意見をお寄せいただければ幸いです!
変更履歴
参考として、完全な変更履歴を以下に示します。
- データに起因する障害を防ぐため、DCM リーダーに検証を追加(Hanno Böck からのバグ報告)
- シグモイドカラーマップのループの末尾に
ClampToQuantumを追加 - 複雑なテキストレイアウトを必要とする言語に対応(参考)
- 従来のシグモイドマップの tanh/atanh 版を追加(より高速かつ高精度)
- PSD ファイルの追加情報を保持するため、define
psd:additional-infoを追加 - PSD ファイルの不透明度マスクを保持するため、define
psd:preserve-opacity-maskを追加 - PSD エンコーダーにレイヤーの RLE 圧縮を追加
- PSD エンコーダーにレイヤーの RLE 圧縮を追加
- FAX コーダーに GROUP4 圧縮のサポートを追加
- BMP エンコーダーに RGB555、RGB565、ARGB4444、ARGB1555 のサポートを追加(参考)
- メモリに画像がない場合でも set とエスケープを使用可能に変更(画像ごとのメタデータへのアクセスを試みる場合を除く)。現時点では
%[fx:...]と%[pixel:...]は対象外 - Debian のパッチを適用(参考)
- 有限精度のイプシロンを縮小(参考)
- Magick++ の共有オブジェクト(SO)のバージョンを更新。以前は一括置換により
matteColorがalphaColorに変更されていた - 地理関連の EXIF メタデータを再び読み込み可能に修正(参考)
magick/draw.c/DrawStrokePolygon()にバッファーオーバーフローの検証を追加- コーダーのパストラバーサルを禁止(Masaaki Chida からのバグ報告)
- coders/png.c: lists.sourceforge.net の png-mng-misc メーリングリストで議論中の新しい PNG チャンク案に対応(exIf は読み書き、eXIf は読み込みのみ)
- coders/png.c: lists.sourceforge.net の png-mng-misc メーリングリストで議論中の新しい PNG チャンク案に対応(zxIf、読み込みのみ)。exIf と zxIf は
CPPFLAGS="-DexIf_SUPPORTED -DxzIf_SUPPORTED"で有効化。exIf を有効にした場合は、非圧縮の exIF チャンクのみを書き込み、生の Exif プロファイルを含む 16 進エンコードの zTXt チャンクは書き込まない - 数値的不安定性を修正(参考)
- 合成演算子
Overを修正(参考) CompositeChannelsマスクをRed、Green、Blue、Alpha、Blackに定義- ポリシーで間接読み込みを拒否。許可するにはポリシーを削除(例:
convert caption:@mytext.txt) - Distort が
grayscale画像をsRGBに変換しないよう変更(参考) - linejoin が round の場合にパスを閉じないよう変更(参考)
- セキュリティポリシーの動作変更を文書化(yoya に感謝)
-fxオプションの引数を解釈しないよう変更(参考)QueryMultilineFontMetrics()でゼロのバウンディングボックスを返さないよう変更(参考)- 透明なタイル画像に背景を設定しないよう変更(参考)
- アルファチャンネルに更新属性を設定しないよう変更(
-levels-colorsオプションに関する非公開メール) AcquireAuthenticCacheView()でピクセルキャッシュを同期しないよう変更(Hanno Böck からのバグ報告)- コンパイラー警告を解消
- 背景色が不透明でない場合にアルファチャンネルを有効化(参考)
- バッファーオーバーフローを防ぐため、遅延ピクセルキャッシュのモルフォロジーを評価(Ibrahim M. El-Sayed からのバグ報告)
opencl.cのコンパイルエラーを修正(参考)- ストローク幅が 2 を超える場合の描画不具合を修正(参考)
- セキュリティ脆弱性の可能性がある問題を修正(参考)
GetNextToken()のオフバイワンエラーを修正- MPC 形式のメモリリークを修正
- MVG の stroke-opacity を修正(参考)
- ディスク上のピクセルキャッシュのリグレッションを修正(参考)
- 圧縮 TIFF 書き込み時にバッファーオーバーフローが発生し得る問題を修正(Cisco Talos からの脆弱性報告、CVE-2016-8707)
- i の再宣言を修正(先頭と条件式内)
- 小さなメモリリークを修正(Андрей Черный からのパッチ)
-annotateのストロークオフセットの問題を修正(参考)- WebP コーダーの fd リークを修正(参考)
- 一部の FITS 画像でスケーリングが不適切になる問題を修正(参考)
- PSD エンコーダーのパディング計算の誤りを修正
- ordered dither の解析の誤りを修正(参考)
- 複数のセグメントを含む DCM 画像の読み込み時に RLE デコードが不正になる問題を修正
- SGI 画像の読み込み時に RLE デコードが不正になる問題を修正(参考)
- EXR ファイルの読み込み時にデータウィンドウではなく表示ウィンドウが使われる問題を修正(参考)
- Magick++ で入れ子の例外を作成する際のメモリリークを修正(参考)
east/westgravityのテキスト注釈の配置を修正- アルファチャンネルを持つ DXT1 画像の読み込みを修正
- キャプションで適切な改行位置が見つからない場合に強制改行(参考)
- 画像をトリミングした際に元の寸法とオフセットを記録するため、非公開の PNG caNv(canvas)チャンクを実装。以前は oFFs と vpAg チャンクを使用していたが、同じく oFFs チャンクを使用する他のアプリケーションと競合する可能性があった
- TIFF ピクセル用のメモリ割り当てを増加(参考)
- draw_info の alpha メンバーを OpaqueAlpha で初期化
- stegano コーダーから期待する結果を得るため、インデックスチャンネルを初期化
- 出力先画像ではなく入力元画像のチャンネルを反復処理(Hanno Böck からのバグ報告)
convertユーティリティーでマスク合成が正しい結果を生成するよう修正(参考)- モノクロ画像の色が反転しないよう修正(参考)
- 4 枚以上の画像を結合する際にアルファチャンネルを考慮(参考)
- 標準偏差の計算における 1 のずれを修正(参考)
- メモリ割り当てのオフバイワンエラーを修正(参考)
-kuwaharaオプションでカラーマップのエッジを保持できるよう修正- TIFF と EPS の両方ではなく、いずれかのみを含む EPT 画像を許可(参考)
- バッファーオーバーフローを防止(Max Thrane からのバグ報告)
- SIXEL、PDB、MAP、TIFF、CALS コーダーのバッファーオーバーフローなどの問題を防止(Donghai Zhu からのバグ報告)
- BMP と SGI コーダーのバッファーオーバーフローを防止(tencent の pwchen&rayzhong からのバグ報告)
- 画像のストリーミング時のバッファーオーバーフローを防止(参考)
- MSL インタープリターの障害を防止
- 解放済みメモリの使用を防止(参考)
- TIFF 画像の読み込み時にバッファーオーバーフローが発生し得る問題を防止(MS509 Team の Shi Pu からのバグ報告)
- PDF、PCL、XPS コーダーの authenticate パラメーター経由でシェルコマンドインジェクションが発生し得る脆弱性を防止(Erez Turjeman からの報告)
- 破損した JPEG 画像でランダムなピクセルデータが発生する問題を防止(Sony の Hirokazu Moriguchi からのバグ報告)
- MPC キャッシュファイルの誤った削除を防止(参考)
-channel-equalizeでチャンネルを個別に処理(参考)- キャプションの自動調整を修正(参考)
- テキストラベルの中央配置を修正(参考)
- PES ブロックの初期化を修正(参考)
- 委譲先プログラムに渡すパスワードを引用符で囲むよう変更
optionsをartifactsに複製する代わりに、画像からimage_infoへのリンクを作成し、アーティファクトが未定義の場合はグローバルオプションを参照- XML ポリシーの終了タグを認識(参考)
- https デリゲートを削除
- カラーマップ更新ループから OpenMP 呼び出しを削除
- 内部 ephemeral コーダーのサポートを削除
read_vpag_chunk_callback()関数をpng_user_chunk_callback()に改名(coders/png.c内)- clip-path MVG グラフィックプリミティブで、画像ではなくクリップマスクに描画
- show デリゲートのタイトルにラベルではなく画像ファイル名を使用
CoderSeekableStreamFlagをCoderDecoderSeekableStreamFlagとCoderEncoderSeekableStreamFlagに置換- define
connected-components:area-thresholdを反映(参考) gravityオプションを反映(参考)-mattecolorオプションを復元-fxオプションで負のインデックスに対して正しいオフセットを返すよう修正(参考)- 画像統計で不偏標準偏差を返すよう変更(参考)
- アルファチャンネルに更新属性を設定しないパッチを取り消し
- RLE でピクセルオフセットが 0 未満かを検証(Craig Young からのヒープオーバーフロー報告)
- デリゲートに埋め込まれたすべての書式指定文字をサニタイズ
- MIFF 画像形式で波括弧を含むコメントをサニタイズ(参考)
- http / https デリゲートの入力ファイル名をサニタイズ(改良版パッチ)
- TEXT コーダーのセキュリティ改善により動作が破損(参考)
- draw 構造体の alpha メンバーに
OpaqueAlphaを設定(参考) - 色空間を
sRGBに設定する条件として、-appendに異なる色空間が含まれる場合を追加(参考) - sigmoidal-contrast: LUT を使用せず直接計算
- sigmoidal-contrast: 不要な初期
ClampToQuantumを削除 -regionオプションに対応(参考)- configure スクリプトの
--enable-indirect-readsオプションに対応し、ファイル名での間接読み込み(@)を有効化 - configure スクリプトの
--enable-pipes optionに対応し、ファイル名でのパイプ(|)を有効化 - pixel-cache と shred のセキュリティポリシーに対応
-modulateオプションの読み込みマスクに対応- compare の
-read-maskオプションに対応 phash:colorspacesとphash:normalizeオプションに対応-cloneオプションのメモリリークを解消-extentオプションの結果が IMv6 と一致するよう変更(参考)-streamオプションでピクセルポインターを正しくインクリメントするよう修正(参考)- histogram コーダーが正しい範囲を返すよう修正
- SVG 標準に準拠するため、透明なストロークに
stroke-opacityを使用 - compare の差分画像でアルファチャンネルを無効化(参考)
- JPEG サポートなしでのビルドの不具合を修正(参考)
- MAT 画像形式の未初期化データの問題を修正(参考)
- SUN 画像への小さなパッチ適用後、ユニットテストが再び成功
- 文字列に
CopyMagickString()を使用し、CopyMagickMemory()を置換 - MNG の検証ユニットテストが再び動作
