Apple Vision と Swift による iOS OCR
Apple Vision の RecognizeTextRequest を使い、iPhone 上で画像からテキストを抽出します。このチュートリアルでは、Files から画像を開き、選択可能なテキストを表示する小さな SwiftUI アプリを作成します。回転した写真、空の結果、読み取れないファイルに対応し、別の画像を選択した場合やアプリを離れた場合には処理をキャンセルします。
iOS OCR にはどの API を使うべきか?
静止画像には、Vision の Swift APIを使うと、iOS 18 以降で非同期のテキスト認識を実行できます。以下の例では、この API と英語のテキストを使います。サードパーティーの OCR SDK やモデルファイルのダウンロードは不要です。
以前の iOS バージョンをサポートする場合は、代わりに
VNRecognizeTextRequestを検討してください。以下のコードは互換性ラッパーではありません。リアルタイムのカメラインターフェースについては、後述の VisionKit に関する説明を参照してください。
静止画像内のテキスト認識
Xcode で、SwiftUI と Swift を使い、ストレージ連携なしの iOS アプリプロジェクト
ImageOCR を作成してください。デプロイメントターゲットを iOS 18.0 に設定し、Swift 6 言語モードを使います。この API を使うには、Xcode 16 以降でビルドしてください。この例は Xcode 27.0、Swift 6 モードの Swift 6.4 コンパイラー、iOS 27.0 SDK でビルドし、iOS 27.0 の iPhone 17 シミュレーターで実行しました。iOS 18 は API の最小要件であり、ここで実行テストした環境ではありません。
使用するファイルは三つです。OCR.swift を追加し、ContentView.swift と ImageOCRApp.swift を置き換えてください。三つともアプリターゲットに含めます。システムの選択画面でファイルを選ぶため、パッケージの依存関係や、カメラおよび写真ライブラリの権限キーを追加する必要はありません。まずは、大きく鮮明な英語のテキストを含むローカルの JPEG または PNG を使ってください。画像が Photos にある場合は、先に共有シートから Files に保存してください。
画像の読み込みとテキスト認識
次のコードを OCR.swift に記述してください。認識処理用のアクターは、メインアクターの外でファイルの読み込みと画像のデコードを行います。ファイル内の最初の画像を読み込み、その
Image I/O の向き情報を Vision に渡します。CGImage だけではピクセルしか含まれず、正しい向きで表示するための情報がありません。
import Foundation
import ImageIO
import Observation
import Vision
enum ImageInputError: Error {
case unreadableImage
}
actor TextRecognizer {
func recognize(_ url: URL) async throws -> String {
try Task.checkCancellation()
let hasAccess = url.startAccessingSecurityScopedResource()
defer {
if hasAccess { url.stopAccessingSecurityScopedResource() }
}
let data = try Data(contentsOf: url)
guard let source = CGImageSourceCreateWithData(data as CFData, nil),
let image = CGImageSourceCreateImageAtIndex(source, 0, nil)
else {
throw ImageInputError.unreadableImage
}
let properties = CGImageSourceCopyPropertiesAtIndex(source, 0, nil) as? [CFString: Any]
let rawOrientation = properties?[kCGImagePropertyOrientation] as? UInt32 ?? 1
let orientation = CGImagePropertyOrientation(rawValue: rawOrientation) ?? .up
try Task.checkCancellation()
var request = RecognizeTextRequest()
request.recognitionLevel = .accurate
request.recognitionLanguages = [Locale.Language(identifier: "en-US")]
request.usesLanguageCorrection = true
let observations = try await request.perform(on: image, orientation: orientation)
try Task.checkCancellation()
return observations.compactMap { $0.topCandidates(1).first?.string }
.joined(separator: "\n")
}
}
@MainActor
@Observable
final class OCRModel {
var text = ""
var message = "Choose an image to recognize."
var isRecognizing = false
private let recognizer = TextRecognizer()
private var work: Task<Void, Never>?
func importImage(_ result: Result<URL, Error>) {
cancel()
text = ""
guard case let .success(url) = result else {
message = "Could not open the selected file."
return
}
message = "Recognizing…"
isRecognizing = true
work = Task {
do {
let recognized = try await recognizer.recognize(url)
try Task.checkCancellation()
text = recognized
message = recognized.isEmpty ? "No text found." : "Text recognized."
} catch {
// A canceled task must not replace feedback from a newer selection.
guard !Task.isCancelled else { return }
message = "Could not read this image. Try a local JPEG or PNG."
}
isRecognizing = false
work = nil
}
}
func cancel() {
guard isRecognizing else { return }
work?.cancel()
work = nil
isRecognizing = false
message = "Recognition canceled."
}
}
このモデルは、テキストが認識されなかった有効な画像と、読み取れなかったファイルを区別します。キャンセルは協調的に行われます。遅れて返された結果による画面の変更は防ぎますが、ネイティブ処理が即座に停止することは保証しません。UI の変更はメインアクターで行い、最後のキャンセル確認から結果の公開までの間に処理の中断は入りません。
Files の選択画面と結果の接続
ContentView.swift を次のコードで置き換えてください。fileImporter の仕様では、選択した URL の読み取り中にスコープ付きアクセスが必要です。TextRecognizer は、そのアクセスを
defer と対にして管理します。スコープ付きアクセスの開始が false を返しても、アプリのサンドボックス内にある URL は読み取れる場合があるため、実際のファイル読み取りで成否を判断します。
import SwiftUI
import UniformTypeIdentifiers
struct ContentView: View {
@Environment(\.scenePhase) private var scenePhase
@State private var model = OCRModel()
@State private var showImporter = false
var body: some View {
NavigationStack {
VStack(alignment: .leading, spacing: 16) {
HStack {
Button("Choose image") {
model.cancel()
showImporter = true
}
Button("Cancel recognition") { model.cancel() }
.disabled(!model.isRecognizing)
}
Text(model.message)
if model.isRecognizing {
ProgressView()
}
ScrollView {
Text(model.text)
.frame(maxWidth: .infinity, alignment: .leading)
.textSelection(.enabled)
}
}
.padding()
.navigationTitle("Image OCR")
}
.fileImporter(isPresented: $showImporter, allowedContentTypes: [.image]) { result in
model.importImage(result)
}
.onChange(of: scenePhase) { _, phase in
if phase != .active { model.cancel() }
}
.onDisappear { model.cancel() }
}
}
ImageOCRApp.swift をアプリのエントリーポイントで置き換えてください。
import SwiftUI
@main
struct ImageOCRApp: App {
var body: some Scene {
WindowGroup { ContentView() }
}
}
アプリを実行し、Choose imageをタップしてください。Files で画像を探して選択します。アプリは前の認識テキストを消去し、Recognizing…を表示した後、Text recognized.と抽出したテキストを表示します。認識テキストを長押しすると、選択やコピーができます。空白の画像の場合は、No text found.が表示されます。現在の認識テキストはメモリ内に保持され、出力ファイルへの保存やアップロードは行いません。
選択画面を開く操作と、ファイルを選択する操作は別です。処理待機中の画面から選択画面を開き、何も選ばずに閉じると、前の結果が保持されます。認識中に
Choose imageをタップすると、実行中のタスクは即座にキャンセルされます。その選択画面を閉じると、Recognition canceled.が残り、ファイルを選択すると新しい処理が始まります。キャンセル時に、システムは
fileImporter の完了ハンドラーを呼び出しません。
Cancel recognitionも実行中の処理をキャンセルします。バックグラウンドへの移行中も含め、シーンが非アクティブになるとアプリは処理をキャンセルします。アプリに戻っても認識は再開しないため、画像をもう一度選択してください。プロセスが終了していなければ、完了済みのテキストはアプリに戻った際も表示されたままです。
結果と失敗時の状態の確認
複雑なレシートを試す前に、SWIFT VISION 2468 を含む単純な画像で試してください。この例では、シミュレーター上でそのテキストを認識できました。ピクセルを回転させ、対応する向きのメタデータをファイルに含めた場合も認識できました。ただし、実際の文書では OCR が誤認識する場合があります。認識結果を改行で連結しても、表やページレイアウトを再構成したものにはなりません。
| 入力または操作 | 期待される動作 |
|---|---|
| 鮮明な英語のテキスト | 選択可能な認識テキストと Text recognized. |
| 空白の画像 | 空の認識テキストと No text found. |
| 破損した画像、または読み取り前に消えたファイル | Could not read this image. Try a local JPEG or PNG. |
| 選択画面がインポートエラーを報告 | Could not open the selected file. |
| 実行中の処理をキャンセルまたは置き換え | 古いタスクの結果が新しい表示状態を上書きすることはない |
ファイルを読み取れない場合は、まず Files 内のローカルフォルダーにコピーし、開き直してみてください。認識自体はローカルで実行されますが、クラウドのファイルプロバイダーからデータを取得するには、ネットワーク接続が必要な場合があります。このサンプルは画像全体をメモリに読み込みます。バッチ処理のコンポーネントとして使う前に、極端に大きい入力画像はリサイズしてください。
カメラのリアルタイム映像からテキストをスキャン
DataScannerViewControllerは、テキストやコードを認識するための VisionKit のカメラインターフェースです。提供する前に、isSupported と isAvailable の両方を確認し、NSCameraUsageDescription を指定してください。また、アプリの実行中にスキャンが利用できなくなる場合にも対応してください。代替手段として、静止画像の選択画面は残しておきます。
リアルタイムのカメラ機能は、対応する実機でのテストが必要です。特に、カメラへのアクセスを拒否した後、Settings で許可し、既存のアプリプロセスに戻って復旧を確認してください。スキャン中の割り込みや画面を閉じる操作もテストします。前述のシミュレーターでの確認では、これらのカメラの動作は検証できません。この別機能を追加する際は、リンク先の Apple の統合ガイドを参照してください。
バッチ OCR の Transloadit ワークフローへの移行
上の例は、実行中のアプリ内で行う単一の操作に対応します。入力がすでにアップロード処理ワークフローに属している場合は、サーバー側の処理として Transloadit の画像 OCR ドキュメントを検討してください。これは、このローカルアプリとは別の連携です。サービスのシークレットは iOS バンドルに含めず、バックエンドに保持してください。
OCR の精度向上
まず、向き、ピント、読み取れるテキストサイズを確認してください。無関係な周囲の領域を切り抜くと文書を認識しやすくなる場合がありますが、小さな元画像を引き伸ばしても、失われた細部は復元できません。写真では、認識設定を調整する前に、反射や極端な遠近のゆがみを抑えてください。
文字が密集したページでテキストが検出されない場合は、minimumTextHeightFractionを確認してください。デフォルト値は画像の高さの 1/32 なので、見た目が鮮明でも小さな文字は除外される場合があります。領域を小さく切り抜くか、そのしきい値を下げてください。より小さな文字を認識対象にすると、認識時間とメモリ使用量が増える場合があります。
この例では、英語と .accurate を選択しています。ほかの言語では、リクエストの
supportedRecognitionLanguagesを確認し、入力に合わせて recognitionLanguages を設定してください。Vision には、製品名などの語彙を指定する customWords もあります。言語補正は、実際に使う識別子でテストしてください。もっともらしい単語が、正しいシリアル番号とは限りません。
よくある質問
iOS に最適な OCR ライブラリは?
対象言語が画像とデプロイメントターゲットに合う場合は、まず Apple Vision を検討してください。サードパーティーのネイティブ OCR バイナリを追加せずに済みます。カスタムモデルや未対応の言語が必要な場合は、別のエンジンを選ぶ前に、代表的な画像を使ってその要件を評価してください。
新しい iOS アプリで SwiftyTesseract を使うべきか?
SwiftyTesseract はアーカイブ済みで、メンテナーは今後更新しないと明言しています。新しいアプリで、保守が続いている依存ライブラリとして扱わないでください。既存の連携には、個別の移行テストと互換性テストが必要です。
iOS OCR にネットワーク接続は必要か?
Vision はデバイス上でテキスト認識を実行します。このアプリには、モデルのダウンロードやサーバーのセットアップ手順はありません。オフラインで作業する場合は、すでにローカルに保存されているファイルを選択してください。iCloud などのプロバイダーからのファイルのダウンロードは、別の操作です。
OCR はどのようにテストすべきか?
認識処理と、その前後のアプリの操作フローの両方を実行してください。既知のテキスト、空白および破損したファイル、向きのメタデータを伴う回転したピクセル、キャンセル、処理の置き換え、バックグラウンドとフォアグラウンドの間の遷移を含めます。受け入れテストには、実際に使用する言語、フォント、レイアウトを使ってください。すべての OS リリースで認識テキストが完全に一致することを期待するのではなく、必要なフィールドと、出力が実用に足るかを確認してください。
