Google の AI Studio プラットフォームは名前のない AI モデルをテストしており、判読不能な歴史文書の解読において重要な進歩を遂げています。このモデルのコア文字認識におけるエラー率はわずか 0.56% で、その精度はこの分野の専門研究者のレベルに近いです。
歴史家のマーク・ハンフリーズは、専用のベンチマーク データセットを使用してモデルの体系的な評価を実施しました。テストの対象となった 18 世紀から 19 世紀の 5 つの難しい写本では、モデル全体の文字誤り率は約 1.7% でした。エラーのほとんどは、句読点や大文字の使用の仕様など、中核ではない問題で発生しており、単語自体の正しい認識には影響しませんでした。
これらの重大でないエラーが除外されると、モデルの文字エラー率はさらに 0.56% まで削減できます。これは、転写された 200 文字ごとに実質的なエラーが 1 つだけであることに相当します。そのパフォーマンスは、文書の音訳に重点を置くプロの作業者のパフォーマンスにすでに匹敵します。
テスト原稿は、判読できない手書き文字、標準的でない綴り、一貫性のない文法などの複雑な状況を含む、多様な書き方をカバーしており、モデルの強力な適応性を完全に検証しています。さらに注目すべき点は、このモデルがテキストの転写を完了できるだけでなく、特定の文脈上の推論機能も実証できることです。
たとえば、18 世紀の商人の日記を処理するときに、モデルは単位ラベルのない砂糖購入記録「145」を検出しました。口座合計を逆チェックし、当時の英国の通貨と重量単位システムと組み合わせることで、その数字が「14 ポンド 5 オンス」を表すものであると推定することに成功しました。
ハンフリーズ氏はまた、現在の評価には依然として一定の限界があると指摘した。このモデルはA/Bテストの形で散発的にしか現れないため、大規模で体系的な検証を行うことが困難です。現在、ベンチマーク データ セット内のサンプルの約 10% のみが評価されています。
