スタンフォード大学のHAI（人間中心人工知能）の新しい報告書によると、OpenAIやMetaなどの企業を含め、人工知能の基礎モデルの著名な開発者は誰も、社会への潜在的な影響について十分な情報を公開していないことが判明した。

本日、スタンフォード HAI は、最も人気のある 10 の人工知能モデルの作成者が自分の仕事や人々がそのシステムをどのように使用しているかに関する情報を開示しているかどうかを追跡する「基礎モデル透明性インデックス」を発表しました。テストしたモデルの中で、Meta の Llama2 が最も高いスコアを獲得し、次に BloomZ、次に OpenAI の GPT-4 が続きました。しかし、それらのどれも特に高いスコアを獲得しなかったことが判明しました。

評価された他のモデルには、Stability の StableDiffusion、Anthropic の Claude、Google の PaLM2、Cohere の Command、AI21Labs の Jurassic2、Inflection の Inflection-1、Amazon の Titan が含まれます。

研究者らは、透明性がかなり広い概念になり得ることを認めています。その定義は、モデルの構築方法、モデルの動作方法、モデルの使用方法に関する情報を提供する 100 の指標に基づいています。彼らはモデルに関する公開情報を解析し、企業がパートナーやサードパーティ開発者を開示したかどうか、モデルで個人情報が使用されているかどうかを顧客に伝えたかどうか、その他多くの問題点に注目してそれぞれにスコアを付けた。

同社がモデル作成に関する調査を発表したところ、メタ スコアは 53% で、モデルの基礎で最も高いスコアを獲得しました。オープンソース モデルの BloomZ が 50% のサポートで、GPT-4 が 47% のサポートでこれに続き、OpenAI の比較的ロックインされた設計アプローチにもかかわらず、安定した普及で同点となっています。

OpenAI は研究結果のほとんどを公開することを拒否し、データの出所も明らかにしていませんが、GPT-4 が上位にランクインしているのは、パートナーに関する入手可能な情報が豊富にあるためです。 OpenAI は、さまざまな企業と協力して GPT-4 を自社の製品に統合し、その結果、豊富な公開詳細情報を閲覧できるようにしています。

しかし、スタンフォード大学の研究者らは、モデルの作成者の誰も、プライバシー、著作権、偏見に関する申し立ての提出先など、社会的影響に関する情報を一切明らかにしていないことを発見した。

スタンフォード大学ファンダメンタルモデリングセンターの社会ディレクターで同指数の研究者の一人であるリシ・ボンマサニ氏は、同指数の目標は政府や企業にベンチマークを提供することだと述べた。 EU の人工知能法案など、提案されている規制によっては、間もなく大規模な基礎モデルの開発者に透明性レポートの提供が義務付けられる可能性があります。

「私たちがこの指数で達成しようとしているのは、モデルの透明性を高め、非常に不明確な概念を測定可能なより具体的なものに分解することです」とボマサニ氏は述べた。グループは、比較を容易にするために、各社の 1 つのモデルに焦点を当てました。

Generative AI には大規模で活発なオープンソース コミュニティがありますが、この分野の最大手企業の一部は研究内容やコードを公に共有していません。 OpenAI の名前には「オープン」という言葉が含まれていますが、競争とセキュリティ上の懸念を理由に、現在はその研究を配布していません。

ボンマサニ氏は、同組織は指数の対象範囲を拡大することに前向きだが、それまではすでに評価した10の基本モデルに固執すると述べた。