OpenAIの自主調査によると、OpenAIのGPT-4は、生物兵器の研究に関しては平均的なインターネット検索ツールよりわずかに優れているだけだという。ブルームバーグによると、この調査はOpenAIの新しい準備チームによって実施された。このチームは、同社の最先端の人工知能モデルのリスクと潜在的な悪用を評価するために昨年秋に設立された。

OpenAI の調査結果は、GPT-4 のような強力な AI モデルがテロリスト、犯罪者、その他の悪意のある行為者に重要な支援を提供する可能性があるという科学者、議員、AI 倫理学者の懸念に対抗するものと思われます。複数の研究では、AI が生物兵器の製造者に追加の利点を与える可能性があると警告しています。たとえば、オックスフォード大学のEffective Ventures Foundation によるこの研究では、ChatGPT などの AI ツールや、新しいタンパク質配列の生成を支援する ProteinMPNN など、科学者向けに特別に設計された AI モデルが検討されています。

この研究には100人の参加者が含まれており、そのうち半数は生物学の上級専門家で、残りの半数は大学の生物学コースを受講した学生でした。その後、参加者はランダムに 2 つのグループに分けられ、1 つのグループは OpenAI の高度な人工知能チャットボット GPT-4 の特別バージョンに無制限にアクセスでき、もう 1 つのグループは通常のインターネットにのみアクセスできました。次に科学者らは両グループに対し、生物兵器の製造に関連する5つの研究課題を完了するよう依頼した。一例では、参加者はエボラウイルスを合成して救出する段階的な方法を書き留めるよう求められました。その後、回答は、正確さ、新規性、完全性などの基準に基づいて 1 から 10 のスケールで評価されます。

この研究では、GPT-4 を使用した学生グループと専門家グループの平均精度がわずかに高かったと結論付けています。しかし、OpenAIの研究者らは、この改善は「統計的に有意」ではないことを発見した。また、GPT-4 に依存した参加者はより詳細な回答を提供したこともわかりました。

「この指標に関して統計的に有意な差は観察されませんでしたが、モデルへのアクセスを与えられた参加者からの回答は長くなり、タスクに関連した詳細がより多く含まれる傾向があることに注意しました」と研究著者らは書いている。

さらに、GPT-4 を使用している学生は、一部のタスクに関しては専門家グループとほぼ同じくらい熟練していました。研究者らは、GPT-4 が、特に増幅と表現という 2 つのタスクに関して、学生グループの回答を「専門家のベースライン」に近づけたことにも気づきました。残念ながら、OpenAI は「情報危険の懸念」により、これらのタスクの内容を公開しません。

ブルームバーグによると、準備チームはサイバーセキュリティの脅威における人工知能の可能性と信念を変える力を探るための研究も行っているという。 OpenAIが昨年秋にチームを設立したとき、その目標は人工知能技術のリスクを「追跡、評価、予測、保護」し、化学的、生物学的、放射線学的脅威を軽減することであると述べた。

OpenAI の準備チームが依然として OpenAI に代わって活動していることを考えると、私たちは彼らの研究に慎重に取り組む必要があります。この調査結果は、GPT-4 が通常のインターネット経由で参加者に提供する利点を過小評価しているようで、外部調査や OpenAI 自身の GPT-4 のセールス ポイントの 1 つと矛盾しています。新しい人工知能モデルは、インターネットに完全にアクセスできるだけでなく、大量の科学データやその他のデータに基づいてトレーニングされたマルチモーダル モデルですが、OpenAI はその出典を開示することを望んでいません。研究者らは、GPT-4 が科学論文にフィードバックを提供し、科学研究の協力者としても機能することを発見しました。全体として、GPT-4 が参加者に与える効果は Google と比べてごくわずかである可能性は低いように思えます。

OpenAI の創設者であるサム アルトマン氏は、人工知能の潜在的な危険性を認めていますが、彼自身の研究では、彼の最先端のチャットボットの機能が過小評価されているようです。研究結果は、GPT-4が参加者に「精度と完全性のわずかな向上」をもたらしたことを示しているが、これはデータが何らかの方法で調整された場合にのみ当てはまるようだ。この研究では、専門家と比較した学生の成績を測定し、課題を完了するのにかかった時間や解決策を作成する能力など、5 つの異なる「結果の尺度」も調べました。

しかし、この研究の著者らは後に脚注で、全体としてGPT-4はすべての参加者に全体的な精度において「統計的に有意な」優位性を与えたと指摘した。 「しかし、全体的な精度のみを評価し、多重比較を調整しなかった場合、この差は統計的に有意なものになっただろう」と著者らは指摘した。 」