OpenAIが昨年夏に大規模チャットモデルのパフォーマンスをアップグレードした後、世界中の何百人ものユーザーが生物兵器や毒性の高い物質の製造と配送方法について質問した。米国の連邦レベルで厳格な管理が存在しない場合、このモデルは詳細な答えを提供し、その段階的な指示は高校生の生物の生徒が理解できるほど単純です。事情に詳しい関係者によると、バイオセキュリティとテロ対策の専門家がその後、ChatGPTの関連会話記録を調査し、一部の回答は致命的となるほど正確であると判断したという。
OpenAI は、そのような質問の大部分は毒性の高い薬剤の調製を中心に展開していると述べた。
OpenAIは、麻薬生産や生物兵器開発について問い合わせを行ったが、手がかりを法執行機関に報告しなかったこれらのユーザーのアカウントを禁止した。現在、米国には、AI 企業に対し、兵器製造や致命的な攻撃計画に関わるそのような質問や捜索記録の報告を制限することを強制する連邦法は存在しない。
AI テクノロジーの能力、特に生物学的およびネットワーク レベルで悪質な攻撃計画を正確に設計する能力の急速な向上により、大手 AI 企業の幹部やホワイトハウス高官は非常に警戒しています。世界をリードする AI 研究開発機関はジレンマに陥っています。悪意のあるユーザーがテクノロジを使用して災害を引き起こすことを阻止する必要がありますが、準拠する科学研究者の通常の研究やコンサルティングのニーズを妨げてはなりません。
OpenAIやAnthropicなどのAI企業は、ホワイトハウスと緊密に連携してモデルリリースの管理を推進し、不審な行動をしたユーザーに対するアカウント制限や禁止措置を講じていると述べた。
