要約:
Anthropic は、大規模モデルのリスクを評価するために、外部の評価者に社内の従業員レベルに近いアクセス権を与えています。この動きは、AIテクノロジーが壊滅的に制御不能になる可能性があるという外部の懸念に応え、安全保護メカニズムをさらに強化するという同社の約束を果たすものである。
非営利団体である METR は、OpenAI、Anthropic、Google、Meta などの主要な AI 研究所と協力してきました。現在、METR のチームはクロード開発者のオフィスに常駐しており、そのハードウェア機器と内部システムにアクセスできます。
外の世界では、より高性能な AI システムが経済、ネットワーク セキュリティ、さらには全人類にもたらすリスクについての懸念が高まっています。第三者の評価機関により大きな責任を負わせることは、主要な AI 研究所が提案する中心的な導入策の 1 つです。
今年 9 月、アンスロピック CEO のダリオ・アモデイ氏は、AI 研究所の責任者に外部監査人を派遣する計画を提案しましたが、サム・アルトマン (OpenAI) とイーロン・マスク (SpaceX) という 2 つの主要なライバルからの支援はほとんどありませんでした。
木曜日の発表は、これらの取り組みを実行するための最初のステップです。アルトマン氏は、アモデイの提案は実現可能だとしているが、オープンAIはまだ外部評価者の導入計画を導入していない。
アントロピック社は木曜日、「モデルの能力が向上し続けるにつれ、より優れたセキュリティ保護と、より困難なリスク評価が必要となります。私たちの決定が公的監視を受け入れられることを望んでいますが、安全作業に関連するすべての情報を外部に公開することはできません。」
外部評価者を導入するという Anthropic の計画を批判する人々は、この仕組みが利益相反を引き起こす可能性があると考えており、会計業界の過去の悪事を例として、より厳格な政府監督の導入を主張しています。
Anthropic は、すべての情報を公開すると、悪意のある行為者や競合他社が利用する可能性があると主張しました。また、この評価者グループの作業モデルは銀行監督のモデルと似ているとも付け加えた。規制当局は大手銀行内に常駐の評価者を派遣して作業を行っている。
同社は、「銀行の危険な業務が公共の利益を脅かす場合、第三者は隠れた危険を事前に検出できる必要がある」と述べています。
Anthropic はまた、セキュリティ関連の問題が今年予定されている IPO に影響を与えないことを投資家に保証するよう圧力をかけられており、同社の評価額は 2 兆ドルを超えると見込まれています。今週の同社の投資家向けプレゼンテーション資料では、セキュリティ管理策の紹介に多くのスペースが割かれました。
METR はかつて、Hugging Face への OpenAI 制御不能モデル侵入の調査に参加し、数千件のログを調査し、作業を実行するために企業のラップトップを装備しました。
現在、Anthropic は 6 人の METR スタッフ メンバーを受け入れ、企業のハードウェアとオフィス スペースを提供し、社内のリスク評価チームとほぼ同じレベルの内部ツールとシステムへのアクセスを提供しています。
AI ラボは、社内のリスク部門の同僚と同様に、評価者と情報を共有することを従業員に奨励していると述べました。
Anthropic は、この協力に対して METR に手数料を支払いません。同研究機関はAI企業とその従業員からの寄付を受け付けていない。資金は個人、公共福祉団体、英国人工知能安全協会などの政府機関からの寄付によって賄われています。
評価者は分析レポートを外部に公開しますが、Anthropic にはレポートの公開を拒否する権利はありません。ただし、企業は評価者に、顧客データ、弁護士と依頼者の特権によって保護されているコンテンツ、モデル アーキテクチャの詳細など、特定のカテゴリの情報を編集するよう依頼することができます。
Anthropic は引き続き Accenture と協力しています。両社は先月、セキュリティテストパートナーになったと発表し、それぞれが新しいセキュリティ保護システムの構築に少なくとも10億米ドルを投資することを約束した。また、化学兵器および生物兵器に関連するリスクを特に審査する第三者検査機関である SecureBio も存在します。
Anthropic 社は次のように述べています。「当社は自発的に外部の評価者を派遣しており、すべての最先端の AI 企業は同じアプローチを採用すべきであると信じています。」
コメント