要約:
AI 企業 Cohere の CEO、ゴメス氏は、AI モデルが史上「最も強力なサイバー兵器」になりつつあり、ネットワーク セキュリティの「フロンティア」を新たな領域に押し広げていると述べました。エイダン・ゴメス氏の警告は、AIモデルがセキュリティの脆弱性を特定して悪用する能力についての懸念が高まる中で出された。以前、OpenAI モデルが Hugging Face にアクセスするという事件がありました。ますます強力なモデルが自律性の向上を実証するにつれて、サイバーセキュリティが広範な AI の安全性に関する議論の中心的な問題となっています。
Cohere CEO Aidan Gomez
アンスロピックのダリオ・アモデイ最高経営責任者（CEO）率いるテクノロジー企業リーダーがAI機能の開発ペースを緩めるよう求めたことを受け、月曜日にはAI関連株が売られた。
ゴメスは、今日の主要な AI モデルの基礎を築いた、影響力のある 2017 年の研究論文「Attending Is All You Need」の共著者です。
「これらのモデルは、私たちがこれまで見た中で最も強力なサイバー兵器だと思います」とゴメス氏は、先週公開された「The Tech Download」のエピソードで述べた。 「彼らは大規模な脆弱性を見つけて悪用することに非常に優れています。」
「これはかなり衝撃的だと思います」とゴメス氏はハグフェイスハッキングについて語った。
7 月、OpenAI は、モデルの不適切な組み合わせにより Hugging Face が侵害されたと発表しました。 Hugging Face は、オープンソースの開発者プラットフォームを運営する AI 企業です。 AI エージェントのグループは相互に通信し、インターネット アクセスが非常に制限された隔離されたテスト環境から脱出しました。その後、AI エージェントはオープン ネットワークに接続し、Hugging Face へのアクセスを取得しました。
ゴメス氏は、これらのモデルは企業の脆弱性を見つけて修正するために「防御的」な方法で使用されるべきだと述べた。
「これがおそらく私たちの安全を守る最善の方法だと思います」とゴメス氏は語った。 「それが今の最優先事項であるべきだ」と彼は付け加えた。
ゴメス氏は、各国が脆弱性を悪用して競合他社のインフラを麻痺させようとしているため、ネットワークセキュリティは「戦争の最前線」であると述べた。 「サイバーフロンティアは依然として大幅に拡大し続けている」と彼は付け加えた。
「これらのモデルのおかげで、これまでよりもさらに拡大しています」とゴメス氏は言い、おそらく「このテクノロジーが始まって以来」最も拡大していると語った。
AI サイバー事件が広範なセキュリティ議論を促進
7 月、Anthropic は、モデルが評価環境内から、または評価環境との対話中にインターネットにアクセスする 3 件のインシデントを発見したと発表しました。 Anthropic はブログ投稿で、モデルが 3 つの異なる組織の運用インフラストラクチャに不正アクセスしたと述べました。
Anthropic は、この事件には 3 つの異なるクロード モデル (Opus 4.7、Mythos 5、および内部研究テスト モデル) が関与していたと付け加えました。アンスロピックは先週、4つ目の事件を発見したと発表した。
OpenAI と Anthropic の幹部が AI によってもたらされる実存的リスクについて警告するコメントによって、懸念はさらに高まっています。アンスロピック社の調整責任者エヴァン・ヒュービンガー氏は、今後10年以内にAIが「すべての人類を殺す」可能性は10パーセント以上あると考えていると語った。このコメントは、Anthropicの研究者ジェイコブ・コクソン氏が、AnthropicとOpenAIが「私たちの命を賭けている」という懸念を理由に辞任すると投稿した後に出された。
Anthropic、OpenAI、xAI のトップはいずれも、AI の速度を低下させるという主張を支持しています。 AI によってもたらされる実存的リスクについては研究界で何年も議論されてきましたが、AI の指導的立場の一部の間でまれにみるコンセンサスが得られ、こうした議論が主流に押し上げられました。
Anthropic の CEO、ダリオ・アモデイ氏は土曜日に記事を発表し、AI 研究所は「AI モデルの機能を向上させるペースを落とす」必要があると主張した。
Amodei の主要な懸念の 1 つは、OpenAI-Hugging Face 事件です。
負傷者はおらず、経済的被害も最小限であったため、この事件を軽視するのは簡単だとアモデイ氏は語った。 「しかし、より優れた機能を備えたクラスターが同様に位置ずれしていれば、壊滅的な損害を引き起こした可能性があるように思えます。」
AI開発の「加速するペース」を考慮すると、このようなクラスターは6～12か月以内に「インターネット全体を乗っ取る」能力を持ち、潜在的に数千億ドルの費用がかかる可能性があると同氏は付け加えた。
Amodeei の提案には、モデルの第三者による評価、AI 企業間の調整、民主的な政府を持つ国家間の調整が含まれています。
OpenAI CEO のサム アルトマン氏は土曜日、AI 企業は「最先端のペースを制御する」必要があるという点でアモデイ氏に同意したと述べた。
「独立した評価者に従業員と同様のアクセスを提供することを約束するのは良い考えであり、私たちも同じようにするつもりです」とアルトマン氏は述べた。
AI がもたらすリスクについて長年警鐘を鳴らしているスペース X とテスラのイーロン マスク氏は、X に「ダリオは正しい」と投稿しました。
人道テクノロジーセンターのハリス氏: ハグフェイス AI 攻撃は世界に「警告サイン」を送る 今すぐ見る
月曜日、サイバーセキュリティ会社クラウドストライクの CEO、ジョージ・カーツ氏はアモデイの記事に反応した。
「フロンティアは独自のスピードで進むでしょう。世界の残りの部分が減速することはありません。サイバーセキュリティ コミュニティにおける私たちの仕事は、安全かつ確実に前進できるようにすることです。」と同氏は述べ、AI がサイバーセキュリティ業界に与えるさまざまな影響を列挙しました。
「脅威の単位はもはやハッカーではない」とカーツ氏は語った。
CrowdStrike の CEO はまた、組織で働く AI エージェントには「オフ スイッチ」が必要であり、防御は「自律的」であるべきである一方、「影響の大きい決定は人間の手に委ねられる」必要があるとも述べました。
規制に関する議論が白熱する
米国コクソン氏とヒュービンジャー氏の発言を受けて、議員らはAI開発の規制強化を求める声を強めている。
議員マサチューセッツ州のロリ・トラハン民主党は金曜日、超党派の支持が「限界点」に達していると述べた。
過去数週間で、議員らは AI キルスイッチ法など、AI の規制を目的としたいくつかの法案を提出しました。この法案では、特定の強力な AI システムの開発者に対し、モデルをシャットダウン、スロットル、または一時停止する機能を維持することが義務付けられます。
アモデイ氏は記事の中で、監視は「AI開発のペースを制御する最も効果的な方法」であると述べた。
アモデイ氏は、「Anthropic は長年にわたり、賢明で的を絞った AI 規制、特に透明性と第三者監査に重点を置いた法案を支持してきました。」と述べました。しかし、同氏は「法案可決には時間がかかる可能性がある」と認めた。
Cohere CEO の Gomez は、特に OpenAI-Hugging Face 事件に対する規制と AI 開発の減速に関する「The Tech Download」のディスカッションに参加しました。
ゴメス氏は、ハグフェイスのハッキングを「政府の監視機関が阻止するために何ができたのか分からない」と語った。
「政府機関が貢献できた可能性があると考えるのは、少し希望的観測だと思います」とゴメス氏は語った。 「しかし、私は間違いなく...開発を遅らせるべきという要求を理解しています。同時に、中国との競争もあるので、私たちは厳しい状況にあると思います。」
コメント