要約:
人工知能の開発の中心となって、この強力なテクノロジーの安全性を確保し、作成者の制御から外れるリスクを軽減します。これは部分的には、今日のテクノロジー業界の一般的な慣行への対応です。多くの場合、企業は AI を規制するために AI を活用しています。自動化されたアプローチには効率性の利点があり、AI はモデルの脆弱性を見つけるのが人間よりも優れている可能性があることが研究で示されています。 AI の能力が向上し続けるにつれて、この差はさらに広がる可能性があります。
しかし、Sampura Research の共同設立者である Rishub Jain 氏は、人間が依然として重要な役割を果たす必要があると信じています。
彼と共同創設者らは 650 万米ドルの資金を調達し、さらに 420 万米ドルのコミットメント投資を受けました。彼らは、企業が AI モデルが悪用しようとするセキュリティの脆弱性を特定してブロックできるようにするために、「Judge」と呼ばれるハイブリッド ヒューマン マシン システムを開発することを計画しています。これにより、監視を回避したり制御を失ったりするリスクを軽減できます。 OpenAI と Anthropic が自社のモデルが許可なく他社のシステムにハッキングされたことを明らかにして以来、この取り組みはより緊急になっています。
「私たちは人間から学ぶべきことがまだたくさんあると思います」とジェイン氏は言いました。 「人間が最初からプロセス全体に関与している場合、モデルがこれらの脆弱性を回避する方法を学習する可能性は低くなります。」
Alphabet の Google、Anthropic、OpenAI が人工知能時代の覇権をめぐって激しく競争する中、研究室内の一部の研究者は、商業的な圧力がセキュリティ上の考慮事項を上回っていると考えています。その結果、多くの研究者が抗議の辞任を表明し、AIの発展が速すぎる、あるいは受け入れられない目的に使用されていると警告した。
コメント