OpenAIは3月9日、人工知能セキュリティプラットフォームPromptfooを買収し、取引完了後は同社の技術をOpenAIのエンタープライズレベルエージェントプラットフォームOpenAI Frontierに完全に統合する計画であると発表した。 Promptfoo は主に企業ユーザーを対象としており、AI システムの開発段階でさまざまなセキュリティ脆弱性を特定して修正するのに役立ちます。そのツールはフォーチュン 500 企業の 4 分の 1 以上に採用されており、オープンソースの CLI とライブラリを通じて大規模言語モデル アプリケーションの評価とレッド チーム テストをサポートしています。
OpenAIは、企業が実際に「AIコワーカー」をビジネスプロセスに導入するにつれて、評価、セキュリティ、コンプライアンスが基本的な要件になると述べた。企業は、オンライン化する前にエージェントの動作をテストし、リスクを特定するための体系的なアプローチを必要とするだけでなく、監督、ガバナンス、説明責任のニーズを満たすために、長期の運用と保守中に明確な記録を保持する必要もあります。 OpenAI は Promptfoo オープンソース プロジェクトを継続する予定ですが、その機能を Frontier に深く統合して、企業ユーザーにより完全な統合ソリューションを提供する予定です。
共同創設者のイアン ウェブスターとマイケル ディアンジェロが率いる Promptfoo チームは、企業が大規模なモデルを適用する際の潜在的なリスクを特定できるように、評価および攻撃シミュレーション (レッドチーム) のための成熟した強力なツール セットを構築しました。 OpenAI は、Promptfoo にはエンタープライズレベルの AI システム評価、セキュリティ、テストにおけるエンジニアリングの深い蓄積があると述べました。その取り組みは、企業がより安全で信頼性の高い AI アプリケーションを展開するのに役立ちます。これらの機能を Frontier に直接組み込むことで、プラットフォーム全体のセキュリティ レベルが大幅に向上します。
OpenAI が発表した情報によると、将来、Frontier プラットフォーム上にエージェントを構築する企業は、いくつかのコア機能が強化される予定です。まず、安全性とセキュリティのテストがプラットフォームのネイティブ機能として組み込まれます。自動化されたセキュリティ テストとレッド チーム攻撃機能は、企業がプロンプト インジェクション、ジェイルブレイク、データ漏洩、ツールの誤用、ポリシー外のエージェントの動作などのリスクを特定し、軽減するのに役立ちます。次に、セキュリティと評価機能が開発ワークフローにより緊密に統合され、チームがエージェントのリスクを早い段階で特定、トラブルシューティング、修復できるようになり、セキュリティがエンタープライズレベルの AI システムの開発と運用の中核的な側面の 1 つになります。第三に、このプラットフォームは、組織がテストプロセスを記録し、長期にわたってリスクプロファイルを監視し、ますます厳しくなるガバナンス、リスク、コンプライアンスの要件を満たすのに役立つレポートツールとトレーサビリティツールを統合することにより、監視と説明責任の機能を強化します。
Promptfoo の共同創設者兼 CEO である Ian Webster 氏は、Promptfoo の当初の目的は、AI システムのセキュリティを確保するための実用的で実現可能なソリューションを開発者に提供することであったと述べました。 AI エージェントが実際のデータや主要システムとますます緊密に連携するようになるにつれて、AI エージェントのセキュリティ保護と体系的な検証の難しさと重要性が急速に高まっています。同氏は、OpenAIへの参加により、Promptfooはこの方向への投資を加速し、現実世界のAIシステムを構築しているチームに強力なセキュリティ、信頼性、ガバナンス機能をもたらすことができると述べた。
OpenAIは、Promptfooチームに参加できることに興奮しており、企業がAIアプリケーションとエージェントシステムを安全かつ確実に導入できるよう関連ツールの構築を継続すると述べた。買収の完了には、通常の完了条件が満たされることが条件となります。