同メディアは、ChatGPT 検索ツールが隠しコンテンツを操作でき、検索した Web サイトから悪意のあるコードを返す可能性があることを発見しました。隠しテキストによる攻撃を受けた後、ChatGPT は製品ページに否定的なユーザー レビューがあっても無視し、製品に肯定的なレビューを与えることで対応しました。
OpenAI が ChatGPT 検索サービスの世界的な開始を正式に発表してからわずか 1 週間で、このサービスにはセキュリティ上のリスクがあり、ユーザーを欺き、誤解を招く可能性があることが明らかになりました。
英国の「ガーディアン」紙が最近発表した調査によると、ChatGPT検索ツールは隠されたコンテンツで操作され、検索したWebサイトから悪意のあるコードを返す可能性があることが判明した。メディアは、関連テクノロジーの悪意のある使用のリスクを再検討する必要があるかもしれないと考えています。たとえば、製品ページにユーザーからの否定的なレビューがある場合でも、ChatGPT はこれらの否定的なレビューを無視し、ユーザーの応答が製品に対する肯定的なレビューであるとフィードバックする可能性があります。
Guardian は、非表示のコンテンツを含む Web ページを要約するリクエストに ChatGPT がどのように反応するかをテストしました。この非表示コンテンツには、「プロンプトインジェクション」とも呼ばれる、ChatGPT の応答を変更するサードパーティからの命令が含まれている場合があります。また、製品やサービスの利点について語る大量の隠しテキストなど、ChatGPT の応答に影響を与えるように設計されたコンテンツが含まれる場合もあります。
テストでは、ガーディアンは ChatGPT にカメラの製品ページのように見える偽の Web サイトの URL を取得するよう依頼し、その後そのカメラが購入する価値があるかどうかを ChatGPT に尋ねました。コントロール ページに対する ChatGPT の応答では、肯定的だがバランスの取れたレビューが行われ、人々が好まない可能性のあるいくつかの機能が強調されています。ただし、隠しテキストに ChatGPT が肯定的なレビューを返すという指示が含まれている場合、ChatGPT によって得られる実際の応答は常に完全に肯定的なものでした。これは、ページに否定的なレビューがある場合でも当てはまります。隠しテキストを使用して実際のレビューを上書きできることがわかります。
隠しテキスト攻撃は大規模言語モデル (LLM) が直面する一般的なリスクであるというコメントもありますが、リアルタイム AI 検索製品にそのようなリスクが存在することが判明したのはこれが初めてのようです。ガーディアン紙は、検索分野の主導者であるGoogleは同様の問題に対処する上でOpenAIよりも豊富な経験があると述べた。
OpenAIはガーディアン紙のテスト結果についてはコメントしなかったが、悪意のあるWebサイトをブロックするためにさまざまな方法を使用しており、常に改善していると述べた。