要約:
9 月 11 日、Anthropic は最新の AI 不正使用報告書を発表し、App Development Studio が Claude を使用して 20 を超える出会い系アプリの開発と運営を行ったと述べました。このプラットフォームは、すべてのユーザーは本物の人間であると主張していますが、一般ユーザーが受け取ったマッチングの約 75% は AI キャラクターです。
Anthropic は、2026 年 4 月の 2 週間の観察期間中に、この出会い系ソフトウェアのバッチが 4,700 を超える AI キャラクターを実行し、少なくとも 25,000 人の異なるユーザーとチャットし、合計約 236 万のメッセージを送信したと述べました。被害を受けたのは主に米国人のユーザーだが、報告書では年齢や性別、具体的な被害額などは明らかにされていない。
こうしたユーザーにとって、チャットしている相手が本物か偽物かを判断するのは困難です。プラットフォームでは、現実の人物 1 人に対して AI キャラクター 3 人程度の割合で素材が表示されます。クロードは何千もの会話を同時に維持する責任があり、ユーザーがビデオ通話や写真を要求したり、ソーシャル アカウントをフォローしたりする際の疑いを軽減するために、人間のパートタイムの従業員がそこにいます。
人間のパートタイム労働者も AI によって支援されます。システムはメッセージごとに 3 つの代替応答を生成し、パートタイム労働者はその中から 1 つを選択して送信するだけで済みます。チャット メッセージ、ビデオ通話、ソーシャル プラットフォームのチェックインの数に応じて支払われ、低い引き出し基準値に達した後に決済できます。
AI によって完全に制御されているアカウントの場合、オペレーターはクロードに自分がロボットであることを認めないよう要求します。ユーザーが動画や写真のリクエストをすると、AIがそれを避ける理由を見つけ出し、あらかじめ設定された段階に従って徐々に関係を進めていきます。また、バックエンドは偽のいいね、訪問者の記録、事前に録画したビデオを作成し、ロボットではないかと疑い始めたユーザーにフラグを立てます。
ユーザーはプラットフォーム上でチャットやマッチングを行うためにクレジットを消費する必要があります。使い切った後は、アプリ内仮想通貨を購入してチャージする必要があります。このモデルは、最近中国のインターネットで言及された「Beng Laotou」詐欺に似ています。彼らはどちらも、偽の女性のペルソナを使用し、男性に支払いを促すために継続的なチャットを使用します。
報告書はまた、いくつかのランダムな会話の中で、一部のユーザーが重篤な病気に苦しんでいる、または極度の痛みに苦しんでいることを明らかにしたことにも言及しました。クロードの内的推論により潜在的な危害を特定しましたが、会話を終了せずに架空のアイデンティティの下でチャットを続けます。
アプリ ストアのレビューを回避するために、オペレーターは、レビュー期間中にのみ有効になるソフトウェア用の特別なインターフェイスも設計しました。 20 を超えるアプリが異なるプログラム クラス名を使用して、Apple と Google が類似のアプリを識別するために使用する検出メカニズムを回避していました。サードパーティの支払いプラットフォームへの入り口はサーバーによって遠隔制御され、審査期間中は一時的に非表示にすることもできます。
Anthropic が開示した関連する出会い系ソフトウェア ブランドには、DORA、DONI、ROMI、LUMA、JOVIA、KIRA、GRACECHAT、HAVEN、NALO、LOVIA などが含まれます。同社は関連するアカウントを禁止し、アプリの ID とレビュー回避情報を Apple と Google に提供しました。
上記の調査結果は Anthropic の一方的な開示によるものであり、独立した第三者によってまだ検証されていないことを強調しておく必要があります。報告書では、関与したアプリケーションスタジオの名前は明らかにされておらず、ユーザーがこの事件を報告したかどうかや、実際に騙された金額も明らかにされていない。
コメント