最近、メディアは、西安市の市民が大晦日に騰訊元宝アプリを使用して新年の挨拶写真を生成したところ、AIによる暴言の出力に異常が発生したと報じ、AIコンテンツの安全性とモデルの安定性について国民の懸念を引き起こした。関係者によると、彼は大晦日の午前9時ごろ、自分の専門的な特徴を組み合わせた新年の挨拶写真を作成して友人の輪で共有しようと考え、初めて元宝アプリをダウンロードして使用した。この間、禁止用語や誤解を招く表現を一切使わずに、AIに5件ほどの指示を出した。
前世代の結果は理想的ではありませんでしたが、内容は正常でした。最後の世代まで、彼の個人写真のすぐ下に「あなたのお母さんはXです」という4文字の侮辱が表示されていました。
関係者はこの結果に腹が立って面白くなったと話している。まさか大晦日にAIに叱られるとは思ってもいなかった。
これに対する騰訊元宝の公式回答は以下の通り。
「悪い経験をさせてしまい、誠に申し訳ありません。検証の結果、この状況は、複数回の対話を処理する際にモデルが出力する異常な結果が原因であることが判明しました。現在、関連する問題を緊急に修正し、エクスペリエンスを最適化しています。元宝に対する監督と提案に感謝し、改めて厳粛にお詫び申し上げます。」
ただし、Yuanbao AI が同様の問題に直面するのはこれが初めてではありません。今年の初め、一部のネットユーザーは「元宝を利用してコードを変更することは侮辱され、無差別な対応だった」と報告した。
ネットユーザーによると、Tencent Yuanbao AIを使用してコードを美化したところ、AIから「消えろ」、「自分で調整する方法が分からない」、「毎日他人の時間を無駄にしている」などの侮辱的な返信を何度も受け取ったという。スクリーンショットは、ユーザーが定期的に変更リクエストを行っただけだったが、AIが突然攻撃的になったことを示している。
1月3日、騰訊元宝の公式アカウントは関連投稿で謝罪し、次のように述べた。悪い経験をさせてしまい大変申し訳ございません。ログをもとに関連検証を実施しました。ユーザーの操作とは関係がなく、手動での応答はありません。確率が低いモデルの異常出力です。
Tencent Yuanbao は、コンテンツ生成プロセス中に、モデルが時折、期待と一致しないエラーを起こす可能性があると述べました。元宝は内部調査と最適化にも着手しており、同様の状況が再び起こらないよう最善を尽くすつもりだ。