Roblox は、オンライン チャットで潜在的な児童搾取の兆候を早期に検出できると主張する人工知能システムを立ち上げています。この動きは、プラットフォームがセキュリティ対策に対する批判の高まりと法的挑戦に直面している中で行われた。 Sentinel と呼ばれるこのツールは無料で使用でき、オープンソースとなるため、他のプラットフォームでもそれを独自のモデレーション システムに統合できます。
Roblox は月間アクティブ ユーザー数が 1 億 1,100 万人を超えていると報告しており、同社の人工知能が数百件の児童搾取の可能性のある事件を法執行機関に報告するのに役立っていると同社は述べています。 Robloxの最高セキュリティ責任者のマット・カウフマン氏はAP通信に対し、同社は長年「冒涜的な言葉やさまざまな種類の暴言をブロックするフィルター」を使用してきたが、それらの保護は「1行または数行のテキスト内のコンテンツ」に限定されていたと語った。
「しかし、子どもを危険にさらすことや子どもの身だしなみに関連することを考えると、目にする行動の種類は長期間にわたって現れるものです」とカウフマン氏は言う。
Robloxによると、Sentinelは孤立した単語やフレーズにフラグを立てるのではなく、時間の経過とともに会話のパターンを検出するように設計されているという。このシステムは、プラットフォーム上の毎日約 60 億のチャット メッセージの 1 分間のスナップショットを分析し、コンテキストに基づいて評価します。
これを実現するために、エンジニアは 2 つの別々のインデックスを作成しました。1 つは無害なチャットの例を含み、もう 1 つは子供の安全ガイドラインに違反するメッセージを含みます。同社によれば、AI モデルの継続的な改善を支援するために、両方のインデックスに新しいコンテンツが継続的に追加されています。
Roblox社の信頼・安全性エンジニアリング担当副社長のナレン・コネル氏は、「不正行為者がどんどん見つかるにつれて、このインデックスはますます正確になるだろうし、今後もインデックスを更新していくつもりだ。こうすることで、別のサンプルを採取して平均的なユーザーがどう行動するかを知ることができる」と語った。
コネル氏は、システムはユーザーの進行中のアクティビティを監視して、ユーザーの行動が安全なインタラクションに傾いているのか、それとも危険な行動に傾いているのかを判断していると説明した。 「これは単にメッセージを送信したから起こるのではなく、毎日のやり取りがこれら 2 つの行動のいずれかを示しているために起こるのです」と彼女は言いました。
AI がユーザーにさらなる検討を求めるフラグを立てた場合、人間のモデレーターがユーザーの完全なチャット履歴、友達リスト、プレイしたゲームをチェックします。ロブロックスは、必要に応じて法執行機関と国立行方不明・搾取児童センターに事件を報告すると述べた。
このプラットフォームのセキュリティ対策は、注目を集める法的異議申し立ての中で発表された。アイオワ州で先月起こされた訴訟では、Robloxを通じて成人の変質者と接触した13歳の少女が誘拐され、複数の州に人身売買されたと主張している。この訴訟では、同社がゲームのデザインを通じて「小児性愛者にとって格好の餌食」を作り出したと非難されている。
Robloxは、親が明示的に許可しない限り、チャットで個人情報、写真、ビデオを共有することを禁止し、プライベートメッセージを13歳未満のユーザーに制限すると述べています。チャットはエンドツーエンドで暗号化されないため、企業はセキュリティ違反がないか会話を監視できます。
同社は、完全な保護を保証できるシステムはないと主張していますが、Sentinel のような AI の進歩により、早期発見の可能性が大幅に向上すると考えています。