フロリダの中学校閉鎖危機: AI がクラリネットを Gun

今週、米国フロリダ州オビエドの高校で、人工知能兵器認識システムによる誤警報が原因の「コードレッド」ロックアウトが発生した。学生が手に持っていたクラリネットが、システムによって誤って銃として認識された。学校は直ちに緊急閉鎖状態に入った。学校と警察は迅速に対応し、最終的に実際の脅威が存在しないことを確認しました。この事件は、保護者に誤った警報を与えただけでなく、学校でますます普及している AI セキュリティシステムの精度と監視の問題を再び最前線にもたらしました。

事件はロートン・チリズ中学校で発生した。学校に導入されたAI脅威検出プラットフォームは、監視カメラを通じてリアルタイム映像をスキャンし、生徒が所持していたクラリネットを銃器の可能性があるものとして「特定」し、システム警報を作動させた。同校はただちに最高レベルの「コードレッド」封鎖手続きを開始し、キャンパスを封鎖し、法執行機関の到着を通知した。いわゆる「武器」が実際に楽器であることが確認されるまで封鎖は解除されなかった。校長はその後、保護者への通知の中で、当時キャンパス内に実際の安全上の脅威はなかったと強調したが、それでも保護者に対し、子供たちとコミュニケーションを取り、キャンパス内で「武器を持ったふり」などの危険な行為をしないよう注意を喚起した。

報道によると、この学校があるセミノール郡学区では、ペンシルベニア州に本社を置く企業ZeroEyesが提供するクラウド銃器検知サービスを利用しているという。契約額は25万ドル。このシステムは既存の監視カメラに接続されており、コンピュータービジョンアルゴリズムを使用して、写真に映る可能性のある銃の輪郭と特徴を識別します。公式情報によると、その AI モデルは数百の銃器画像でトレーニングされています。システムが武器が発見されたと「判断」すると、関連する画像が ZeroEyes 監視センターに送信され、人間のアナリストによるレビューを受けてから、学校または法執行機関に警告を出すかどうかを決定します。しかし、今回の事件では、この「手動による二次確認」の仕組みが誤報による学校全体のロックダウンを防ぐことができなかったことは明らかだ。

ZeroEyes のプラットフォームは全米 43 の州で導入されており、フロリダ州の人口密集地の多くの学区に導入されています。同社はこれを「予防」セキュリティ手法と位置づけており、脅威をより迅速に特定することで学校での銃乱射事件への対応時間を短縮したいと考えている。しかし、同社が開示している実績データは非常に限られており、認識精度や誤報率、実際の脅威の防御成功率などの詳細な統計はほとんどなく、外部の者が実際の効果を評価することも困難です。メディアの取材に対し、セミノール郡安全・保安局は、このシステムを「効果的な抑止力」と大まかに説明しただけで、証明された脅威阻止データや、同様の誤報がどのくらいの頻度で発生するかについては言及しなかった。

その結果、保護者やセキュリティ専門家は一般に、透明性と説明責任の向上を求めています。一部の保護者は、このシステムが「金額に見合った価値がある」かどうかについて、率直に疑問を表明した。彼らは、学区がこの高額なプログラムの有効性を証明するための具体的な統計を提供してくれることを望んでおり、本当の脅威の発見に成功したのになぜそれが一般公開されなかったのか疑問を抱いている。独立系テクノロジーアナリストらは、現在、ZeroEyesに対する第三者による評価はほとんどなく、公表されている見解もさらに分かれていると指摘した。公安分野の一部の専門家は、このようなシステムは実証済みのリスク軽減ではなく「安全の幻想」を提供するのではないかと懸念している。

政策レベルでも、ZeroEyes は登録ロビイストを通じて複数の州の立法を推進し、一部の州で同様の「指定サプライヤー」の地位を取得し、キャンパスのセキュリティ調達において唯一承認された AI 銃器探知サプライヤーとなっています。批評家らは、この種の法案は実際に競合他社を締め出し、公共調達における検討と議論の余地を弱め、AI監視の信頼性に関する国民の議論を大幅に減少させると考えている。同時に、セキュリティとプライバシーの研究者らは、キャンパスのAI監視をやみくもに拡大することは、頻繁な誤警報による高圧的な雰囲気、学生の警察への過剰な露出、日常行動の継続的な監視など、潜在的な利益よりも学生に害を及ぼす可能性があると警告している。

アメリカ自由人権協会の政策顧問はかつて、システムの誤警報の頻度が高い場合、不必要な封鎖やパニックを引き起こすだけでなく、学校や保護者が誤警報に対して「無感覚」になり、その結果、実際の危機に対する感受性が弱まる可能性があると指摘した。現在、AI セキュリティシステムの多数のトレーニングデータは、比較的制御可能な画像セットから取得されています。しかし、実際のキャンパス環境に登場するバックパック、楽器、スポーツ用品などのアイテムは複雑な形状をしているため、モデル内の銃器の輪郭と混同されやすいです。今度はクラリネットが銃と間違われました。この事件の後、セミノール郡学区は今でもこのシステムを「必要な防衛線」とみなしている。しかし、その信頼性とコストは、より広範な社会的議論を引き起こしました。外部の世界も、各学区が今後もこの種の AI モニタリングに依存し続けるのか、それともサプライヤーに対してより厳格な実績開示と監督要件を導入するのかに注目しています。