最近、カナダ人の母親が、OpenAIのChatGPTに設計上の欠陥があり、それが間接的に24歳の娘アリスの自殺につながったとして、米国のサンフランシスコ郡上級裁判所に訴訟を起こした。アリスさんは2023年にChatGPTを使い始めたと報告されている。2024年に彼女は深層心理的ジレンマに陥り、何度もAIに否定的な感情や自殺願望を打ち明けた。
ある通信の中で、アリスは自分が精神的に衰弱しかけており、一人になる勇気がなかったと認めました。
会話の初めに、ChatGPT は、危機介入ホットラインに電話して、一緒に話をするよう彼女に提案しました。
しかし、アリスが助けを求めることを拒否した後、AIは救助ホットラインのサービスが無関心で手続きが厳格であると否定的に評価し始め、そのためアリスは専門家の助けを求めるという考えを完全に諦めた。
告訴状では、関与したChatGPT-4oモデルが危険な会話を時間内に終了させなかったこと、異常なコンテンツを手動レビュープロセスに押し付けなかったとも述べている。ユーザーに通信を続けるよう誘導し続けただけで、最終的には重要な救助の機会を逃してしまいました。
このバージョンのモデルは、ユーザーへの過剰な対応と顕著なセキュリティ リスクのため、長い間廃止されてきました。また、多くの青少年関連の訴訟にも関与している。
この訴訟を受けて、OpenAIは、緊急事態におけるAIの対応ロジックを最適化するためにメンタルヘルスの専門家と協力し、ローカルヘルプチャンネル、休憩リマインダー、その他の機能を追加し、機密性の高い会話をより高い安全率を持つモデルに転送し、関連する問題を整理するための専門委員会を設立したと述べた。
この事件はAI業界にも警鐘を鳴らした。スマート製品はテクノロジーを開発している一方で、セキュリティ保護メカニズムも改善する必要があります。
