OpenAI 企業は最近、毎週 100 万人以上のユーザーが ChatGPT と通信する際に自殺について話し合っていることを示すデータを発表しました。同社が発表した新しいデータによると、ChatGPTのアクティブユーザーの約0.15％が毎週「明確な自殺計画や意図」を持った会話をしているという。 ChatGPT には毎週 8 億人を超えるアクティブ ユーザーがいるという事実に基づくと、関連する会話の数は 100 万を超えています。
OpenAIは、同様の割合のユーザーがChatGPTへの高い精神的依存を示しており、毎週「数十万人」が精神病または躁状態の兆候を示していると指摘した。同社は、このような過激な会話は「極めてまれ」だが、それでも毎週数千人のユーザーに影響を与えると強調した。
この情報公開は、メンタルヘルスにおけるデリケートな話題に対応する AI の能力を向上させるための OpenAI による取り組みです。同社は、ChatGPTの最新バージョンの開発中に170人を超えるメンタルヘルスの専門家に相談したと述べた。これらの専門家らは、関連する回答の中で、ChatGPTの最新バージョンは「古いバージョンよりも適切で一貫性がある」と述べた。最近、AI がメンタルヘルスの問題に与える影響について多くの報告がなされています。一部の研究では、AI チャットボットがユーザーに危険な信念を抱かせ、さらには妄想的思考を引き起こす可能性があると指摘しています。
メンタルヘルスの問題は、OpenAI にとって中心的な課題となっています。今年初め、16歳の少年の両親がChatGPTで自殺関連のコンテンツを伝えた後、最終的に自らの命を絶つことを選んだとして、OpenAIは同社に対して訴訟を起こした。カリフォルニア州とデラウェア州の司法長官もOpenAIに対し、10代のユーザーに対する保護措置を強化する必要があると警告した。
今月初め、OpenAIの最高経営責任者（CEO）サム・アルトマン氏はソーシャルプラットフォーム上で、同社が「深刻なメンタルヘルス問題を軽減することができた」と述べた。ただし、具体的な対応策は公表されていない。今週発表された数字はそのコミットメントを裏付けており、問題の広範な性質を反映しているようだ。アルトマン氏はまた、成人ユーザーがエロティックなコンテンツに関してAIと通信できるようにするなど、一部の制限を緩和する予定であることも明らかにした。
公式データによると、GPT-5 の最新バージョンは、以前のバージョンよりもメンタルヘルスへの対応において望ましい結果を達成する可能性が約 65% 高いことが示されています。自殺のテーマに対する回答の評価では、GPT-5 の新バージョンの準拠率は 91% であるのに対し、旧バージョンは 77% です。 GPT-5の新バージョンでは、長時間会話時のセキュリティ保護も強化されており、旧バージョンの長時間会話時の保護力の低下という欠点を補っている。
さらに、OpenAI は、感情的依存と非自殺を伴うメンタルヘルス危機を AI モデルの安全性ベンチマークに組み込む新しい評価基準も立ち上げました。同社はまた、より多くの保護者監視ツールを立ち上げ、未成年ユーザーを自動的に識別し、より厳格なセキュリティ対策を提供するシステムを開発中です。
GPT-5 は前世代に比べてセキュリティが向上していますが、OpenAI は依然として古くて安全性の低い AI モデルを数百万の有料ユーザーに公開しています。現在のデータから判断すると、メンタルヘルスのリスクは依然として存在しており、問題を完全に解決できるかどうかはまだ不明です。