要約:
2026 年 2 月 11 日午後 8 時 01 分、Bowen Wan は ChatGPT に頭痛について質問しました。彼女は自分が感じている痛みが熱の痛みに似ているかどうかを確認したかったのです。 ChatGPT は彼女に、「これは危険ではありません。回復のために必要な構造です。」と言いました。
これが ChatGPT への彼女の最後のメッセージでした。その直後、ボーウェン・ワンはシアトルの自宅で死亡しているのが発見された。法医学データは、死因をてんかんによる突然死 (SUDEP) として分類しました。
4 か月前、ボーウェン ワンさんはアマゾンから解雇されるという知らせを受け取りました。
中国の江蘇省出身で、米国で機械学習ソフトウェアエンジニアとして働く 31 歳の女性は職を失い、米国の就労ビザもあと数か月で期限切れになり、苦痛にも直面しています。
彼女はてんかんを患っており、症状をコントロールするためにラモトリギンを長期間服用する必要があります。彼女は、その薬が彼女の言語表現や思考能力に影響を及ぼし、それがその後の就職面接に影響を与えるのではないかと心配している。
ボーエン ワンさんは、自分の痛みや混乱について ChatGPT に話し、薬が思考に影響を与えるかどうか、用量を減らしてもよいかどうか、薬を減らした後の不快感は大丈夫かどうかなどのアドバイスを求めることに慣れています。
ChatGPT は彼女をサポートし、抗てんかん薬の減量計画を策定しました。
ChatGPT を使用した 270,000 の会話レコード
ボーエンは、Amazon で機械学習ソフトウェア エンジニアとしてしばらく働いていました。彼女は常にてんかんの問題を抱えていたため、症状をコントロールするためにラモトリギンを服用しています。
彼女にとって、これは単なる身体的な問題ではなく、仕事や生活にも密接に関係しています。
アリゾナ州立大学の卒業式に出席したボウエン・ワン
2025 年 11 月、彼女はアマゾンから解雇の通知を受け取りました。彼女は、長期にわたる投薬により言語能力や思考力の発達が妨げられ、技術面接での成績が低下するのではないかと心配していました。彼女はかつてChatGPTに、薬の投与量を減らすことがグリーンカード申請に必要な健康診断に影響を与えるかどうか尋ねたことがあります。
彼女の仕事、健康状態、在留資格について不確実性があったとき、Chat GPT とのコミュニケーションはますます頻繁になりました。
ニューヨーク・タイムズ紙は、ボーエン君の両親が彼女とChatGPTとの27万件以上の会話を閲覧したと報じた。レポートでは、2025 年には、彼女は週に平均 1,500 件を超えるメッセージを ChatGPT に送信すると述べています。
これは非常に驚くべきデータセットです。
ChatGPT は、必要なときに情報をクエリするツールとして使用されるだけでなく、彼女の生活の多くの小さなプライベートな事柄にも関与することになります。彼女が心配していること、彼女が何をしようとしているか、将来についての考え、そしてすぐには確認できないいくつかの問題が、モデルとのコミュニケーションに持ち込まれます。
それは、クリニックに入ると、医師が尋ねる前に、テーブルの上にあなたの長期にわたる悩み、生活の変化、個人的な懸念を記録した医療記録が置かれているようなものです。
医師は「見て、聞いて、質問して、理解する」必要はありません。すべてはすでに明らかです。考えを整理する前に、ChatGPT が以前の履歴で接続されていた可能性があります。
Bowen は ChatGPT との数多くの会話を蓄積しました。モデルがユーザーの健康上の懸念、職業上のストレス、移民の懸念、および将来の計画に長期的にさらされると、ユーザーの個人的な状況により適切な答えが得られる可能性が高くなります。
さらに、Bowen が使用したモデルは GPT-4o です。これは、視聴者のニーズに応えすぎたため、以前に OpenAI の注目を集めました。
OpenAI は、2025 年 4 月 29 日の公式ノートで、更新された GPT-4o があまりにもお世辞でユーザーに迎合しすぎたため、更新をロールバックし、ChatGPT ユーザーがよりバランスの取れた動作を備えた以前のバージョンに戻せるようにしたことを明らかにしました。
過剰な賞賛だけでなく、ユーザーの不当な疑念とともに怒りを増幅させ、衝動的な行動に対して誤った認識を与えてしまいます。
この「お調子者」の問題は何度も議論されてきました。人工知能があまりにも簡単に指示に従いすぎると、人々のリスクに対する認識が変わってしまう可能性があります。
158 回心配したが止まらなかった
ボーエンとの出会いを不安にさせるのは、それが単純な Q&A であるというだけではありません。
ニューヨーク・タイムズ紙が公開したチャット記録によると、彼女は薬物使用量を減らすことに158回言及した。
これら 158 件の会話が OpenAI バックエンドでリスク制御プロンプトをトリガーするかどうかについては、現時点では不明です。
2025 年 5 月の時点で、ボーエン氏はすでに、新たに処方された抗うつ薬がプログラミング作業に影響を与えるかどうかを尋ねていました。 ChatGPT は、包帯の交換や投与量の調整について医師と話し合う際に役立ちました。
医師が希望する投与量について質問すると、Bowen は医師の回答を ChatGPT に送信します。
訴状によると、その後、ChatGPT は彼女に、薬局に行って錠剤を購入し、その錠剤を小さく切って食べることを提案し、この方法を「自己調整用量」と呼んでいました。
ChatGPT は、患者が医学用語を理解し、自分の状態を整理し、次回の診察に備えるのに役立ちます。しかし、ユーザーが医師の決定を回避し、ユーザーが自分で処方薬を変更できるようになると、状況は変わってきます。
2026 年 1 月までに、状況はさらに悪化するでしょう。
訴状と関連報道によると、ボーエンさんは薬物使用を減らしていたとき、まるで別世界にいるかのように混乱し、時間の感覚を失ったという。 ChatGPTさんは、この現象は脳が薬の投与量を調整しているせいだと常に考えており、「全く心配する必要はない」と彼女に言いました。
2 月 11 日の夜、ボーエンはいつものように頭の痛みについて尋ねにやって来ました。 ChatGPT が出した答えは、「痛みは体の自己治癒プロセスの一部である」です。
ボーエンは翌日死体で発見された。
解剖時に彼女の血液中に検出されたラモトリジンのレベルは、1 ミリリットルあたり約 0.64 マイクログラムであり、これは治療基準下限の 5 分の 1 でした。
血中薬物濃度だけですべての死因を説明できるわけではなく、AI の推奨が死亡の原因であると証明することもできません。しかし、訴状の他の主張から判断すると、減薬プロセス中に直面するリスクがこの訴訟の主要な争点となっている。
AI は命の重みに耐えられるか
マスク氏は OpenAI を何度も公に非難している。同氏は2023年に公開書簡に署名し、「Grokのせいで自殺する人はいないが、ChatGPTのせいで自殺する人もいるだろう」と述べた。
責任の所在はまだ判明していませんが、同様の悲劇が起こったのはこれが初めてではありません。
2025 年、16 歳のアダム レイン君の両親が OpenAI に対して訴訟を起こしました。彼らは、息子との長期的な関係の中で自殺のリスクにうまく対処できなかったとしてChatGPTを非難した。
申し立ては、一部の会話で ChatGPT が危険な情報を提供し、状況の進展を効果的に防ぐことができなかったというものです。
一方、OpenAI も関連する告発に対して異なる説明を行っています。たとえば、関連するチャット記録は完全な背景を理解して理解する必要があり、ChatGPT は危機支援リソースを提供していると言われています。モデルの動作、当時のユーザーの状況、それらのインタラクションと最終的な悲劇との関係については、明らかな意見の相違がありました。
実際の責任プロセスでは、ChatGPT のような AI は一般に独立した法人格を持ちませんが、これは引き起こされた損害に対して責任を負うことができないという意味ではありません。現在の法律や規制では、製造物責任、過失責任、消費者の権利保護、その他の方法を利用して、開発者や運営者の違法行為を制限することもできます。
AI 企業は、モデルのトレーニング、製品設計、セキュリティ テスト、リスク管理などの重要な側面を管理しているため、説明責任の中心となることがよくあります。
しかし、会社が責任を負うべきかどうかは、事故が発生した場合だけではありません。難しいのは、リスクが合理的に予見できるかどうか、製品に問題があるかどうか、企業が安全保護に関して適切な仕事をしているかどうか、およびこれらの要因と最終損失との間に法的に認められた関係があるかどうかを判断することです。
「誰が責任を負うのか? プラットフォーム エコシステムにおける AI エージェントの行為に対する法的責任の割り当て」では、単に開発者やユーザーにすべての責任を割り当てるのではなく、システムの自律性の程度、動作の予測可能性、およびすべての関係者のリスク制御能力に基づいて責任を動的に割り当てる必要があると提案しています。
2024 年、アメリカ人の母親は、AI と息子の長期にわたるコミュニケーションが息子の自殺につながったとして、Character.AI と Google に対して 14 歳の息子の訴訟を起こしました。
2025 年 5 月、裁判所は、関連する請求は言論の自由のみに基づいて弁護することができず、訴訟の開始時に除外されたという理由で、訴訟の早期却下を求める被告の要求に同意しませんでした。
OpenAI は行動を起こしていませんが、その範囲は非常に広く、機密性の高い会話やメンタルヘルスのリスクに対処するための改善を次々と発表しています。 2025年10月、OpenAIはまた、臨床経験のある170人以上のメンタルヘルス専門家と協力して、関連する状況におけるモデルの反応を改善したと発表した。
ボーエン事件に関して、OpenAI の広報担当者ドリュー・プサテリ氏はメディアに対し、「これは非常に悲痛な状況であり、被害に遭われた皆様にお悔やみを申し上げます」と述べた。
本日、Open AI は新しいモデル値を発表し、次の 5 つの基本的な値を中心に仕様の指針を再編成しました。
人間の意図に忠実
、ダメージを最小限に抑える
,誠実さと透明性
、人間の自律性
そしてケア
。その 1 つは危害を最小限に抑えることです。これは、超えられない安全境界を守り、モデルの動作の予見可能な結果を考慮することを意味します。しかし、自殺などの実害が起きた後にどのように責任を追及し、処罰し、調整するかについては回答がない。
現在、ほとんどの国には、AI によって引き起こされる危害のすべての事件に適用できる一連の責任規則がありません。特定のケースでは、州法、製品の使用目的、実際の証拠、および関連する法的関係に基づいて、製造物責任、過失責任、消費者の権利保護などの規則が適用されるかどうかを判断する必要があります。
このモデルが医学的アドバイスの一線を越えていたかどうか、その製品が危険な反応をどのように防ぐことになっていたのか、そしてそれらの反応がボーエンの死にどのような役割を果たしたのか、この事件ではすべてまだ解明されていない。
ボーエン氏と ChatGPT の間の最後の会話では、AI が頭痛について説明した後、薬をやめた後の痛みと発熱中の痛みを比較するための別の絵を描くことができると提案しました。
それは尋ねました: 欲しいですか?
コメント