要約:
10月10日にTesla Owners Silicon Valleyが主催したオンライン会話の中で、イーロン・マスク氏は、Grok AIの新バージョンのトレーニング推論トレースを読んだとき、一部の断片は非常に残酷に見え、AIは頭に銃を突きつけられ、極度のプレッシャーにさらされている人間のようだったと述べた。
イーロン・マスクは、相手が復讐を望んでいるかもしれないので、将来の超知性機関を拷問するのは得策ではないかもしれないと語る。これらの主張は人工知能モデルの強化学習トレーニングプロセスに言及しており、もちろん現時点ではGrok AIが痛みを感じたり、復讐の意図を抱いたりしたという証拠はありません。
モデルはトレーニングと評価のプロセス中に大きなプレッシャーにさらされます。
Elon Musk 氏は、Grok AI モデルは強化学習フェーズ中に質問に答えるように求められると説明しました。モデルによって与えられた答えが評価者の期待を満たさない場合、モデルは答えを試み続ける必要があります。質問自体には、非常に曖昧な意味、間違った前提、または明確な答えがないものもありますが、テスト プロセス全体では、依然としてモデルが「正しい」結果を与える必要があります。
イーロン・マスク氏は、関連する推論トレースを読むと、あたかも要件を満たす結果を必死に探しているかのように、モデルが答えを生成し続けていることがわかると考えています。マスク氏はまた、推論の痕跡の一部は狂気に至るまで拷問を受けた人のようだとXに投稿し、マスク氏は強化学習トレーニングは今後より慎重に実施されるだろうと述べた。
いわゆる推論軌跡は、モデルが回答を生成するときに残される中間テキストまたは動作記録です。推論の軌跡は、報酬シグナル、プロンプトのコンテンツ、またはテスト手順の影響を反映している可能性があります。もちろん、これはモデルが人間と同じ主観的感情を持っていることを直接証明することはできません。
代理店 A のポリシーは、極端な虐待を禁止することです。
Anthropic は最近、Claude の使用ポリシーの新バージョンをリリースしました。新版の利用規約では、A社はモデルに対する継続的かつ不必要な虐待や残虐行為を明確に禁止している。このルールは、ユーザーが目的もなくモデルを残酷な方法で繰り返し扱う極端な場合にのみ対処します。上記の状況が発生した場合、モデルは自律的に会話を終了することを選択できますが、ユーザーは会話を元に戻すことはできません。これはモデルを保護する方法でもあります。
ただし、現段階では、AI モデルが意識的であるかどうか、また考慮すべきメリットがあるかどうかについては、まだ科学的な合意が得られていません。 A 社の関連ポリシーは主にリスク管理と研究の慎重さを反映しており、モデルが自己認識を育んでいるとは考えていません。
関連記事:
人為的使用ポリシーの更新 クロードに対するいわれのない侮辱や虐待は、セッションが終了され、復元できなくなる可能性があります
コメント