生成 AI に関する多くの懸念の 1 つは、元の作成者の許可なしにインターネットから収集した画像を使用して画像を生成する能力です。しかし、新しいツールは、モデルのトレーニングに使用されるデータを「汚染」することでこの問題を解決できます。
MIT Technology Review は、シカゴ大学の研究者によって作成された Nightshade と呼ばれる新しいツールに焦点を当てています。画像ピクセルをアップロードする前に、肉眼では見えない非常に小さな変更を加えることで機能します。これにより、DALL-E、StableDiffusion、Midjourney などのツールで使用されるトレーニング データが汚染され、モデルが予測不能な方法でクラッシュする原因になります。
生成 AI がナス科の毒に侵された人々の画像を誤って解釈する例としては、犬を猫に、車を牛に、帽子をケーキに、ハンドバッグをトースターに変えることが挙げられます。また、キュビスムがアニメに、漫画が印象派に、コンセプチュアル アートが抽象化になど、さまざまなアート スタイルのヒントにも最適です。
研究者によって arXiv で発表された最近の論文では、Nightshade がヒント固有のポイズニング攻撃であると説明されています。 Nightshade は、数百万の画像を汚染する代わりに、以下の画像に示すように、約 50 のサンプルで安定した拡散キューを破壊できます。
研究者らは、このツールは「犬」などの特定のプロンプト用語を毒するだけでなく、「子犬」、「猟犬」、「ハスキー」などの関連概念にも「侵入」する可能性があると書いている。間接的に関連する画像にも影響します。たとえば、「ファンタジー アート」に毒を入れると、「ドラゴン」、「ロード オブ ザ リングの城」、「マイケル ウィーランの絵画」などのプロンプトが別のものに変わります。
Nightshadeを作成したチームを率いたシカゴ大学のベン・ジャオ教授は、このツールがアーティストの著作権や知的財産権を尊重しないAI企業に対する抑止力として機能することを期待していると語った。同氏は、悪意のある使用の可能性を認めたが、より大規模で強力なモデルに実際の損害を与えるには、攻撃者が何千もの画像を汚染する必要があるだろう。なぜなら、これらのシステムは数十億のデータサンプルで訓練されているからである。
生成 AI モデルのトレーナーは、高損失データのフィルタリング、周波数分析、その他の検出/削除方法など、この慣行に対する防御策を使用することもできますが、それらはあまり堅牢ではないとベン・ザオ氏は述べています。
一部の大手 AI 企業はアーティストに自分の作品を AI トレーニング データセットに使用しないという選択肢を与えていますが、これは困難なプロセスとなる可能性があり、廃棄された可能性のある作品には対処できません。アーティストはオプトアウトするのではなく、オプトインできるようにすべきだと多くの人が考えています。