11月15日、Sinovation VenturesのCMOは、Yiモデルの「LLaMAの盗作」事件に対応してWeChatモーメントに投稿した。彼女は、モデルのアーキテクチャに関する世論に応えて、Zero One Wish が Yi-34B モデルの訓練手順を公開したと述べた。Sinovation Ventures の CMO は声明を発表し、業界の進化に従い、徐々に普遍的で環境に配慮したインフラストラクチャーになりつつあることは「模造品と模倣品」になったと述べました。 (モバイル アプリ開発者が iOS と Android の共通アーキテクチャから恩恵を受けるのと同じように)。 Lingyiwanwu は今後もコミュニティから謙虚に学び、進歩を続けていきます。
説明によると、Zero Yiwu は Yi-34B および Yi-6B モデルをゼロからトレーニングし、実際のトレーニング フレームワークに従ってトレーニング コードを再実装し、自己構築されたデータ パイプラインを使用して高品質のトレーニング データセット (3PB のオリジナル データ選択から 3Ttoken の高品質データまで) を構築しました。
Zero One Thousand Things の最初のオープンソース プロセス中に、オープンソース コミュニティで一般的に使用されている LLaMA アーキテクチャを使用する方が開発者にとってより使いやすいことがわかりました。実験後に LLaMA の推論コードの一部を使用し名前を変更したという過失については、当初の出発点はモデルを完全にテストすることであり、意図的にソースを隠すことではありませんでした。Lingyiwuwuはこれについて説明し、心からの謝罪を表明した。, 私たちはモデルとコードをさまざまなオープンソース プラットフォームに再提出し、LLaMA プロトコルのコピーを補足する作業を進めており、各オープンソース コミュニティのバージョン更新をできるだけ早く完了することを約束します。
関連記事：