要約:
最近、開発者の Cactus Compute は、Needle 2 と呼ばれる軽量 AI モデルをリリースしました。
このモデルのサイズはわずか 14 MB で、Raspberry Pi 5 のプロセッサ環境向けに徹底的に最適化されています。AI アクセラレーション拡張ボードを必要とせずに、自然言語命令をリアルタイムでプリセットされた関数呼び出しに変換できます。
Raspberry Pi 公式ブログによると、Needle 2 は従来の汎用チャット ロボットではなく、デバイス側のコマンド実行に重点を置いた専用モデルです。ユーザーが LED ライトを点灯するための入力を行うと、システムは認識から実行までの全プロセスをわずか 78 ミリ秒で完了し、ほぼ瞬時の応答を実現します。
パフォーマンスとリソース使用量の点でも、Needle 2 は極めて高い効率性を示しています。 Raspberry Pi 5（メモリ8GB版）の実測では、このモデルが実行時に占有するメモリはわずか約28MBです。完全な Python デモ プログラムを実行した場合でも、合計メモリ消費量はわずか 46.4MB です。
この軽量設計により、モデルをクラウド API やネットワーク環境から完全に分離し、エッジで純粋にローカルなインテリジェントな制御を実現できます。
ハードウェア機能とインターフェイス呼び出しに関して、Needle 2 は Python アノテーション システムを通じて基盤となるハードウェアと深く結びついています。開発者は既存の関数コードに特定のタグを追加するだけで、モデルが関数名、説明、パラメーターの型を自動的に取得し、呼び出し仕様を構築できます。
たとえば、プロセッサ温度をクエリする命令の応答時間は 149 ミリ秒で、システムは正確に摂氏値を返します。プロセス全体はローカル プロセッサ内で完全に完了します。
ただし、このモデルは論理的判断が非常に制限されていることに注意する必要があります。事前に設定された関数と一致しない無関係な質問 (「フランスの首都はどこですか?」など) については、Needle 2 は強制的に答える代わりに、92 ミリ秒以内に null 値を返します。
現在、Needle 2 のモデル ウェイトは Hugging Face プラットフォームでリリースされており、関連するコードも Apache 2.0 プロトコルに従って GitHub でオープンソースです。
コメント