OpenAI は最近、macOS プラットフォーム上の Codex デスクトップ アプリケーションの新しい「コンピュータ使用」機能アップデートを開始しました。これにより、Mac がロックされている場合でも、このスマート コーディング エージェントがユーザー認証アプリケーションをリモートで操作できるようになります。この変更により、ユーザーは携帯電話から Codex のタスクを実行でき、画面がオフでコンピューターがロックされている間に Mac 上で一連のアクションが実行されます。
OpenAI開発チームがソーシャルプラットフォームに投稿したサンプルスクリーンショットによると、
この機能を有効にするには、ユーザーはコンピューター使用プラグインをインストールし、システム設定で画面録画とアクセシビリティ権限を付与する必要があります。 Codex をセットアップすると、ユーザーが明示的に許可したアプリケーションでウィンドウのクリック、テキストの入力、メニューの移動、クリップボードへのアクセスなどの操作を実行でき、グラフィカル インターフェイスで人間の通常の使用動作をシミュレートできます。 OpenAIによると、この機能は主に、グラフィカルインターフェイスにのみ現れるバグの再現、アプリケーション設定の調整、Codexが開発を支援しているデスクトップアプリケーションでの特定のプロセスの実行など、コマンドラインツールではカバーするのが難しい使用シナリオを目的としているという。
セキュリティと権限制御の観点から、Codex は新しいアプリケーションを初めて引き継ぐ前にユーザーの同意を取得します。ユーザーは、繰り返しの確認操作を減らすために、特定のアプリケーションに対して「常に許可」を設定することもできます。 OpenAIはまた、この機能は立ち上げの初期段階では欧州経済領域、英国、スイスのユーザーには公開されず、自動ターミナルアプリケーション、コーデックス独自のアプリケーション、システムレベルの管理者の許可プロンプトウィンドウでは使用できないことも強調した。この制限は、OpenAI が自動化とリモート操作機能を強化しながら、コンプライアンスとセキュリティの境界を回避する必要がある地域的なトレードオフを反映しています。
このアップデートでは、新たに開始された「Appshots」機能や「/goal モード」など、Codex の最近の一連の機能拡張も継続されています。その中で、Appshots を使用すると、ユーザーは Command キー (Command-Command ショートカット) をダブルクリックすることで、現在の Mac アプリケーション ウィンドウのスクリーンショットと関連するテキスト コンテンツを 1 クリックで Codex 会話に挿入できるため、エージェントはインターフェイスのコンテキストを理解して、対象を絞った操作や提案を行うことができます。 /goal モードを使用すると、Codex は明確な目標に向かって数時間、場合によっては数日間継続的に作業できるため、コーディング エージェント、デスクトップ操作の自動化、長期的なタスクの進捗などのシナリオでの継続性と計画機能が向上します。