【3分ニュース】OpenAI 『Operator』とは何か？機能や特徴をもとに解説！

▶Computer Using Agent（CUA）モデルとは 

1. 「見る」

   GPT-4oの視覚認識技術を活用して画面上のスクリーンショットから情報を正確に読み取ります。これにより、Webページのボタン、フォーム、画像など、GUI（グラフィカルユーザーインターフェイス）の各要素を識別・解析することが可能となります。
   
   

2. 「考える」

   CUAは強化学習を通じて次にどのような操作を行うべきか判断します。たとえば、予約サイトでの日付選択や時間の入力など、人間が行う一連のタスクを理解し、最適な操作の提案を生成します。

    

3. 「操作する」

   実際にマウスクリックやキーボード入力といった物理的な操作を正確に再現します。これにより、専用のAPI連携を必要とせず、実際のブラウザ上で多くのサイトやサービスを横断しながら自動でタスクを実行することが可能です。

   現段階ではCUAは開発初期にあるため、いくつかの制約はありますが、主要なベンチマーク（WebArena、WebVoyager、OSWorldなど）においては高い性能を示しており、その将来性は大いに期待されています。

    

   

    

▶主な機能と特徴 

1. ユーザーによる操作の引継ぎ

   ログインやパスワード入力など、セキュリティが重要な場面では、自動的にユーザーに操作を引き継ぎます。 さらにAIの自動作業中にエラーなどで途中で行き詰まった場合は、Operatorは推論能力による自己修正を試みますが、それでも解決されない場合にもユーザーに操作依頼が入ります。

   また、ユーザーはいつでも手動で操作を引き継ぐことができ、必要な修正を加えた後で再びAIに制御を戻すことも可能です。例えば、ホテル予約の際に部屋の種類を変更したいときなど、柔軟に対応できます。
   
   

2. タスクの複数同時進行

   複数のタスクを同時並行で進めることができます。例えば、「オンライン書店で新刊の小説を購入しながら、航空券予約サイトで次の出張のフライトを手配する」といった、異なるタスクを同時にこなすことも可能です。各タスクの進行状況は個別に確認でき、必要に応じて個々のタスクで操作を引き継ぐこともできます。
   
   

3. カスタマイズ機能

   ユーザーは、特定のウェブサイトやタスクに対して、カスタム指示を設定することができます。例えば、「～～予約サイトでは常に割引されているプランを利用する」といった指示を事前に設定しておくことで、予約時に自動でその条件にあった操作をしてくれます。

▶まとめ