動画記事 · OpenAI
パソコンとブラウザを活用する
動画の文字起こしと公開情報をもとにAIで要約・構成しています。 正確な発言は元動画と時間位置で確認してください。
まず要点
OpenAI は ChatGPT Work で、既存のデスクトップアプリやブラウザを直接操作する「Computer Use」と「Chrome Use」機能を導入し、プラグインがないツールでも自動化を実現した。
専用プラグイン不要!ChatGPT Work が「既存の環境」を直接操作する新機能
OpenAI は、ChatGPT Work にユーザーが普段使っているパソコンやブラウザを直接操作する機能を搭載しました。これにより、専用 API やプラグインが存在しないデスクトップアプリや、すでにログイン済みのウェブサイトでも AI エージェントによるタスク実行が可能になります。
人間と同じようにマウスとキーボードを使う「Computer Use」
ChatGPT Work の新機能の一つが「Computer Use」です。これは ChatGPT が人間のユーザーのようにマウスのクリックやタイピング、ウィンドウ間の移動を実行する機能です。専用プラグインがないデスクトップアプリを操作したい場合に威力を発揮します。
例えば、Spotify で音楽を再生する場合を考えましょう。ChatGPT Work には Spotify の特別な統合(プラグイン)がありませんが、Computer Use を使えば、あなたが普段使っているデスクトップ版の Spotify アプリを直接操作して再生できます。Mac ではこの処理もバックグラウンドで行われるため、作業を続けながら AI に任せることが可能です。
「ChatGPT はマウスのクリックやタイピング、ウィンドウ間の移動を人間と同様に実行し、デスクトップアプリを操作する」
また、ChatGPT に画面を見せたい場合は「Command + Command」キーを押すだけで、現在の画面をコンテキスト付きのスクリーンショットとして取得できます。これにより、AI はあなたが何を見ているかを理解でき、細かく説明する必要がなくなります。
ブラウザ内での自動操作「Chrome Use」
ブラウザ環境では「Chrome Use」という機能が活躍します。これは、すでにログイン済みのウェブサイト上で、タブの切り替えやフォーム入力などを自動で行う機能です。
具体的なユースケースとして、休暇申請(PTO)の手続きを想定してみましょう。「来月 9 月 14 日と 15 日に休暇申請を作成し、カレンダーに競合がないか確認して、不在通知のイベントも草案を作成してほしい」と指示します。この場合、勤怠管理システム「Workday」には専用プラグインがありませんが、Chrome Use を使えばブラウザ上でタブを開き、フォームに入力する作業を AI が代行してくれます。
さらに、Google カレンダーのプラグインと組み合わせることで、スケジュールの確認や不在通知の草案作成も同時に行えます。重要なのは、AI が「申請書の入力完了」や「イベントの草案作成」まで行い、「実際に送信する」段階で止まる点です。
「ChatGPT はブラウザを使って Workday の部分を処理し、Google カレンダーのプラグインを使ってスケジュールを確認・草案を作成する」
目的に応じた使い分け戦略
これらの新機能は、それぞれ得意とする領域が異なります。OpenAI が推奨する運用ルールはシンプルです。
- ツールに直接接続できる場合: 専用プラグインが存在すれば、それを優先して使用します。
- デスクトップアプリの場合: プラグインがないデスクトップアプリを操作するには「Computer Use」を選びます。
- ブラウザ作業の場合: ブラウザ内で既にログイン済みのサービスを利用する場合は「Chrome Use」を選択します。
この戦略により、開発コストや導入ハードルを大幅に下げつつ、複雑なマルチステップタスクも実行可能になります。特に、重要な決定(カレンダーへの登録やチームへの影響がある操作など)については、AI が草案を作成した段階で停止し、最終的な承認は人間が行うという設計が採用されています。
「単純なルールだ:ツールに直接ルートがあるならプラグインを使い、デスクトップアプリで行う仕事には Computer Use を、ブラウザで行う仕事には Chrome Use を選ぶ」
まとめ
ChatGPT Work のこれらの新機能は、AI エージェントが専用 API に依存せずとも既存のワークフローに組み込めることを実証しました。これにより、業務自動化の範囲が拡大し、実務への AI 統合が加速することが期待されます。
最終的な決定権を人間が握りつつ、退屈な手順を AI に任せるというバランス感覚こそが、この新時代の AI ツールの核心です。
Original Source
元動画で発言を確認
プレイヤーは必要になるまで読み込みません。YouTubeのCookieと通信も再生を選ぶまで開始しません。
時間位置から根拠を確認
章や引用を選ぶと、元動画をその位置から再生します。