【PC操作を自動化】Anthropicが公開した「Computer Use」を使ってみた

Computer Useとは？

「computer use」は、AIが人間のようにコンピュータを操作するという新しい機能です。
この機能により、Claudeは画面を見てカーソルを動かし、ボタンをクリックしてテキストを入力するなど、日常的なPC作業を自動化できます。
現在、この技術は実験段階にあり、一部の操作においてはまだ不安定な部分やエラーが発生することもありますが、今後のフィードバックをもとに改善が進められる予定です。
Claude 3.5 Sonnetは、この「computer use」機能を最初に導入したAIモデルであり、開発者向けに公開されています。
このプロジェクトは、Amazon BedrockやGoogle CloudのVertex AIを通じて、広く利用可能です。

Computer Useの使い方

事前にDockerのインストールとAnthropic APIキーを取得してください。

Dockerのインストールは次から

Docker

Docker Desktop Dockerデスクトップは、開発者向けの共同コンテナ化ソフトウェアです。 今すぐ Docker Desktop を Mac、Windows、または Linux でダウンロードしましょう。

Anthropic APIキーの取得方法は次から

あわせて読みたい

【Claude】Anthropic APIとは？概要からAPIキーを取得する方法まで 今回の記事ではAnthropicのAPIキーの取得方法を解説します。Anthropic APIキーを取得することで、Claude 3.5などAnthropicが提供する高度なAIモデルを自身のアプリケー...

最初にDockerファイルをインストールします。

git clone https://github.com/anthropics/anthropic-quickstarts.git

次にプロジェクトにAPIキーを設定します。
フォルダ移動:

cd anthropic-quickstarts
cd computer-use-demo/

APIキーの設定:
※Windowsでの設定方法です、LinuxやmacOSではsetコマンドの代わりに、exportコマンドを利用してください。
※%your_api_key%には実際に取得したAPIキーを入力してください。

set ANTHROPIC_API_KEY=%your_api_key%

APIを設定したら実行します。

実行:

docker run -e ANTHROPIC_API_KEY=%ANTHROPIC_API_KEY% -v %USERPROFILE%/.anthropic:/home/computeruse/.anthropic -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

実行後、http://localhost:8080/にアクセスすることで次のような画面が表示されます。

Dockerイメージにはデフォルトでは以下のようなツールが準備されています。

• Firefoxでウェブ検索や閲覧
• スプレッドシートの作成と編集
• 計算機の使用
• PDFビューアーの操作
• ターミナルでの基本的なコマンド実行

今回は次のプロンプトを実行しました。

プロンプト:

AmazonでNintendo Switchをカートに入れてください

実行結果:

実行後、少し待つと動作が始まりFirefoxを起動し、Amazonを開いてNintendo Switchをカート入れる処理を実行してくれました。
ちなみに画像処理を多用する都合で、今回のような処理でも0.12ドルの費用が発生しました。

おわりに

今回は、AIが人間のようにPC作業を行う新しい技術であるComputer Useについてご紹介しました。
Computer Useは、AIがより人間に近い形でPC作業を行う可能性を広げる新しい技術です。
まだまだ実験的な面ありますが、生成AIの未来を感じられるプロジェクトです。