AI 模仿人類使用電腦方式，新創 Anthropic 新模型可操控你的電腦

做為 OpenAI 一大競爭對手，新創公司 Anthropic 開發的 Claude 獲得不少國內外用戶青睞，甚至認為 Claude 最新模型比 GPT-4o、o1 更好用。Anthropic 持續更新模型、增添更多功能，新發表的電腦使用（computer use）功能成為一大亮點。

Anthropic Claude 3.5 系列模型添新版本，包括升級版 Claude 3.5 Sonnet 和全新 Claude 3.5 Haiku，前者在編輯程式碼方面取得顯著進步，後者性能可媲美 Anthropic 之前最大模型 Claude 3 Opus 的性能。

不只如此，Anthropic 在 Claude 公開測試版引進一項開創性功能 computer use，用戶能以自然語言，與能夠操控電腦桌面環境的工具進行互動，即日起開發者可透過 API 請求進行測試。

computer use

開發者透過 computer use 可指導 Claude 像人們一樣使用電腦，比方說查看螢幕、移動遊標、輸入文字、點擊按鍵等，Claude 3.5 Sonnet 是第一款在公開測試版提供這項新功能的模型。

Anthropic 建立了 API，使 Claude 能夠感知電腦介面並產生互動，開發者可整合 API 使 Claude 能夠將指令轉譯成操控電腦的行動命令。Anthropic 將這次 AI 代理（AI agent）的概念稱為動作執行層面，讓 Claude 3.5 Sonnet 執行操控電腦的命令。

從 computer use 自動化操作的示範影片來看，Anthropic 舉例某人要用電腦填寫供應商申請表，表格所需資料可能散落在電腦裡的文件或在線上系統當中。於是下指令後，Claude 先查看已經開啟的瀏覽器分頁，從一個 Google 試算表找出是否有相符的資料，發現沒有資料則進入 CRM 系統嘗試找出更多資料，最後將資料一一填入申請表。

用戶只需要下指令，Claude 即可模仿人類使用電腦方式來完成任務。上述例子對一般人而言相當簡單，但要 AI 自動完成所有步驟，包括查詢比對、切換分頁、再次查詢並滾動視窗、確認資料並填入正確欄位等確實不容易。不僅讓外界看到 Anthropic 的技術實力，像這種可能屬於秘書或助理的工作項目，未來恐怕會被 AI 所取代。

▲ Anthropic 示範 computer use 的自動化操作。

Anthropic 嘗試一些新事物，這回沒有製作特定工具幫助 Claude 完成任務，而是教它通用的電腦使用技能，讓它能夠使用專門為人類設計的各種程式。Anthropic 強調，computer use 現階段仍在實驗，實際能力不夠完善，有時操作很麻煩，而且容易出錯，為此特別徵求開發者的意見回饋

萬一 computer use 遭到濫用，可能為垃圾郵件、錯誤訊息、網路詐騙等常見威脅提供機會，因此 Anthropic 採取積極主動方式，促進新功能可安全部署

升級後的 Claude 3.5 Sonnet 提供所有用戶使用。即日起，開發者可使用 computer use 測試版在 Anthropic API、Amazon Bedrock 及 Google Cloud 的 Vertex AI 進行建置，至於新的 Claude 3.5 Haiku 將在本月底釋出。

（圖片來源：Anthropic）