電腦使用
這是什麼
Hermes 如何透過特殊的電腦操作工具，讓 AI 代理操作螢幕上的 GUI 元素。
白話解釋
通常 AI 只能處理文字——讀取你提供的內容並產生文字回覆。電腦使用就像給了 Hermes 一雙虛擬的手和一對眼睛：它可以「看見」你的螢幕（透過截圖），移動游標、點擊按鈕、輸入文字，就像人類操作電腦一樣。這超越了傳統 API 整合的範疇。
為什麼重要
有些任務根本沒有 API——舊版系統、桌面應用程式、需要視覺辨識的網頁互動。電腦使用讓 Hermes 能與任何軟體互動，無論它是否有 API，直接模擬人類使用者的操作方式。這為自動化開啟了全新的可能性。
運作方式
電腦使用工具捕捉螢幕截圖並將其提供給 AI 模型，讓模型「看見」目前的 UI 狀態。然後代理決定下一步操作：移動到某個座標、點擊、輸入文字或按下按鍵。Hermes 執行該操作，捕捉新的螢幕狀態，然後代理評估結果並決定下一步——形成一個視覺回饋迴圈。
具體範例
你要求：「將那份 PDF 報告上傳到我們的內部入口網站」。
- Hermes 開啟瀏覽器並導航到入口網站。
- 它「看見」登入畫面（透過截圖），輸入你的憑證，然後點擊登入。
- 它導航到上傳頁面，找到「選擇檔案」按鈕，然後點擊它。
- 它在檔案選擇器對話框中輸入 PDF 的路徑。
- 它點擊上傳並確認成功——完全模擬人類操作，無需 API。
如何連結
本筆記屬於能力系列。最鄰近的概念包括：瀏覽器工具、程式碼執行、可設定工具集。
來源證據
computer_use.py#screenshot— 捕捉目前螢幕狀態的截圖。computer_use.py#mouse_click、computer_use.py#type_text—模擬滑鼠點擊和鍵盤輸入的動作工具。
工作流程
- 尚無首次工作流程對應；此概念仍透過文章與來源證據存在於筆記庫圖譜中。
相關文章
- 目前暫無文章以此概念名稱或別名達到引用門檻（請參閱提及-挖掘政策）。