電腦使用
這是什麼
透過電腦操作驅動程式控制桌面，讓 Hermes 能以 GUI 自動化處理工作。
白話解釋
這就像遠端桌面軟體：操作者連上另一台電腦後，可以像坐在螢幕前一樣移動視窗、按按鈕、在欄位輸入文字。當程式沒有 API、沒有命令列，只剩圖形介面可操作時，Hermes 也能用同樣方式開啟視窗、點擊與輸入。
為什麼重要
背景執行的 cua-driver 能讓代理像人一樣操作沒有 API 或瀏覽器自動化路徑的 GUI 應用程式。不過，它控制的是整個桌面，而不是受限的網頁或命令列環境，因此風險比瀏覽器工具與終端機工具更高；無人值守的部署通常會用更嚴格的核准邊界限制它。考量成本與風險的設定也常預設關閉此能力，只為界線明確的任務暫時啟用。
運作方式
背景驅動程式 cua-driver 讓 Hermes 在 macOS、Windows 與 Linux 共用單一 computer_use 工具；各種手勢不是拆成不同工具，而是透過一個 action 參數選擇（tools/computer_use/schema.py）。以 action='capture'、mode='som' 呼叫時，系統會回傳截圖、替每個可點擊元素加上編號，並附上底層無障礙樹，讓 Hermes 依元素編號操作，不必猜測像素座標。唯讀動作 capture、wait、list_apps 可直接執行；會改變畫面的點擊、輸入、拖曳與捲動，一律先送交核准回呼（tools/computer_use/tool.py）。固定阻擋清單會硬性拒絕登出、清空垃圾桶等危險快捷鍵，也會阻擋把 curl 下載內容用管線傳給 bash 的輸入文字，任何核准等級都不能繞過。
具體範例
有人要在沒有 API 的舊式桌面庫存程式中更新價格：
- Hermes 先以
som模式擷取視窗，取得帶有欄位編號的截圖。 - 它點擊價格欄位的編號，再輸入新價格。
- 點擊與輸入都會改變畫面，所以每一步都先暫停等待核准。 核准後，欄位才會顯示新價格；使用者不必親自開啟應用程式操作。
如何連結
「電腦使用」屬於「工具」系列，最直接相關的概念包括「終端機工具」、「程式碼執行」、「代理執行環境」與「個人作業系統」。
來源證據
toolsets.py#<file>—toolset:computer_use的來源圖譜結構性備援；確認toolsets.py是工具註冊表、工具集與 MCP 結構中的核心來源檔，不單獨證明上述內部呼叫順序。
工作流程
- 目前尚無第一輪工作流程對應；此概念仍透過文章與來源證據出現在知識庫圖譜中。