營運

模型提供者

為 Hermes 提供模型推理能力的外部或本機提供者。

概念專屬圖版模型提供者hx-graph-context-concept-model-providers正在載入視覺預覽…
以原始尺寸檢視

模型提供者

這是什麼

把 Hermes 的模型推理需求交給外部或本機模型服務,並封裝各服務的驗證與傳輸差異。

白話解釋

模型提供者就像替同一部電影更換配音員:劇本與畫面不變,只換成不同聲音,也不必重拍。Hermes 把每個提供者的特殊要求集中描述,因此替換模型服務時不必把整個代理寫死在單一供應商上。

為什麼重要

Anthropic、OpenAI 相容端點、GeminiBedrock 與數十種服務都各自以模型提供者外掛程式加入,也包含本機選項,因此模型層在架構上可抽換而非硬編碼。切換提供者只需改設定,工作可選擇成本與能力最合適的服務,也能在主要服務不可用時備援。選項變多後,API key 或模型 ID 設錯也成為工作尚未進入代理迴圈前常見的失敗原因。

運作方式

Hermes 在執行時合併數層資料來建立提供者身分:models.dev 目錄列出 100 多個提供者的基礎 URL、環境變數與價格;少量 Hermes 覆寫層補上目錄未記錄的傳輸類型與驗證差異;最後再疊上使用者 config.yaml 中的 providers: 區段(hermes_cli/providers.py)。外掛程式提供者透過 ProviderProfile 資料類別宣告名稱、別名、基礎 URL 與驗證類型,不需要傳輸層依大量布林旗標分支(providers/base.py)。OpenAI Codex 外掛程式就是具體例子:約十行程式便註冊外部 OAuth 登入與 Responses API 端點,不需要 API key(plugins/model-providers/openai-codex/__init__.py)。

具體範例

你原本用 Anthropic API 處理程式專案,另一個寫作專案則想使用 ChatGPT 類型登入。將該專案設定指向 openai-codex 後,Hermes 從合併提供者表找到 OAuth 設定,而不是 API key 設定。下一則訊息便送往 OpenAI Responses API,不需修改其他程式;原本的程式專案仍繼續使用 Anthropic。

如何連結

「模型提供者」屬於「營運」系列。最直接相關的概念包括:「本機部署」、「本機模型」、「代理執行環境」、「個人作業系統」。這些連結描述教學關係,不取代來源證據。

來源證據

  • plugin:model-providers/openai-codex — 正式關聯仍保留,但此來源未納入目前核心來源投影的驗證範圍;應回到釘選版本確認,不能把它當作已驗證程式行為的依據。

工作流程

  • 目前尚無第一輪工作流程對應;此概念仍透過文章與來源證據出現在知識庫圖譜中。

相關文章

相關筆記