一龍馬/AI 情報站讀懂消息背後的脈絡
星期四
搜尋

不過專案自己標示為 pre-alpha,API 與演算法在 v1.0 前都可能大幅改動,且明確警告不適合 production

Rust · ⭐ 776 · 🍴 81 · 🔥今日 +370

中文摘要

NVIDIA NeMo 的 Switchyard 是一個以 Rust 寫成的 LLM 流量代理與函式庫,主打在 OpenAI Chat、Anthropic Messages、OpenAI Responses 等格式之間轉換,並把請求導向 vLLM、NVIDIA NIM、Ollama 或 OpenAI 相容端點。README 明列可用於 Claude Code、Codex CLI、OpenClaw 這類 coding agent,並支援隨機分流、LLM 分類器、stage router、escalation router 等路由策略,也提供 Prometheus 指標追蹤請求、錯誤、延遲、token 與路由開銷。不過專案自己標示為 pre-alpha,API 與演算法在 v1.0 前都可能大幅改動,且明確警告不適合 production。

一龍馬判讀

對想把既有 coding agent 接到自架或多供應商模型的團隊,Switchyard 把「API 轉譯+路由實驗+監控」包成同一層代理;但目前只能視為測試與研究工具,若放進正式服務會承擔介面變動與穩定性風險。

原文節錄

NVIDIA-NeMo/Switchyard

# Switchyard Switchyard is a Rust proxy and library for LLM traffic.

取得部分原文 · 不代表內容已獨立查證

查看原文
完整收錄文字與來源

NVIDIA-NeMo/Switchyard

收錄日期
2026-08-13
來源
github.com/trending
抓取時間
2026/08/13 05:50(台北)
來源資料
Rust · ⭐ 776 · 🍴 81 · 🔥今日 +370