一龍馬/AI 情報站讀懂消息背後的脈絡
星期六
搜尋

LiteLLM 定位是統一呼叫 100 多家大語言模型的開源 AI 閘道,可用 Python SDK 或自架 Proxy Server 兩種形式使用

Python · ⭐ 60,611 · 🍴 12,184 · 🔥今日 +95

中文摘要

README 列出 OpenAI 格式相容、虛擬金鑰、用量計費、守衛機制、負載平衡與管理後台,並支援 A2A 代理與 MCP 工具串接。Rust 核心與 8ms P95 等說法僅見於專案自述,本次證據未附可驗證的效能測試細節。

一龍馬判讀

對需跨雲、跨模型調度的平台團隊與應用開發者,可降低切換供應商的改寫成本,但自架仍要負擔維運、高可用與金鑰治理。

原文節錄

BerriAI/litellm

gives you a single, unified interface to call 100+ LLM providers

取得全文 · 不代表內容已獨立查證

查看原文
完整收錄文字與來源

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

收錄日期
2026-10-10
來源
github.com/trending
抓取時間
2026/10/10 05:50(台北)
來源資料
Python · ⭐ 60,611 · 🍴 12,184 · 🔥今日 +95