一龍馬/AI 情報站讀懂消息背後的脈絡
星期五
搜尋

Vosti 是作者群提出的形式化確定性推論引擎,主張在固定模型與部署設定下,相同提示與取樣初始狀態應在對應位置輸出位元完全一致的 logits

中文摘要

作者稱實測發現 vLLM batch-invariant 模式與 SGLang 確定性模式在部分執行變化下仍會改變 logits,因此改用與執行期狀態無關的核心選擇與前綴綁定 KV 快取。本次只有 arXiv 摘要可讀,包含 Verus 證明與 Triton 分析器的設計,皆屬作者自述的測試結果。

一龍馬判讀

對推論系統開發者而言,若確定性可驗證,將有利於除錯與重現問題,但摘要宣稱的 decode-heavy 相近效能未經獨立重現,不宜當成全面負載保證。

原文節錄

Hacker News

produce bitwise-identical logits at corresponding output positions across executions.

取得部分原文 · 不代表內容已獨立查證

查看原文 閱讀社群討論
完整收錄文字與來源

Vosti: Specifying, Implementing, and Verifying Deterministic LLM Inference

收錄日期
2026-10-09
來源
官方 RSS+Hacker News Algolia API
抓取時間
2026/10/09 06:00(台北)