一龍馬/AI 情報站讀懂消息背後的脈絡
星期三
搜尋

NVIDIA 稱,在 GLM-5.2 測試中,這項機制可在 7.3 秒恢復容量,約比冷啟動快 39 倍

中文摘要

NVIDIA AI 宣布 NVIDIA Dynamo 新增「shadow engine recovery」預覽功能,主打在 LLM engine 當機時,維持一個已暖機的備援 engine 以便接手。NVIDIA 稱,在 GLM-5.2 測試中,這項機制可在 7.3 秒恢復容量,約比冷啟動快 39 倍。這是官方貼文資訊,尚未提供測試環境、負載條件與可重現細節。

一龍馬判讀

若數據能在實際部署中成立,對高流量推論服務的可用性與容量損失控管會有直接幫助;但目前仍是 preview,企業導入前需要驗證額外資源成本與故障切換可靠性。

原文節錄

NVIDIA AI · @NVIDIAAI

When an LLM engine crashes, a cold restart can mean minutes of lost capacity.…

取得全文 · 不代表內容已獨立查證

查看原文
完整收錄文字與來源

When an LLM engine crashes, a cold restart can mean minutes of lost capacity. Shadow engine recovery, a new preview feature in NVIDIA Dynamo, keeps a standby engine warmed up and ready to take over. In our GLM-5.2 test, it restored capacity in 7.3 seconds, nearly 39x faster than a cold restart. Read all about it: https://nvda.ws/45OhcA0

收錄日期
2026-08-26
來源
Nitter RSS(公開貼文)
抓取時間
2026/08/26 06:13(台北)