一龍馬/AI 情報站讀懂消息背後的脈絡
星期四
搜尋

Addy Osmani 提醒,使用長對話或 agent session 時,最好一開始就選好模型與 effort level

中文摘要

原因是中途切換模型會讓整段 context 重新以未快取方式讀取,因為 KV cache 綁定特定模型權重,不能跨模型轉移;effort level 與 fast mode 也類似。他說前幾輪切換還可以,但對話越深,這個單輪成本越高。

一龍馬判讀

這是實務上的成本與延遲管理建議:長上下文工作流若頻繁換模型,可能讓使用者多付時間與運算成本。限制是這則貼文是工程經驗提示,沒有指明適用於哪些供應商或介面。

原文節錄

Addy Osmani · @addyosmani

Tip: Pick your model and effort at the top of a session.…

取得全文 · 不代表內容已獨立查證

查看原文
完整收錄文字與來源

Tip: Pick your model and effort at the top of a session. Switching models mid-session forces a full uncached re-read of your entire context. The KV cache is tied to specific weights - it can't transfer. Effort level and fast mode work the same way. It's a one-turn tax that scales with depth. Okay to switch on the first few turns but expensive later on.

收錄日期
2026-08-27
來源
Nitter RSS(公開貼文)
抓取時間
2026/08/27 06:12(台北)