一龍馬/AI 情報站讀懂消息背後的脈絡
星期日
搜尋

ctok 是 GitHub 上的 Python 套件

中文摘要

目標是在離線、無 API call、無網路存取與無 runtime dependencies 的情況下重建 Claude 的 token count。README 明確說它非官方、與 Anthropic 無關,而且 Claude 不公開 token 邊界,所以 tokenize() 回傳的是一種有效的最低成本切分,不保證等同 Anthropic 真實 segmentation;重點是 token 數量。專案列出支援 v3、v4.7、v5 家族,並提供測量準確度表:多個語料與記錄的 count_tokens 回應完全相符,且在儲存測量集中 v3 1,664,940 筆與 v4.7 1,722,961 筆沒有 under-count,但 README 也提醒這不保證任意輸入。

一龍馬判讀

需要估算 Claude token 預算、做離線測試或避免伺服器請求的開發者會直接受益。限制是它是逆向重建而非官方 tokenizer,版本變動或特殊輸入可能讓計數失準,不能作為合約級計費依據。

原文節錄

收錄的節錄含網頁程式碼或導覽文字,無法作為正文引文;請開啟原始來源核對。

取得部分原文 · 不代表內容已獨立查證

查看原文 閱讀社群討論
完整收錄文字與來源

Ctok: Reconstructed Claude Tokenizer

待核對的收錄節錄

GitHub - sanderland/ctok: Claude's Tokenizer, Offline, Kinda · GitHub / " data-turbo-transient="true" /> Skip to content Navigation Menu Sign in Appearance sett

收錄日期
2026-08-16
來源
官方 RSS+Hacker News Algolia API
抓取時間
2026/08/16 06:00(台北)