一龍馬/AI 情報站讀懂消息背後的脈絡
星期二
搜尋

新版維持相同 API 與 token ID,主要透過 SIMD 位元流切分、單字快取、重寫 BPE 合併迴圈及原生平行處理加速,目前提供的是 Rust 發行候選版

中文摘要

Hugging Face 表示,tokenizers v1 在 Apple M4 Max、單執行緒測試中,十個受測模型家族的編碼速度為 v0.23 的 3 至 30 倍,八個工作執行緒可達線性擴展的 76%。新版維持相同 API 與 token ID,主要透過 SIMD 位元流切分、單字快取、重寫 BPE 合併迴圈及原生平行處理加速,目前提供的是 Rust 發行候選版。效能數字來自專案自己的 tokbench 測試,Python 呼叫開銷未納入,而且未匹配特定切分模式的 tokenizer 不會取得相關加速。

一龍馬判讀

對大量資料訓練、高併發服務與長文本工作負載,這可能降低 CPU tokenization 讓 GPU 閒置的情況;採用前仍應以自身語言、模型、快取命中率與執行環境重跑測試。

原文節錄

Hugging Face

v1 produces exactly the same token IDs as the released library.

取得部分原文 · 不代表內容已獨立查證

查看原文
完整收錄文字與來源

tokenizers v1: encode, decode and scaling, measured

收錄日期
2026-09-22
來源
官方 RSS+Hacker News Algolia API
抓取時間
2026/09/22 06:00(台北)
來源資料
官方來源