一龍馬/AI 情報站讀懂消息背後的脈絡
星期四
搜尋

Needle 2 是 Cactus Compute 開源的 45M 參數小型模型

Python · ⭐ 4,157 · 🍴 302 · 🔥今日 +346

中文摘要

定位在工具呼叫、裝置使用與結構化擷取,README 稱整個模型是單一 14MB binary,完整 session 約用 28MB RAM。它透過 Python 套件提供 inference、LoRA 微調與 export,安裝後可描述工具並從 Python 呼叫;推論引擎會從 Hugging Face 抓取一次後快取,推論時不需要網路。README 也強調文字輸入、JSON 輸出、由 schema 編譯的 byte-level grammar 約束 token、信心分數門檻、工具檢索每輪只渲染前五個工具,以及 256-token sliding window;但 benchmark 勝負與架構細節目前只能依作者提供的 README 與論文連結判讀。

一龍馬判讀

這類 14MB/低記憶體工具呼叫模型,直接改變手機、穿戴、智慧家庭、機器人等邊緣硬體能否在本機做結構化決策,而不是把每次操作都送到雲端伺服器。限制在於 256-token 視窗與作者自述 benchmark 需要實測,特別是涉及金流、家電控制等自動執行場景時,信心門檻與升級人工處理不能省略。

原文節錄

cactus-compute/needle

![Needle](assets/banner.png) # Needle 2 Needle 2 is an open 45M-parameter model for tool calling, device use and structured extraction.

取得部分原文 · 不代表內容已獨立查證

查看原文
完整收錄文字與來源

14MB foundation model for tiny devices; phones, wearables, smart home, and robots.

收錄日期
2026-08-13
來源
github.com/trending
抓取時間
2026/08/13 05:50(台北)
來源資料
Python · ⭐ 4,157 · 🍴 302 · 🔥今日 +346