一龍馬/AI 情報站讀懂消息背後的脈絡
星期日
搜尋

Soup 把 LLM fine-tune 與 post-train 包成「一個 YAML、一個指令」的流程

Python · ⭐ 1,610 · 🍴 260 · 🔥今日 +303

中文摘要

README 強調不必 SSH 到 GPU 機器,也會自動處理 batch size、GPU 偵測與量化。最具體的技術主張是 layer streaming:在 RTX 3050 Laptop 4 GB 上,以 Llama-3.1-8B-Instruct + NF4 測得 3.32 GB peak、119.6 tok/s,並聲稱與一般 resident run bit-exact;但作者也明說這是 opt-in、仍是 BETA,且 tok/s 數字是在 v0.72.2 測得,v0.73.0 correctness repair 後尚未在 4 GB 卡重跑。README 還揭露 v0.73.2 修正 release gate 評分錯誤、加入 over-refusal 檢測與 noise-floor 參數,顯示專案正在補評估可靠性而不只是包裝訓練指令。

一龍馬判讀

想在本機或小 GPU 上做 LoRA/QLoRA 的個人與小團隊可以測試它,但 layer streaming 的效能與正確性邊界仍需自己重現;Python 也限定 3.10–3.12,部署環境不能直接假設相容。

原文節錄

MakazhanAlpamys/Soup

Soup Fine-tune and post-train LLMs in one command.

取得部分原文 · 不代表內容已獨立查證

查看原文
完整收錄文字與來源

Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.

收錄日期
2026-08-16
來源
github.com/trending
抓取時間
2026/08/16 05:50(台北)
來源資料
Python · ⭐ 1,610 · 🍴 260 · 🔥今日 +303