一龍馬/AI 情報站讀懂消息背後的脈絡
星期三
搜尋

Mithil Vakde 表示,他以單張 RTX 5090 花約 1.5 小時、成本 0.67 美元

中文摘要

從零訓練小型 Transformer,在 ARC-AGI-1 公開評測取得 44%,ARC-2 則為 7%。方法會在測試時針對題目重新訓練,搭配每題嵌入、3D RoPE、資料排列增強與只計算輸出 token 的監督式損失;消融實驗中,移除 3D RoPE 或每題嵌入後,成績都降至約 24%至25%。作者稱已排除 ARC-2 與 ARC-1 重複的 773 題以避免資料洩漏,但目前證據集中於單一、特定型態的基準,不能據此推論它具備通用語言或推理能力。

一龍馬判讀

成果說明現代 Transformer 元件也能用於低成本、窄領域的測試時學習,讓資源有限的研究者更容易迭代;同時,HN 對「專攻基準」是否等同過度擬合有爭論,跨資料集泛化才是下一道檢驗。

原文節錄

Hacker News · porridgeraisin

44% on ARC-AGI-1 in 67 cents - Mithil Vakde’s Homepage Page --> You are using an outdated browser.

取得部分原文 · 不代表內容已獨立查證

查看原文 閱讀社群討論
完整收錄文字與來源

I trained a small transformer in 1.5hrs and it beats many LLMs

收錄日期
2026-09-02
來源
Hacker News Firebase API
抓取時間
2026/09/02 05:40(台北)
來源資料
503 分 · 141 則討論