一龍馬/AI 情報站讀懂消息背後的脈絡
星期五
搜尋

Hugging Face 公布 ICML 2026 Open Reproductions 挑戰的結果

中文摘要

1,221 名社群成員在 7 月 15 日到 8 月 2 日間,用各自的 coding agents 嘗試重現 ICML 2026 論文的 claim。官方稱共發布 6,816 份 Trackio logbooks,涵蓋 2,226 篇論文、約會議三分之一,並由開源權重模型 GLM-5.2 擔任 Logbook Judge,對 35,908 個 claim 給出 verified、falsified、toy 或 inconclusive 判定。結果中,51% 被檢查論文至少有一項 claim 被獨立驗證,23% 至少有一項 claim 被 falsified 或 contested;但判定流程本身仍依賴自動 judge 與參與者提供的實驗品質。

一龍馬判讀

這把「論文審查後再由代理大規模複查」變成可操作流程,研究者、會議與企業研發都要面對 claim 層級的公開稽核;風險是 toy reproduction、自動裁判與缺少專有資料/checkpoint 會讓結論不能直接等同於論文真假。

原文節錄

Hugging Face

What We Learned by Reproducing 2,200 papers from ICML Hugging Face Models Datasets Spaces Buckets new Docs Enterprise Pricing Website Tasks HuggingChat…

取得部分原文 · 不代表內容已獨立查證

查看原文
完整收錄文字與來源

What We Learned by Reproducing 2,200 papers from ICML

收錄日期
2026-08-14
來源
官方 RSS+Hacker News Algolia API
抓取時間
2026/08/14 06:00(台北)
來源資料
官方來源