一龍馬/AI 情報站讀懂消息背後的脈絡
星期一
搜尋

Odin 號稱是首個開源、端到端、以 GPU 執行 CKKS 全同態加密的 Llama-3 推論系統,主打雲端不用解密就能算推論

中文摘要

論文給的條件是 Llama-3-8B、128 token 輸入、單張 NVIDIA H100 80GB,跑完 32 層需 366.4 秒、峰值記憶體 58.9GiB。同條件下 THOR 基線為 1651.9 秒,相當於加速 4.51 倍,但仍遠未達即時可用。

一龍馬判讀

它讓隱私推論研究者有可重現的開源起點,後續要看長文本、多輪對話與模型品質損失是否壓得下來。

原文節錄

Hacker News

Odin evaluates all 32 Transformer layers on a single NVIDIA H100 80 GB GPU.

取得全文 · 不代表內容已獨立查證

查看原文 閱讀社群討論
完整收錄文字與來源

Open-Source E2E FHE Implementation for Privacy-Preserving Llama 3 8B Inference

收錄日期
2026-09-28
來源
官方 RSS+Hacker News Algolia API
抓取時間
2026/09/28 06:01(台北)