硬體玩家巧用停產記憶體 無 GPU 成功驅動 2.8 兆參數 AI 模型

商傳媒｜林昭衡／綜合外電報導

根據《Wccftech》報導，一名硬體愛好者（俗稱 Homelabber）近日達成一項壯舉，在僅靠中央處理器（CPU）運作的伺服器上，成功驅動月之暗面（Moonshot AI）高達 2.8 兆參數的 Kimi K3 大型 AI 模型，且全程未使用圖形處理器（GPU）。這項實驗的關鍵，在於利用了已停產的 Intel Optane Persistent Memory 200 Series (Barlow Pass) 記憶體模組，彌補了 AI 模型龐大運算所需的記憶體容量。

此 Kimi K3 模型是一個 2.8 兆參數的 MoE（混合專家）模型，代表它是一個極其龐大且運算需求高的 AI 模型。該模型在運算時，每個 Token（詞元）約會啟用 1,040 億個參數，並具有一百萬個 Token 的理論上下文視窗（Context Window）。即使是經過重度量化（Quantization）的版本，也需要數百 GB 的記憶體才能運行。Intel Optane Persistent Memory 200 Series（英特爾傲騰持續性記憶體 200 系列），這是一種已經停產的記憶體技術，以提供超大容量著稱，正為此類應用提供了獨特機會。

這名硬體愛好者在一台搭載第三代 Intel Xeon Scalable processor (英特爾至強可擴展處理器) 的 40 核心 CPU 伺服器上進行了測試，並使用了 llama.cpp 函式庫來進行 AI 模型推理。Intel Optane Persistent Memory 200 Series 模組單條容量可達 512 GB，為此實驗提供了關鍵的大容量支援。

測試結果顯示，在 1 位元量化（1-bit quantization）且關閉 Direct Access (DAX) 的配置下，該系統每秒可處理 1.50 個 Token，相較於開啟 DAX 時的 0.85 Token/秒，效能提升了約 76%。若採用 3 位元量化（3-bit quantization），則每秒約能處理 0.75 個 Token。報導指出，以 0.75 Token/秒的速度生成 5 萬個 Token，大約需要 18.5 小時。

為應對 Intel Optane DIMM（雙列直插記憶體模組）在運作時可能產生的顯著熱量，該硬體愛好者額外安裝了兩個專用的 12W 鼓風扇，直接對準記憶體模組散熱。因為 Optane 模組的熱節流（thermal throttling）會在攝氏 83 度啟動，而攝氏 85 度則會觸發保護性關機。

該硬體愛好者表示，未來計畫進一步嘗試結合 GPU 加速，以及整合 DRAM 和 Optane 的混合配置，以期提升 AI 模型推論速度。這項實驗證明了即便沒有頂級顯示卡，仍能透過創新硬體配置，實現大型 AI 模型的運作，為 AI 領域帶來了新的可能性。更多詳細資訊可在Reddit 論壇上查閱。