美新創d-Matrix推AI推論晶片 Raptor 頻寬密度宣稱超越輝達Rubin 20倍

商傳媒｜責任編輯／綜合外電報導

在人工智慧（AI）晶片市場競爭日趨白熱化之際，美國新創公司d-Matrix Inc.（以下簡稱d-Matrix）近日發表其最新AI推論晶片Raptor，並在熱門晶片（Hot Chips）大會上聲稱，其晶片的頻寬密度較輝達（NVIDIA）尚未發表的次世代AI晶片Rubin架構高出達20倍。

d-Matrix指出，Raptor主要用於AI推論（AI inference），也就是讓AI模型進行判斷與生成回答的專用晶片，而非大型模型訓練。該晶片採用獨特的3D DRAM（一種堆疊式記憶體技術），將邏輯晶片直接堆疊在最多四層的記憶體上方，類似超微半導體（AMD）Raptor系列處理器上採用的3D V-Cache技術。此設計能有效解決現有高頻寬記憶體（HBM，一種常用於高階處理器的高速記憶體）面臨的記憶體頻寬瓶頸問題，並將每傳輸 1GB 資料的功耗降低約13.5倍。相較於HBM的周邊輸入輸出（I/O）限制與高功耗，Raptor的3D DRAM設計透過晶片對晶片（face-to-face bonding）技術，縮短了電子傳輸距離，大幅降低了I/O能耗，達到類似SRAM（靜態隨機存取記憶體）的頻寬表現。

Raptor單卡記憶體容量為32GB，定位介於小區塊SRAM與大型HBM之間。d-Matrix計畫將Raptor晶片橫向擴展，建構機櫃級（rack-scale）叢集，據稱可配置高達72張卡，提供每秒拍位元（petabytes）的總記憶體頻寬，支援大型語言模型（LLM）的線性擴展與長上下文視窗（AI模型在一次處理中能讀取的資訊長度）。d-Matrix宣稱，Raptor每位使用者每秒能處理約1,000個tokens（AI模型處理文字或資料時的最小單位），並展示了其在GLM-5.2與Kimi K3等模型上，每位使用者每秒可達2,121及785個tokens的效能。

面對AI晶片市場的激烈競爭，輝達也正尋求新的策略來鞏固其領先地位。輝達透過其NVLink Fusion技術，將自家的NVLink高速互連技術授權給第三方客製化XPU（eXtended Processing Unit）使用，以期成為「AI工廠」的核心互連基礎設施。此舉旨在維持輝達在AI基礎設施市場的關鍵角色，即使這些AI工廠不完全仰賴輝達的繪圖處理器（GPU）。輝達認為，未來的AI基礎設施將走向異質運算（heterogeneous compute）與標準化網路的混合模式。這項策略也將對超微半導體的Infinity Fabric與英特爾（Intel）的Ultra Path Interconnect等競爭技術構成壓力。

隨著d-Matrix等新創公司推出具備前瞻技術的AI晶片，以及輝達拓展其互連技術的應用範圍，全球AI晶片產業的競爭格局正快速演變。台灣在半導體製造領域扮演關鍵角色，例如晶圓代工龍頭台積電（TSMC）為眾多國際晶片公司代工生產先進晶片。這些新一代AI晶片的設計與量產，無論是d-Matrix的Raptor或輝達的Rubin，都可能為台灣的半導體產業帶來新的商機與挑戰，凸顯台灣在全球AI供應鏈中的重要地位。