劍指輝達？Cerebras推出「號稱」全球最快AI推論解決方案

商傳媒｜記者許方達／綜合報導

輝達在AI晶片市場的獨霸地位讓人虎視眈眈，在輝達公布財報之前，專門開發AI運算系統的Cerebras Systems搶先一步發表最新的「Cerebras Inference」AI推論工具平台，在Llama 3.1 8B模型上每秒可生成1800個Token，在Llama 3.1 70B模型上每秒可生成450個Token，號稱在AI推理方面，比起輝達旗下大型雲端解決方案快上20倍，且價格更便宜、只有輝達GPU的五分之一。

圖片來源：Cerebras

《金融時報》分析，輝達諸多競爭對手正另闢蹊徑，企圖攻破輝達在AI晶片市場的壟斷壁壘，包括Cerebras、d-Matrix和Groq等公司，目前均專注在更便宜且更快速的專業產品開發。Cerebras於本月稍早申請首次公開募股，預計在今年下半年上市。

「Cerebras Inference」的AI推論工具平台，基於旗下AI加速系統Cerebras CS-3，此款晶片尺寸是輝達H100的57倍，核心數量是H100的52倍，晶片記憶體是H100的800倍，記憶體頻寬更是H100的7000倍。Cerebras獨特的晶圓設計，能在單個晶片上集成44GB SRAM，也就是將記憶體直接內建在晶片晶圓中，以突破記憶體牆的瓶頸。

Cerebras執行長費德曼(Andrew Feldman)對輝達下戰帖，「打敗800磅大猩猩的方法就是向市場推出更好的產品，根據我的經驗，更好的產品通常會獲勝，而且我們已經從輝達那裡搶到有意義的客戶」。

賽斯(Sid Sheth)於2019年創立的d-Matrix公司，也計畫今年底推出自己的「Corsair」平台，d-Matrix打算將旗下產品與Triton等開放軟體配對，以加速與輝達展開對決。另一家AI新創公司Groq本月從由貝萊德BlackRock Private Equity Partners領投的融資中籌集到6.4億美元，公司估值也達到28億美元。

Groq的產品是「語言處理單元(LPU)」，公司曾聲稱「在Groq上運行大模型的推理速度，相較輝達GPU高出10倍之多」，其突出優勢點是在加快聊天機器人的回應速度，但綜合能力考量，可能還是與輝達A100、H100等多款GPU存在落差。