新聞中心

TrendForce:記憶體廠聚焦CXL記憶體擴充器產品,以突破AI/ML 伺服器 DRAM硬體限制


11 October 2022 半導體 劉家豪 / 汝合媛

TrendForce最新伺服器相關報告指出,CXL(Compute Express Link)原是希望能夠整合各種xPU之間的性能,進而優化AI與HPC所需要的硬體成本,並突破原先的硬體限制。CXL的支援仍是以CPU為源頭去發想,但由於可支援CXL功能的伺服器CPU Intel Sapphire Rapids與AMD Genoa現階段僅支援至CXL 1.1規格,而該規格可先實現的產品則是CXL記憶體擴充(CXL Memory Expander)。因此,TrendForce認為,在各種CXL相關產品內,CXL記憶體擴充將成為前驅產品,其產品也與DRAM最為相關。

CXL記憶體池化功能助攻,AIHPC可望突破硬體限,並帶動伺服器整機DRAM用量

不過,目前CXL 1.1對DRAM來講,僅為記憶體擴充的實踐,要到CXL 2.0才會實現記憶體池化(memory pooling)。以現階段而言,以雙插槽CPU伺服器整機的平均RDIMM使用量約為10-12條(最多為16條),意即RDIMM插槽與通道數尚未全數使用,故以短期而言,一般的computing 伺服器仍可憑藉升級原有的RDIMM,而僅有需要AI與HPC的應用才會有CXL需求。TrendForce研判,CXL記憶體擴充器的用量對於DRAM整體市場的影響度有限,短期內是用以優化HPC的效能而產生的產品。

但在現有的應用下,伺服器整機上的DRAM在運行中仍會有閒置而未被使用的容量,這也使得資料中心業者要支付多餘的DRAM成本。以長期而言,隨著更多元化及更複雜性的應用,伺服器整機的DRAM平均搭載容量會呈現逐年增長的趨勢,但未來若實踐CXL記憶體池化的情境下,可使得xPU內的記憶體資源可有效被運用。TrendForce認為,CXL記憶體池化功能將會收斂買方採購的RDIMM模組的需求用量,使得後續年對年間的伺服器 DRAM單機搭載容量增速趨緩。

CXL聯盟最終希望透過該介面使得各裝置的資源有效運用,進而突破AI與HPC的硬體瓶頸。在CXL的協助下,AI與HPC發展將隨著模型複雜度的增加,將會挹注相關機種的出貨量。因此,由這個觀點來看,CXL會帶動伺服器整機的DRAM(亦即合併RDIMM與CXL記憶體擴充器計算)平均搭載容量;但以伺服器上DRAM用量的年成長速度而言,則會因為CXL可有效率地使用整機DRAM,而使成長率趨緩。

而會大量需要CXL功能的買方以高階運算機種為主,因此雲端服務供應商會是主要的用戶。TrendForce亦觀察到部分OEM對其HPC運算客戶出貨的機種,也有需要大容量DRAM擴充之需求,同樣將為該產品的潛在採用者。

Montage、MarvellMicrochip營收有望受CXL崛起再攀升

目前原廠開發的CXL記憶體擴充器使用的是DDR5,不過現階段仍受PCIe 5.0接口速度侷限,釋出速度僅略等同於DDR4。未來一旦CPU支援到PCIe 6.0亦或是更高的規格,則足以使DDR5發揮完整的速度。以CXL記憶體擴充器結構來看,除了DRAM外,需搭配一顆CXL控制器(CXL controller),其廠商有Montage、Marvell與Microchip等,故CXL的崛起不但能直接帶動控制器供應商的營收外,也不排除未來可能出現類似模組廠亦或是雲端服務供應商自研的模式,配套控制器與DRAM後而生產CXL記憶體擴充器。

綜上所述,現階段伺服器效能停滯可望因CXL的發展獲改善,將有效提高DRAM在伺服器上的使用,免於閒置成本的增加。而未來CXL2.0規範將可改變現有的硬體瓶頸,並在記憶體池化的協助下,CXL將可以發揮更大優勢。而隨著更多元化及更複雜性的應用,HPC與AI等高強度運算對於xPU仰賴更勝於以往。在記憶體池化的共享下,模型的設計能擺脫硬體瓶頸,持續往更複雜的架構建設。此外,CXL導入將隨著未來功能強度而普及化,尤其在雲端業務大規模導入在產業中,此規範更能優化伺服器之間的溝通,因CXL建立彼此間溝通的高速互連性,兩者交互有助於擴展伺服器平行間運算力應用與優化總體擁有成本(Total Cost of Ownership,TCO)。

若有興趣進一步了解並購買TrendForce旗下半導體研究處相關報告與產業數據,請至https://www.trendforce.com.tw/research/dram查閱,或洽詢業務鍾小姐lattechung@trendforce.com


上一則
TrendForce發布2023年十大科技產業脈動
下一則
TrendForce: 美商務部再度對中祭出限令,限制範圍由邏輯 IC 擴大至記憶體領域

聯繫我們