TrendForce：受新品AI加速晶片帶動，HBM3與HBM3e將成為2024年市場主流

根據TrendForce調查顯示，2023年HBM（High Bandwidth Memory）市場主流為HBM2e，包含NVIDIA A100/A800、AMD MI200以及多數CSPs自研加速晶片皆以此規格設計。同時，為因應AI加速器晶片需求演進，各原廠再於2024年推出新產品HBM3e，預期HBM3與HBM3e將成為明年市場主流。

若探究HBM各世代差異，主要以速度做細分。除了市場已知的HBM2e外，在進入HBM3世代時，產業出現較為混亂的名稱。TrendForce特別表示，目前市場所稱的HBM3實際需細分為兩種速度討論，其一，5.6~6.4Gbps的HBM3；其二，8Gbps的HBM3e，別名HBM3P、HBM3A、HBM3+、HBM3 Gen2皆屬此類。

目前三大原廠HBM發展進度如下，兩大韓廠SK海力士（SK hynix）、三星（Samsung）先從HBM3開發，代表產品為NVIDIA H100/H800以及AMD的MI300系列，兩大韓廠再預計於2024年第一季送樣HBM3e；美系原廠美光（Micron）則選擇跳過HBM3，直接開發HBM3e。

HBM3e將由24Gb mono die堆疊，在8層（8Hi）的基礎下，單顆HBM3e容量將一口氣提升至24GB，此將導入在2025年NVIDIA推出的GB100上，故三大原廠預計要在2024年第一季推出HBM3e樣品，以期在明年下半年進入量產。

CSP陸續啟動自研AI加速晶片計畫，欲擺脫對NVIDIA與AMD的依賴

觀察AI伺服器（AI server）所用的加速晶片，其中輝達（NVIDIA）Server GPU市占最高。然而，單張20,000~25,000美元的H100/H800，一台AI伺服器建議配置約為8張卡，也使得總體擁有成本（Total Cost of Ownership，TCO）大幅提升。TrendForce觀察到，各雲端服務業者（CSP）雖然仍會向NVIDIA或超微（AMD）採購Server GPU，但也同步進行自研AI加速晶片的計畫。

除了已行之有年的Google TPU與AWS Trainium和Inferentia外，Google與AWS正著手研發次世代自研AI加速晶片，將採用HBM3或HBM3e。TrendForce表示，其他包含北美及中國的雲端服務業者亦有相關驗證進行中，預期未來AI加速晶片版圖競爭會更加激烈。

若有興趣進一步了解並購買TrendForce旗下半導體研究處相關報告與產業數據，請至https://www.trendforce.com.tw/research/dram查閱，或洽詢業務鍾小姐lattechung@trendforce.com。