新聞中心

TrendForce:大型雲端業者積極建置AI 伺服器,加速推升AI晶片與HBM需求,預估2024年先進封裝產能將提升3~4成


21 June 2023 半導體 龔明德

根據TrendForce研究指出,2023年由ChatBOT等生成式AI應用帶動AI伺服器成長熱潮,又以大型雲端業者最積極投入,包含Microsoft、Google、AWS或其他中系業者如Baidu、ByteDance等陸續採購高階AI伺服器,以持續訓練及優化其AI分析模型。高階AI伺服器需採用的高階AI晶片,將推升2023-2024年高頻寬記憶體(HBM)的需求,並驅動先進封裝產能2024年將成長3~4成。

TrendForce指出,為提升整體AI伺服器的系統運算效能,以及記憶體傳輸頻寬等,NVIDIA、AMD、Intel等高階AI晶片中大多選擇搭載HBM。目前NVIDIA的A100及H100,各搭載達80GB的HBM2e及HBM3,在其最新整合CPU及GPU的Grace Hopper晶片中,單顆晶片HBM搭載容量再提升20%,達96GB。另外,AMD的MI300也搭配HBM3,其中,MI300A容量與前一代相同為128GB,更高階MI300X則達192GB,提升了50%。同時預期Google將於2023年下半年積極擴大與Broadcom合作開發AISC AI加速晶片TPU亦採搭載HBM記憶體,以擴建AI基礎設施。

TrendForce預估,2023年市場上主要搭載HBM的AI加速晶片(如NVIDIA的H100及A100、AMD的MI200及MI300及Google的TPU等),搭載HBM總容量將達2.9億GB,成長率近6成,2024年將持續成長3成以上。

此外,AI及HPC等晶片對先進封裝技術的需求日益提升,其中,以TSMC的CoWoS為目前AI 伺服器晶片主力採用者。CoWoS封裝技術主要分為CoW和oS兩段,其中,CoW主要整合各種Logic IC(如CPU、GPU、AISC等)及HBM記憶體等,另外,oS部分則將上述CoW以凸塊(Solder Bump)等接合,封裝在基板上,最後再整合到PCBA,成為伺服器主機板的主要運算單元,與其他零組件如網路、儲存、電源供應單元(PSU)及其他I/O等組成完整的AI 伺服器系統。

TrendForce觀察,估計在高階AI晶片及HBM強烈需求下,TSMC於2023年底CoWoS月產能有望達12K,其中,NVIDIA在A100及H100等相關AI Server需求帶動下,對CoWoS產能較年初需求量,估提升近5成,加上AMD、Google等高階AI晶片需求成長下,將使下半年CoWoS產能較為緊迫,而此強勁需求將延續至2024年,預估若在相關設備齊備下,先進封裝產能將再成長3-4成。

TrendForce指出,值得注意的是,在AI較急促需求下,無論是HBM或CoWoS生產過程中,得後續觀察周邊配套措施,例如直通矽晶穿孔封裝技術(TSV)、中介層電路板(Interposer)以及相關設備(如濕製程設備)等是否能到位,如前置時間(Lead Time)等考量。而在AI強勁需求持續下,估NVIDIA針對CoWoS相關製程,亦不排除將評估其他類似先進封裝外援,例如Amkor或Samsung等,以因應可能供不應求的情形。

*備註:

  1. 本文高階AI Server指搭載高階AI晶片的Sever設備,針對如大型CSPs或HPC等AI模型訓練應用,高階AI晶片包含如NVIDIA的A100或H100,或AMD的MI200、MI300,或Intel的Max GPU等。
  2. Samsung主力先進封裝技術為Cube系列,如I-Cube、H-Cube、X-Cube等;Amkor先進封裝技術涵蓋晶圓級封裝(WLP)、覆晶封裝、系統級封裝等。

若有興趣進一步了解並購買TrendForce旗下半導體研究處相關報告與產業數據,請至https://www.trendforce.com.tw/research/dram查閱,或洽詢業務鍾小姐lattechung@trendforce.com


上一則
TrendForce:面板價格續漲刺激品牌提前備貨,第二季全球電視出貨量年增2%
下一則
TrendForce:全球前十大IC設計第一季營收持平前季,第二季因AI需求帶動有望止跌反轉

聯繫我們