□ 엔비디아는 차세대 고대역폭메모리(HBM)인 ‘HBM3E’를 탑재한 슈퍼 그래픽처리장치(GPU) ‘GH200’을 ’24년 2분기에 양산한다는 계획을 미국 LA에서 열린 ‘Siggraph(시그래프) 2023’ 행사에서 발표

ㅇ GH200은 CPU(Grace)와 GPU(Hopper)를 칩렛(Chiplet) 기술로 연결한 슈퍼 칩으로 CPU와 GPU 기능을 동시에 제공

- AI컴퓨팅 파워를 제공하는 데이터센터 서버는 일반적으로 인텔(또는 AMD) CPU와 엔비디아 GPU로 구성

- GH200은 텍스트나 이미지를 생성하기 위해 실시간으로 대규모 정보 처리 능력이 필요한 ‘추론용’으로 설계

※ GH200은 방대한 데이터를 학습시켜 답변의 정확도를 높이는 ‘학습’과 질문을 받아 AI가 답을 도출하는 ’추론‘ 모두에 사용되는데, 신제품은 주로 ’추론‘에 사용

- GH200은 H100과 같은 GPU를 사용하지만 메모리 용량은 3배 많아 AI 대형 언어모델(LLM) 학습･추론용으로 활용

□ 기존 인텔 CPU를 사용하는 것보다 1.9~3.5배의 성능향상이 있는 것으로 주장하며, 현재 가장 우수한 AI컴퓨팅 파워를 제공

ㅇ GRACE CPU(72 core)와 HOPPER GPU(H100)를 칩렛 구조로 실장하여 NVLINK C2C로 연결(병렬속도)하고, TSMC의 차세대 패키징 칩-온-웨이퍼-온-서브스트레이트(CoWoS) 기술 도입

- 서버 그레이드 LPDDR5X 480GB + HBM 96GB = 576GB 메모리 탑재

- DGX GH200에서 256개의 수퍼칩 연결하여 18k core와 1,979 TOPS, 144TB의 메모리 구현

- 인텔 Xeon 8480C (DGX H100) → Nvidia Grace CPU (DGX GH200)

□ 엔비디아 GH200에는 국내 업체가 개발할 HBM3E가 탑재될 것으로 예상되어 삼성전자와 SK하이닉스 등 국내 업체의 존재감 확대

ㅇ 최근 AI반도체 개발 경쟁은 메모리 확대의 영역으로 변화하고 있어, 메모리 강자인 삼성전자와 SK하이닉스가 수혜 예상

※ 삼성전자와 SK하이닉스는 HBM 수요에 맞춰 생산능력을 두 배 이상 확대 예정

※ ’23년 기준 HBM 시장은 삼성전자와 SK하이닉스가 각각 46~49% 점유

- HBM3E 메모리는 기존 HBM3보다 데이터 전송 속도가 50% 빠르며, 초당 총 10TB의 대역폭을 제공하여 3.5배 용량이 더 큰 모델 실행 가능

□ 한편, AMD는 최첨단 인공지능 GPU MI300X 칩 공개하고 엔비디아에 도전

ㅇ MI300X 칩은 엔비디아 H100 대비 2.4배의 메모리 밀도와 1.6배 이상의 대역폭(bandwidth) 제공

- 성능 수준은 낮지만, H100 대비 가격 경쟁력이 높을 것으로 예상

※ 엔비디아 H100은 작년 3만 6,000달러(4,700만 원)에서 최근 4만 5,600달러(6,000만 원) 수준으로, GPU 가격을 낮추면 생성 AI의 개발 비용 감소