한국 HBM 반도체 1000배 더 커질 겁니다 (KAIST 전자및전기공학부 김정호 교수)

https://youtu.be/W7Ok3bsEKfk

 

한국 HBM 반도체 시장이 1000배 더 커질 것이라는 주장의 핵심 근거는 무엇인가요?

미래에는 텍스트 중심의 AI가 아닌 영상 중심의 AI가 주류가 될 것이며, 이를 위해서는 현재 HBM 성능의 1,000배에 달하는 대역폭과 용량이 필요하기 때문 입니다.

 

HBM의 성능 향상을 위해 해결해야 할 주요 과제는 무엇인가요?

• GPU는 대부분 놀고 HBM이 더 바쁘게 지내고 있어 HBM의 성능이 GPU에 비해 훨씬 떨어지는 병목 현상 해결
• HBM의 대역폭을 높이고 용량을 늘리는 과정에서 발생하는 발열 문제 해결
• 데이터 전송 시 발생하는 노이즈와 신뢰성 문제 해결

 

hbm(고대역폭 메모리) 반도체의 미래 로드맵을 심층적으로 분석하며, 다가올 AI 시대에 한국 반도체 산업이 나아가야 할 방향을 제시합니다. 단순히 기술적 설명을 넘어, 현재 hbm이 직면한 병목 현상(Bottleneck)과 이를 해결하기 위한 혁신적인 기술 진화 방향을 구체적으로 설명합니다. 특히, 데이터 처리 속도, 용량, 전력 소모, 그리고 냉각 기술의 중요성을 강조하며, hbm이 단순한 부품을 넘어 AI 시대의 핵심 컴퓨팅 허브가 될 것이라는 도발적인 예측을 제시합니다. 이 강연은 반도체 산업의 미래를 통찰하고, 한국 기업들이 글로벌 패권을 잡기 위해 무엇을 준비해야 하는지 실질적인 인사이트를 제공합니다.

 

1. HBM(고대역폭 메모리)의 중요성과 미래 예측

1. HBM의 현재 위상:
   1. HBM은 AI 시대에 D램매출을 결정하는 핵심 요소로 부상하고 있다.
   2. 최근 한국 주식 시장에서 외국인 매수세와 주가 상승은 HBM의 영향으로 분석된다.
2. HBM의 미래 중요성:
   1. 앞으로 한국 반도체 산업의 승패는 HBM에 달려 있으며, 이를 위한 준비가 필요하다.
   2. HBM은 현재 HBM4가 설계 중이며, HBM8까지 발전하여 향후 15~30년간 반도체 시장을 주도할 것으로 예상된다.
   3. 이러한 예측은 3프로TV와 같은 공개 기록으로 남겨 기업들이 귀담아듣고 HBM에 승부를 걸도록 독려하기 위함이다.
   4. 일반 국민들에게는 주식 투자나 자녀의 공대 진학 시 HBM분야를 미래 유망 분야로 제시하고자 한다.
3. 과거 예측과 현재의 변화:
   1. 2010년경 HBM에 대한 주장을 했을 때는 거의 관심이 없었으나, 2025년 많은 변화가 있었다.
   2. 당시에는 연구실에서 학회 발표에 그쳤지만, 지금은 공개 기록으로 남겨 기업들의 관심을 촉구하고 있다.
4. 한국의 주도권 확보 노력:
   1. 반도체 로드맵과 컴퓨터, AI 분야는 주로 미국 기업이 주도하고 한국은 부품을 제공하는 역할에 머물러 있었다.
   2. 그러나 이제는 한국이 먼저 로드맵을 제시하고 주도권을 잡아야 한다는 외침이 담겨 있다.

 

2. HBM의 현재 도전 과제: 병목 현상과 발열

1. HBM의 병목 현상:
   1. 현재 HBM은 여전히 문제점을 안고 있으며, 특히 AI 시대에 데이터 처리량 증가로 인한 병목 현상이 심화되고 있다.
   2. 텍스트 중심의 GPT와 달리, 1시간짜리 영화를 1분 만에 만드는 영상 중심 AI는 학습 및 추론 데이터가 현재보다 1,000배늘어난다.
   3. 미래 유튜브 동영상이 AI가 만든 영상으로 바뀔 것을 가정할 때, HBM의 성능( 대역폭)과 용량이 현재보다 1,000배높아져야 한다.
   4. 이는 영상 학습과 생성 과정 양쪽 모두에 해당하며, UHD TV 이미지 한 장이 수백만 화소에 달하는 등 데이터 양이 방대하기 때문이다.
   5. 샘 알트만(Sam Altman)이 GPU부족을 언급했지만, 실제로는 GPU보다 HBM이 더 바쁘게 작동하며 병목 현상이 HBM에서 발생하고 있다.
   6. D램은 본질적으로 데이터를 증폭하는 시간이 필요하여 느릴 수밖에 없으며, GPU내부에 메모리를 둘 면적이 부족하여 외부에 D램( HBM)을 둘 수밖에 없다.
   7. 현재 생성 인공지능의 트랜스포머 모델은 데이터를 읽고 계산하고 저장하는 과정을 반복하며, 이 과정에서 HBM의 역할이 매우 중요하다.
   8. HBM의 양을 늘리고 대역폭을 높이며, 차선(데이터 통로)을 넓히는 것이 필요하다.
   9. 현재의 폰 노이만 구조(계산과 메모리 분리)에서는 메모리와 계산 장치 간의 데이터 이동이 병목 현상을 유발한다.
   10. 1996년 인터넷 시작 당시 메모리 수요가 급증했던 것처럼, AI 시대에는 HBM의 대역폭이 1,000배증가해야 한다.
2. HBM의 발열 문제:
   1. 데이터를 빨리 주고받을수록 열이 많이 발생하고 전력 소모가 증가한다.
   2. GPU가 뜨거워지면 HBM으로 열이 전달되어 메모리 내 전자가 새어 나가(리퀴지) D램성능이 저하된다.
   3. 메모리가 뜨거워지면 전자가 활발하게 움직여 바구니에 가둬둔 전자가 튀어나가거나, 트랜지스터에서 물이 새듯이 오류가 발생할 수 있다.
   4. 따라서 HBM은 절대적으로 온도가 낮을수록 정확한 계산이 가능하며, 예측 불허의 변수가 줄어든다.
   5. 이러한 열 문제는 HBM1, 2, 3에서도 제품 품질에 영향을 미쳤으며, 대역폭이 1,000배높아지면 더욱 심화될 것이다.
   6. 현재 반도체 기업에 가장 필요한 인력은 열 설계 전문가로, 기계 공학과 반도체 지식을 동시에 갖춘 인재는 매우 희소하다.
   7. 발열의 원인은 전류가 흐를 때 저항이 발생하거나, 전자가 채워진 상태(1)에서 버려질 때(0) 열로 바뀌는 스파크 현상 때문이다.
   8. GPU하나에서 1억 개의 스파크가 동시에 조 단위로 발생한다고 볼 수 있다.
3. HBM1의 구조와 기술적 도전:
   1. HBM1은 프로세서( GPU)와 메모리 간 대역폭을 높이기 위해 1024개의 라인을 사용했다.
   2. 메모리 용량을 키우기 위해 D램을 쌓았고, 위아래로 데이터 엘리베이터 역할을 하는 TSV(Through Silicon Via)를 설치했다.
   3. D램과 GPU간 데이터 교통정리를 하는 로직 다이(Logic Die)와 이를 연결하는 실리콘 기판을 사용했다.
   4. 실리콘 기판을 사용한 이유는 1024개라인을 구현할 공정 실력(나노미터 단위)과 열 방출 능력, 그리고 GPU와의 열팽창 계수일치 때문이다.
   5. HBM은 주상복합 건물에 비유될 수 있으며, 로직 다이는 인천공항 터미널처럼 데이터의 교통정리를 담당한다.
   6. 데이터 통로의 품질은 고속도로를 달리는 자동차처럼 안정적이어야 하며, 0과 1 신호가 명확히 구분되어야 한다.
   7. 노이즈가 많으면 데이터 오류가 발생하며, 이는 총체적인 설계 능력에 따라 결정된다.
   8. 지진, 화재, 물 공급 중단 등 비상 상황에서도 안정적으로 작동하는 공학적 기술이 필요하다.

 

3. HBM의 냉각 기술 발전 로드맵

1. 현재 냉각 방식:
   1. 현재는 팬을 이용한 공랭 방식이 주로 사용되지만, 와트(W) 수가 늘어나 온도가 높아지면 물을 이용한 수랭 방식이 필요하다.
   2. HBM3나 HBM4는 현재 GPU위로 물을 통과시키는 방식을 사용한다.
2. 미래 냉각 방식:
   1. HBM5나 HBM6부터는 이머전 쿨링(Immersion Cooling) 방식으로, GPU와 HBM을 포함한 컴퓨터 자체를 냉각수에 담그는 방식이 필요하다.
   2. 이때 사용되는 냉각수는 전기가 통하지 않고, 화학적으로 오염되지 않으며, 독성이 없어야 하는 등 매우 까다로운 조건을 충족해야 한다.
   3. HBM6나 HBM7이 되면 반도체 안으로 물을 통과시켜야 하는 임베디드 쿨링(Embedded Cooling) 방식이 필요할 것으로 예상된다.
   4. 이는 매우 어려운 기술이며, 작은 공간에 물을 통과시키기 위해 엄청난 수압이 필요하다.
   5. 초전도 물질을 활용하여 저항을 줄이고 열 발생을 억제하는 연구도 진행 중이지만, 반도체 공정과의 호환성 문제가 있다.
3. 냉각 기술의 중요성:
   1. 열이 제대로 잡히지 않으면 메모리 데이터가 손상되거나 회로 동작이 늦어져 성능이 저하된다.
   2. 특히 학습 중 셧다운이 발생하면 처음부터 다시 학습해야 하므로 막대한 시간과 비용 손실이 발생한다.
   3. 따라서 냉각 기술은 HBM의 성능과 신뢰성을 결정하는 핵심 요소가 될 것이다.

 

4. HBM의 진화 방향: 용량, 구조, 통합

1. HBM 발전의 핵심 요소:
   1. 밴드위스(대역폭) 증가: 속도와 라인 개수( TSV엘리베이터 개수)가 늘어나야 한다.
   2. 본딩 기술 발전: 본딩의 개수와 간격이 줄어들어야 하며, 기존 TC 본딩방식은 한계에 도달할 것이다.
   3. 메모리 용량 증대: 데이터 증가에 따라 HBM의 층수가 늘어나야 한다.
   4. 다양한 메모리 통합: DDR 외에 LPDDR, 플래시 메모리등도 HBM처럼 쌓아 올릴 것이다.
   5. HBM 중심 컴퓨팅: HBM이 미래 컴퓨터 구조의 중심이 되어 프로그래밍도 HBM중심으로 바뀌어야 한다.
   6. 컴퓨팅 기능 통합: HBM베이스 다이에 GPU기능을 일부 통합하고, 실리콘 인터포저에도 회로를 집어넣어 활용도를 높인다.
   7. 기판 소재 변화: 실리콘 웨이퍼의 크기 제한으로 인해 유리 기판을 함께 사용하는 하이브리드 기판이 도입될 것이다.
   8. 냉각 기술 진화: 액체 냉각(Liquid Cooling)에서 침수 냉각(Immersion Cooling)을 거쳐 임베디드 냉각(Embedded Cooling)으로 발전한다.
   9. 3D 통합: GPU, CPU, HBM, 플래시 메모리까지 모두 3D로 통합되는 구조가 될 것이다.
2. HBM 세대별 로드맵 (2038년까지):
   1. HBM3: 현재 사용 중인 세대이다.
   2. HBM4 (개발 중):
      1. HBM베이스 다이에 일부 GPU기능이 통합되기 시작한다.
      2. SK하이닉스는 엔비디아와 협력하여 커스텀 베이스 다이를 설계하고 TSMC 공정을 사용할 것으로 예상된다.
      3. 삼성전자는 GPU파운드리, 커스텀 HBM베이스 다이 파운드리, HBM제조, 패키징까지 전체 에코시스템을 구축해야 한다.
      4. GPU와 HBM간 차선이 2배로 늘고 차속이 증가하며, 커스텀 베이스 다이의 성능에 크게 의존한다.
      5. HBM옆에 LPDDR메모리를 추가하여 데이터 채우는 프로세스에서 CPU 관여를 줄인다.
      6. HBM과 LPDDR간의 프로토콜(규격) 호환이 중요해진다.
      7. TSV(엘리베이터)가 데이터 전송뿐 아니라 전력 공급과 열 방출 역할까지 수행하며, 개수가 늘어나고 외곽으로 배치된다.
      8. HBM4부터는 양사의 실력이 상당 부분 드러날 것으로 예상된다.
   3. HBM5:
      1. GPU기능이 통합된 베이스 다이의 발열 문제로 인해 GPU기능을 맨 위로 빼고 그 위에서 냉각을 시도한다.
      2. LPDDR외에 SSD(NAND 플래시) 같은 대용량 메모리가 CXL(Compute Express Link)로 HBM에 연결될 것이다.
      3. TSV가 그리드 형태로 곳곳에 배치되어 면적의 약 30%를 차지하게 된다.
      4. TSV는 데이터 전송(노란색), 전력 공급(TPB), 열 방출(TTV)의 세 가지 역할을 수행한다.
      5. 본딩 방식이 마이크로 범프에서 카파 투 카파 다이렉트 본딩(Copper-to-Copper Direct Bonding)으로 바뀌며, 이는 열 전달에 유리하다.
      6. 카파 투 카파 본딩 위에 서멀 비아(Thermal Via)를 연결하여 열 고속도로를 만드는 것이 승패를 결정할 것이다.
      7. 컴퓨터 전체를 물속에 집어넣는 이머전 쿨링이 도입된다.
   4. HBM6:
      1. 실리콘 인터포저(기판)에 여러 개의 HBM스택을 쌓아 타운처럼 구성한다.
      2. 전력 공급이 어려워지므로 반도체 기판 안으로 전력선을 집어넣는 백사이드 PDN(Power Delivery Network) 방식이 도입된다.
      3. 기판은 실리콘과 유리를 함께 사용하는 하이브리드 구조가 될 것이다.
      4. GPU4개, HBM8개 등 대규모 통합으로 하나의 AI 슈퍼컴퓨터 단위가 될 것이다.
   5. HBM7:
      1. 플래시 메모리를 HBM스택 옆에 쌓아 올린다.
      2. 플래시 메모리는 이미 128층으로 쌓여 있으며, 이를 다시 쌓으면 1280층까지 가능하고, 최종적으로는 1만 층까지 갈 수 있다.
      3. GPU옆에 HBMF( HBMwith Flash)가 쌓이고, CXL로 메모리 네트워크가 쌓이는 계층적 구조가 될 것이다.
      4. 냉각은 반도체 안으로 물이 지나가는 임베디드 쿨링이 필요하다.
   6. HBM8:
      1. 글래스 기판을 중심으로 양쪽에 실리콘을 배치하고, GPU와 HBM타운을 위아래로 만든다.
      2. 냉각도 위아래로 동시에 이루어지며, HBM안에 CPU와 GPU를 통합하여 기존 CPU/ GPU를 대체하는 구조가 될 것이다.
      3. 이때 컴퓨터 구조는 완전히 혁신될 것으로 예상된다.

 

5. HBM 시장의 경쟁 구도와 한국 기업의 전략

1. 메모리 업체의 기회:
   1. HBM의 중요성이 커지면서 삼성전자, SK하이닉스, 마이크론 등 메모리 제조 업체에 더 많은 기회가 생길 것이다.
   2. 그러나 경쟁은 더욱 치열해질 것이며, 프로세서 기업과 메모리 기업 간의 헤게모니 전쟁이 벌어질 것이다.
   3. 단순 하청 부품 기업 역할에 머무르면 중국, 대만, 일본 등 경쟁자에게 언제든지 추월당할 수 있다.
2. 소프트웨어 생태계의 변화:
   1. HBM이 CPU의 역할을 하려면 소프트웨어 생태계, 특히 쿠다(CUDA)와 같은 컴파일러가 HBM에 직접 명령을 줄 수 있도록 바뀌어야 한다.
   2. 이러한 소프트웨어 개발에는 막대한 경제력과 인력이 필요하며, 엔비디아가 쿠다를 통해 생태계를 구축한 것처럼 한국 기업도 이를 준비해야 한다.
   3. AI의 발전으로 인해 이러한 변화는 필연적이며, 한국 기업이 헤게모니를 강하게 잡고 있다면 공존도 가능하다.
3. 삼성전자와 SK하이닉스의 전략:
   1. SK하이닉스: 현재 HBM시장을 주도하고 있으며, 엔비디아와 협력하여 커스텀 베이스 다이 설계 및 TSMC 공정을 활용하는 에코시스템에 참여하고 있다.
   2. 삼성전자: GPU파운드리, 커스텀 HBM베이스 다이 파운드리, HBM제조, 패키징까지 토탈 솔루션을 제공하는 새로운 에코시스템을 구축해야 한다.
   3. HBM4부터는 양사의 실력이 상당 부분 드러날 것이며, HBM5부터는 예측 불능의 경쟁이 될 것이다.
   4. 한국 기업들은 마이크론이나 중국 기업이 쫓아오지 못하도록 쿨링, 본딩 등 핵심 기술에서 솔루션을 제공해야 한다.
   5. 이는 서비스 품질(예: 셧다운 빈도)과 직결되며, 최종적으로 엔비디아와 같은 고객사의 선택을 좌우할 것이다.

 

6. HBM의 궁극적인 미래와 한국의 역할

1. HBM 중심의 컴퓨팅 혁신:
   1. 미래에는 HBM안에 CPU와 GPU를 통합하여 기존 CPU/ GPU를 대체하는 구조가 될 것이다.
   2. 이는 데이터 트래픽을 줄이고 공간 효율을 높이는 방향으로, 마치 도시의 주상복합 건물이나 지하철 역세권 백화점처럼 공간 효율을 극대화하는 것과 유사하다.
   3. 이러한 변화는 전력 소모 증가, 냉각 필요성 증대, 비용 상승이라는 페널티를 수반하지만, AI 패권 시대에는 필연적인 방향이다.
2. AI 시대의 HBM과 한국의 기회:
   1. AI가 정신 노동뿐 아니라 육체 노동(로봇 제어)까지 담당하게 되면, 로봇에 AI를 적용하기 위해서도 더 많은 HBM 대역폭이 필요하다.
   2. 엣지 디바이스(로봇 자체)에서 모든 AI 연산을 처리하기에는 비용과 전력 문제가 크므로, 데이터 센터의 AI 슈퍼컴퓨터에서 계산하고 통신으로 로봇을 제어하는 클라우드 서비스 방식이 주류가 될 것이다.
   3. AI 시장은 무조건 커질 것이며, HBM은 GPU가 늘어나는 속도보다 더 필요하게 될 것이다.
   4. 1980년대 초반 한국이 인텔이 포기한 D램시장에 뛰어들어 성공했던 것처럼, AI 시대에는 메모리가 더욱 중요해지므로 HBM시장에서 한국이 기회를 잡아야 한다.
   5. 한국의 정체성을 지키는 세 가지 요소로 한글, 거북선, 그리고 HBM이 될 수 있기를 바란다.