HBM이란?

1. 개요[편집]

High Bandwidth Memory (고대역폭 메모리)

2013년에 발표된 적층형 메모리 규격. 인공지능 칩 구성에 필수적인 구조로 평가받고 있다.

기존의 GDDR 계열 SGRAM을 대체하고 보다 고대역폭의 메모리 성능을 달성하기 위해 제안되었으며, 2013년에 반도체 표준협회인 JEDEC에 의해 채택되었다. 메모리 다이를 적층하여 실리콘을 관통하는 통로(TSV)를 통해 주 프로세서와 통신을 한다는 것으로, 이를 위해서 직접 인쇄 회로 기판 위에 올려지는 GDDR 계열 SGRAM과는 달리 인터포저라는 중간 단계를 필요로 한다.

2. 동세대 GDDR 계열 SGRAM과 비교[편집]

• 장점
  • 짧은 메모리 레이턴시와 높은 메모리 대역폭
    메모리 적층을 통해 여러 메모리 채널을 갖추어 GDDR 계열 SGRAM에 비해 짧은 레이턴시와 높은 대역폭을 동시에 구현할 수 있다.
  • 작은 칩 면적과 작은 컨트롤러 면적
    PCB에서 차지하는 메모리 칩(모듈)의 총 면적을 줄일 수 있고, 프로세서 내부에 탑재되는 내장 메모리 컨트롤러 자체도 기존 GDDR 계열 SGRAM 대비 더 작은 편이기 때문에 면적 대비 고대역폭에 유리하다. 당장 최상위 GPU에 탑재되는 GDDR6 SGRAM 컨트롤러의 총 면적만 봐도 HBM 컨트롤러보다 훨씬 더 넓은 면적으로 차지하고 있다. 그러므로 제한된 크기에서 성능을 올려야 할 때 HBM으로 성능 밀도를 더 올릴 수 있다.
  • 낮은 전력 소모
    소비 전력도 낮은 편이다. (참고1, 참고2) 따라서 전력 공급의 한계에 걸린 하이엔드 VGA에선 HBM2를 써서 메모리에서 아낀 전력을 GPU에 줘서 더욱 성능을 이끌어 낼 수 있다.
• 단점
  • 높은 구현 난이도로 인한 비싼 가격
    단순히 기판에 붙이면 되는 SGRAM에 비해 HBM은 추가로 미세회로인 인터포저를 그려넣는 공정이 추가로 필요하다. 이 때문에 GDDR 계열 SGRAM보다 구현이 어렵다는 단점이 있다. 사실상 인터포저 때문에 HBM의 장점을 다 깎아먹고 있다고 봐도 과언이 아니다. 지지부진한 수율 상승과 GDDR 계열 SGRAM의 최신 규격인 GDDR6에 비해서 뚜렷하게 우세하지 못한 성능[1]과 높은 구현 난이도로 인한 비싼 가격으로 일반적인 소비자용 그래픽카드에 적용되어 있는 GDDR을 완전히 대체하기에는 무리가 있다. 때문에 현재는 HBM이 마냥 장밋빛 전망인 것은 아니다.[2]
  • 복잡한 구조와 낮은 공정 숙련도로 인한 낮은 내구성
    HBM이 적용된 Radeon VII과 같은 그래픽 카드의 경우 아무래도 기존의 그래픽카드에 많이 사용되던 GDDR이 아닌 새로운 형태의 메모리이고 구조도 복잡하기 때문에 내구성이 떨어져 메모리가 고장나면서 그래픽카드가 돌연사 하는 경우가 종종 나타나고 있다. # 또한 메모리가 고장났을 시 리솔더링을 통해 비교적 쉽게 수리가 가능한 GDDR과 달리 그래픽 카드 다이에 인터포저가 직결되어 있는 HBM은 수리가 굉장히 까다로우며, 사실상 자가수리가 불가능하다고 보아야 한다.[3]
  • 낮은 메모리 클럭과 낮은 오버클럭 마진
    기본적으로 HBM 메모리는 대역폭이 GDDR 대비 엄청나게 넓지만, 동작 속도 자체가 훨씬 낮고 GDDR에 비해 구조가 복잡하며 여러 개의 칩으로 구성되어 열원이 분산되는 GDDR에 비해 하나의 칩에 적층으로 구성되어 있어 열원이 더 집중되어 나타난다. 그러므로 방열에 더욱 불리한 구조를 가지고 있다.[4] 따라서 메모리 오버클럭으로 인한 성능 증가에 비하여 발열의 증가가 GDDR의 경우보다 더욱 크기 때문에 오버클럭을 통한 성능향상에 한계가 있다.
  • 불리한 메모리 용량 확장성
    

    

    
    용량 측면에서 GDDR6과 동세대에서 경쟁하던 시절의 HBM 메모리는 4층까지 적층할 수 있는데 층당 용량한계가 2 GB이기 때문에 8 GB 용량이 한계였다.[5] 그림에서 보이는 것처럼 GDDR의 경우 넓은 기판 전·후면에 수십 개씩 칩을 박아 넣는 식으로 용량을 계속 늘릴 수 있지만, HBM은 실리콘 인터포저를 사용하는 방식의 한계 때문에 이런 무식한 용량 확대는 불가능하다.

3. HMC와 비교[편집]

• 구현 난이도
  HBM은 프로세서의 바로 위로 적층하는 것은 불가능하여 완전한 원칩은 구현할 수 없다. 이를 구현하는 것을 목표로 하는 마이크론의 HMC(Hybrid Memory Cube)와 비교했을 때 다소 완전하지 않은 모습으로 인해 3D가 아닌 2.5D라고 불리기도 한다. 하지만 HMC는 기술적으로 구현이 매우 어려워 존재감이 미미한 상태인 반면, HBM은 현재 삼성전자와 SK하이닉스가 대량 생산하고 있으며, AMD와 NVIDIA의 그래픽 카드에 채택되는 등 활약을 하고 있다. 또한 프로세서에도 TSV를 통과시켜야 하는 HMC에 비해서 단순히 인터포저 위에 올리기만 하면 되어 구현 난이도가 비교적 낮다는 것과, HBM이 그래픽 카드 업체에게 보다 사용하기 편한 것이 HBM의 성공에 보탬이 되었다.

4. 규격 일람[편집]

규격	총 채널 구성과 스택당 다이 구성	스택당 최대 용량	스택당 버스 폭	전압	클럭 (비트레이트)	채널당 I/O 데이터 전송률	스택당 대역폭	개발	표준화	적용
HBM	8 채널 × 128-bit × 4-Hi	4 GB	1024-bit	1.3 V	500 MHz (1 Gbps)	1 GT/s	128 GB/s	2013년	2013년	2015년
HBM2	8 채널 × 128-bit × 8-Hi	8 GB	1024-bit	1.2 V	1000 MHz (2 Gbps)	2 GT/s	256 GB/s	2015년	2016년	2016년
HBM2E	8 채널 × 128-bit × 12-Hi	24 GB	1024-bit	1.2 V	1200 MHz (2.4 Gbps)	2.5 GT/s	307 GB/s	2019년	2018년	2020년
HBM3	16 채널 × 64-bit × 16-Hi	64 GB	1024-bit	1.1 V	3200 MHz (6.4 Gbps)	6.4 GT/s	819 GB/s	2021년	2022년	(미정)
HBM3E

일반적인 HBM은 그래픽 카드의 GDDR을 대체하는 용도로 활용된다. 그리고 성능 면에서도 GDDR과 자주 비교 되며, 일반적인 비교 기준은 다음과 같다.

• HBM vs GDDR5 SGRAM
• HBM2 vs GDDR5X SGRAM
• HBM2E vs GDDR6, GDDR6X SGRAM

물론 근본적인 구조의 차이 때문에 이렇게 서로 비교를 하더라도 대역폭 면에서는 HBM이 월등하게 우수하다. 그러나 GDDR5X부터는 대역폭의 급격한 향상으로 인해 HBM3의 개발이 늦춰지고 있는 추세다. 그 대신 HBM2E가 대타로 투입될 예정으로, 이를 개발한 삼성은 스택당 최대 8-Hi, 최대 3.2 GT/s, 410 GB/s, 총 16 GB를 지원하는 플래시볼트 HBM2E를 2020년 2월에 양산했다. SK하이닉스도 스택당 최대 8-Hi, 최대 3.6 GT/s, 460 GB/s, 총 16 GB를 지원하는 HBM2E를 개발하여 2020년 7월 대량 생산에 돌입했다고 한다. 그리고 2020년 11월 16일, NVIDIA가 3.2 Gbps와 총 2 TB/s 대역폭을 지니는 HBM2E로 업그레이드된 A100 80 GB 연산 카드를 발표했다.

2021년에 SK하이닉스의 HBM3 개발 소식이 발표된 후, 2022년 1월 27일에 HBM3의 JEDEC 표준 사양이 발표되었다. 스택당 최대 819 GB/s로 2개의 스택으로만 구성해도 약 1.6 TB/s가 되는데, GDDR6X SGRAM 21 Gbps 사양이어야 384-bit 구성시 1 TB/s를 겨우 돌파하므로, HBM3가 탑재된 제품의 투입 시기가 늦어지지 않는다면 당분간 대역폭 우위를 차지할 수 있을 것이다.

아직 메모리반도체 시장에서 HBM이 차지하는 비중은 1% 미만이지만 인공지능 칩의 가파른 수요 증가로 인해 이에 걸맞는 처리속도에 대한 수요도 덩달아 증가하며 호조세를 맞고 있다. 해당 분야에서 하이닉스와 삼성전자가 각각 50%, 40%로서 도합 90% 수준의 점유율을 기록하고 있고 나머지 10%는 마이크론이 차지하고 있다. 특히 범용 인공지능 칩 시장의 80% 가량을 차지하고 있는 엔비디아가 하이닉스와의 협력을 통해 자사 GPU에 제품을 결합하여 판매하고 있다.

2024년 엔비디아는 HBM3E가 탑재된 H200과 B100을 출시한다. AMD와 인텔도 각각 HBM3가 탑재된 MI350과 가우디3를 출시한다.

 

 

수원 지산전문 디지털부동산 di5000.serve.co.kr 수원,동탄 전지역 지식산업센터,단독공장,사무실 임대,매매 전문

동수원700만원대지식산업센터 it-valley.co.kr 수원 인계동 700만원대 지식센터, 공장, 사무실, 오피스 임대 확정 투자, 입주

검색임종우아파트형공장 실영상 cafe.naver.com/limgongjang 20년지산넘버1 동탄지식산업센터임대전문 GTX3월동서도로6월개통 용인반도체

[1] HBM2: 1024bit * 2Gbps = 256GB/s / GDDR6: 32bit * 16Gbps = 64GB/s 이므로 GDDR6 128비트면 128bit * 16Gbps = 256GB/s 로 HBM2 1개와 대역폭이 같다.[2] GDDR6과 비교하여 전력 소모량은 소폭 낮고 대역폭은 소폭 높아 GDDR6X와 비슷하지만 적용 난이도는 몇배 이상 훨씬 어렵다.[3] 흔히 GPU 메모리가 고장났을 경우 뜨는 에러코드 43에서 일반적인 그래픽카드는 다리미 신공 등을 통해 요행으로라도 고치는 것을 시도해 볼 수 있으나, HBM이 적용된 그래픽카드는 애초에 냉납과 같은 솔더링의 문제로 고장이 난 것이 아니므로 이것이 불가능하다.[4] 그리고 차후 메모리를 지금보다 더욱 많이 적층하여 고용량의 HBM의 메모리를 만들 수록 필연적으로 오버클럭 포텐셜은 더 떨어질 수 밖에 없다.[5] 이후 등장한 HBM2는 D램 다이를 8층까지 적층할 수 있게 되어 용량 한계가 대폭 늘어났고, 이후 HBM3에서는 12층짜리 24GB 스택도 등장하여* 이러한 확장성의 단점은 매우 완화되었다.