📘 제1부
2025년 AI 칩 시장의 ‘진짜 변화’ — TPU가 촉발한 거대한 지각 변동
📘 제1부. 2025년 AI 칩 시장의 ‘진짜 변화’ — TPU가 촉발한 거대한 지각 변동
2025년 글로벌 AI 반도체 시장은 겉으로 보기에는 여전히 엔비디아의 독무대처럼 보입니다.
재무 실적은 사상 최고를 경신하고, 데이터센터 GPU 판매는 줄지 않고,
세계 곳곳에서 “H100이 없다”, “B100이 없다”는 공급난 이야기가 반복됩니다.
하지만 업계 깊은 곳을 들여다보면,
서서히 다른 흐름이 만들어지고 있습니다.
눈앞에서 바로 보이지는 않지만, 이미 방향성이 바뀌기 시작한 상태입니다.
🔹 그 변화의 중심 — 구글 TPU의 재등장
구글 TPU(Tensor Processing Unit)는 2015년 첫 버전이 탄생한 뒤
구글의 내부 서비스—검색, 광고, 유튜브 추천, 지도, 번역—를
효율적으로 돌리기 위한 ‘전용 AI 칩’으로 쓰여 왔습니다.
하지만 2025년 들어 이야기가 달라지기 시작했습니다.
구글의 최신 AI 모델 **제미나이 3(Gemini 3)**가
ChatGPT를 위협하는 수준까지 끌어올려지면서,
그 모델을 훈련시키는 데 사용된 **TPU 7세대(Ironwood)**가
업계의 주목을 강하게 받게 된 것입니다.
이는 단순히 “구글이 새로운 칩을 냈다”라는 수준의 이야기가 아닙니다.
전 세계 AI 인프라 시장에서 10년 가까이 이어졌던
“엔비디아 단일 체제”가 처음으로 균열을 보이는 사건이었습니다.
---
🧩 GPU 단독 시대가 무너진 진짜 이유
ChatGPT가 등장한 이후 세계는 단 몇 년 만에
AI가 만드는 데이터와 연산량을 감당하지 못할 정도로 폭증했습니다.
GPT-3 → GPT-4: 훈련 연산량 약 20배 증가
GPT-4 → GPT-4o: 멀티모달 연산량 대폭 확대
Gemini Ultra → Gemini 3: 모델 규모·파라미터·컨텍스트 윈도우 확장
메타 Llama 시리즈: 모델 개수 증가 + 훈련 클러스터 폭증
이 폭증한 수요를 GPU만으로 해결하려 하자
전 세계적으로 공급 병목이 일어났습니다.
✔ GPU 생산은 생각보다 빨리 늘릴 수 없음
✔ 칩 자체도 중요하지만, HBM·기판·패키징까지 병목
✔ 전력 소비량이 너무 커지고, 데이터센터 비용이 폭증
✔ GPU 단독 클러스터의 전력 효율 문제가 심화
이제는 누구나 인정합니다.
> “GPU 하나로 이 시장을 다 감당할 수는 없다.”
바로 이 지점에서 TPU가 다시 부상한 것입니다.
---
🧠 TPU가 다시 떠오른 이유 — ‘특화형’이 가진 압도적 효율성
구글은 누구보다 먼저 깨달았습니다.
> “우리가 만드는 모델을 GPU에 맞추는 것보다,
모델에 맞는 칩을 직접 만드는 것이 더 효율적이다.”
그래서 TPU는 GPU와 본질적으로 다릅니다.
✔ GPU
AI + 그래픽 + 과학 연산 + 게임 등
모든 것을 다 하는 “범용 엔진”
✔ TPU
행렬 연산(텐서) 중심
대규모 LLM 최적화
검색·광고·유튜브 알고리즘 전용 구조
특정 작업에 특화된 “스포츠카 엔진”
예를 들어,
검색 알고리즘에 필요한 연산 구조나
광고 추천 시스템에서 중요한 Sparse 연산은
GPU보다 TPU 구조에서 더 효율적으로 돌아갑니다.
또한 TPU는 대규모 클러스터(POD) 기반을 전제로 설계되어 있어
수천 개가 연결될 때 성능이 극적으로 높아집니다.
---
⚡ TPU 7세대 Ironwood — “AI 훈련의 새로운 기준”
2025년 4월, 라스베이거스에서 열린
Google Cloud Next 2025 행사에서
TPU 7세대(Ironwood)가 공개되자 업계가 크게 술렁였습니다.
이 칩은 다음과 같은 특징을 가집니다.
구글 Gemini 2·3 실제 훈련에 사용
기존 TPU v5p 대비 전력 효율 대폭 개선
대역폭 중심 구조 개선
HBM3E 8단 탑재(SKH 우선),
개선형 7e에서는 HBM3E 12단 탑재 전망
특히 HBM 요구량이 GPU보다 크다는 점이 중요합니다.
AI 모델 트레이닝은 “연산 속도보다 메모리 대역폭”이 훨씬 더 중요해졌고,
TPU는 그 구조상 HBM I/O 요구가 매우 높습니다.
그래서 다음과 같은 구조가 만들어집니다.
✔ GPU 1개 → HBM 6~8개 필요
✔ TPU 1개 → HBM 6~8개 또는 그 이상 필요
(구글과 브로드컴이 적용하는 아키텍처에 따라 비율이 더 높아지기도 함)
이 말의 의미는 간단합니다.
> TPU가 늘어나는 만큼 HBM 수요는 GPU 시장의 증가분보다 더 빠르게 폭발한다.
---
🌍 이제 시장은 "GPU vs TPU"가 아니라 “GPU + TPU”
엔비디아의 GPU와 구글의 TPU는 경쟁 구도처럼 보이지만
실제로는 용도가 다르기 때문에 상호 보완재입니다.
범용 AI → GPU
내부 서비스·특정 모델 최적화 → TPU
대규모 클러스터 효율 → TPU POD
범용 개발자 생태계 → GPU
전력 효율·비용 효율 → TPU
고성능 추론 → TPU
다양한 모델 학습 지원 → GPU
따라서 시장은 이렇게 바뀌고 있습니다.
> “GPU 독점 시장 → GPU + TPU가 함께 쓰이는 하이브리드 시장”
특히 메타(Meta)의 움직임이 시장을 완전히 뒤흔든 이유는
메타가 보유한 AI 클러스터 규모가 세계 최대 수준이기 때문입니다.
메타가 TPU 도입을 검토하고 있다는 사실이 알려지는 순간,
AI 업계는 바로 다음과 같은 결론에 도달했습니다.
GPU만으로는 연산 비용이 너무 비싸다
Llama 시리즈 모델이 커질수록 TPU 효율이 높다
TPU는 구글만 쓰는 칩이 아니라, 앞으로 빅테크가 공유할 수도 있다
TPU가 늘어날수록 HBM 수요는 기하급수적으로 증가한다
결국 2025년 시장이 보고 있는 핵심 메시지는 하나입니다.
> “이 싸움의 본질은 GPU와 TPU의 싸움이 아니라,
**HBM을 누가 더 확보하느냐의 싸움이다.”
📘 제2부
“HBM의 시대” — SK하이닉스·삼성전자가 장악한 ‘메모리 패권’
---
📘 제2부. “HBM의 시대” — SK하이닉스·삼성전자가 장악한 ‘메모리 패권’
2025년 AI 반도체 시장에서 가장 큰 착각 중 하나는
“칩의 성능은 GPU나 TPU의 코어가 결정한다”는 인식입니다.
하지만 실제 현장에서 엔지니어들이 하는 말은 전혀 다릅니다.
> “지금의 AI 칩은 코어보다 메모리가 성능을 결정한다.”
이 말이 조금 과장처럼 들릴 수 있지만,
현재 GPT-4o·Gemini 3·Llama 3.1 같은 초대형 모델을 돌릴 때
병목의 대부분은 연산 속도가 아니라 **메모리 대역폭(bandwidth)**에서 발생합니다.
AI 모델이 커질수록
더 많은 파라미터,
더 긴 컨텍스트 길이,
더 큰 배치(batch) 처리,
더 많은 멀티모달 데이터
가 필요해지기 때문입니다.
바로 이 지점에서 **HBM(High Bandwidth Memory)**이 등장합니다.
HBM은 말 그대로 “초고속 데이터 통로”이며
GPU·TPU 성능의 절반을 결정하는 핵심 요소입니다.
---
🔥 1. 왜 HBM이 ‘AI 시대의 핵심 자원’이 되었는가?
HBM은 기존 DRAM과 달리
‘수직으로 쌓는 3D 적층 구조’를 채택합니다.
이를 가능하게 하는 기술이 바로 **TSV(Through-Silicon Via)**인데,
이 공정은 매우 정교하고 수율 관리가 어려워
4~5개 기업 중 사실상 한국 2개 기업만 안정적으로 양산할 수 있는 수준에 이르렀습니다.
HBM이 AI 칩에서 결정적 요소가 된 이유
GPU·TPU는 초당 수백~수천 조 번의 연산을 수행
이 연산을 공급하는 “데이터 속도”가 부족하면 칩이 제 성능을 내지 못함
실제로 엔비디아 H100의 성능 병목 중 상당 부분이 “HBM 대역폭 부족”에서 발생
초거대 모델은 HBM 대역폭이 높을수록 정확도·속도·효율이 함께 상승
이제는 칩 회사도, 클라우드 회사도, AI 개발사도 모두 말합니다.
> “HBM 없으면 GPU도 TPU도 의미가 없다.”
---
🏆 2. 2025년 HBM 시장의 절대강자 — SK하이닉스와 삼성전자
(증권사·IB 분석 종합)
현재 세계 HBM 시장은 아래처럼 구성됩니다.
✔ 글로벌 HBM 점유율
SK하이닉스: 1위
삼성전자: 2위
마이크론: 3위
표만 보면 단순한 순위처럼 보이지만,
실제로는 격차가 훨씬 큽니다.
HBM 시장은 단순 생산이 아니라
TSV 수율
패키징 기술
고객사 인증
GPU·TPU 호환성
장기 공급 계약
까지 포함된 복합 산업이기 때문에
신규 진입이 거의 불가능한 시장입니다.
특히 SK하이닉스는
HBM2E → HBM3 → HBM3E에 이르기까지
연달아 성능 1위 제품을 내놓으며
시장 신뢰도를 완전히 장악했습니다.
---
📦 3. 캐파가 말해주는 ‘압도적 격차’
(2025년 말 기준 추정치)
가장 냉정한 지표는 역시 **생산능력(WPM)**입니다.
◼ HBM 월 생산능력(WPM)
SK하이닉스: 16만 장/월
삼성전자: 15만 장/월
마이크론: 5.5만 장/월
이 숫자는 업계 판도를 그대로 보여줍니다.
마이크론은 한국 기업의 1/3 수준에 불과합니다.
여기에 TSV 경험이 상대적으로 부족해
HBM4 세대 대응에서도 제약이 생길 수밖에 없습니다.
시장은 이미 판단했습니다.
> “AI 인프라 수요가 폭증하는 2025~2027년에는
한국 기업 두 곳만 사실상 'HBM 공급자' 역할을 한다.”
---
🔍 4. TPU와 HBM — 왜 SK하이닉스가 가장 큰 수혜인가?
TPU의 가장 큰 특징은
HBM 필요량이 GPU보다 많고, 대역폭 의존도가 더 높다는 점입니다.
이 때문에 구글은 TPU 공급망에서
SK하이닉스를 1순위 협력사로 두고 있습니다.
구글 TPU 공급 구조
TPU 7세대(Ironwood) → HBM3E 8단, SK하이닉스 우선 공급
TPU 7e 개선형 → HBM3E 12단 독점 공급 전망
(BofA Global Research 공식 분석)
여기에 더해 SK하이닉스는
AWS
브로드컴
기타 ASIC 고객사
에서도 확실한 우위를 점하고 있습니다.
특히 ASIC(주문형 AI 칩) 증가는
엔비디아 생태계를 벗어난 수요가 폭발한다는 의미이기 때문에
SK하이닉스에 매우 유리합니다.
---
🧲 5. 삼성전자의 반격 — 엔비디아 공급망 본격 진입
삼성전자는 SK하이닉스보다는 늦었지만
2024~2025년 엔비디아 HBM 인증에 성공하며
B100·B200 공급 체계에 진입했습니다.
이는 매우 중요한 사건입니다.
왜냐하면 엔비디아는
전 세계 AI GPU 시장의 **80~90%**를 차지하고 있기 때문에
엔비디아 공급망에 들어간다는 것 자체가
향후 몇 년간 수요가 안정적으로 확보된다는 뜻이기 때문입니다.
삼성전자는
파운드리
패키징
DRAM
HBM
을 모두 갖춘 종합 시스템 반도체 회사이기 때문에
TPU·GPU 양쪽에서 모두 수혜를 볼 구조입니다.
---
🚀 6. HBM4의 등장 — 2026~2027년의 게임 체인저
2025년 SEDEX에서 SK하이닉스는
HBM4(차세대 6세대) 실물을 공개했습니다.
HBM4는
지금보다 더 높은 대역폭
더 낮은 전력
더 많은 적층
을 지원하기 때문에
2026년 이후의 AI 인프라 경쟁의 ‘기본 스펙’이 될 제품입니다.
HBM4가 본격 양산되면
구글 TPU 8세대
엔비디아 차세대 X 시리즈
AWS·메타의 자체 칩
모두 여기에 의존하게 됩니다.
즉, HBM4의 시대는
한국 기업의 위치를 더 높여주는 시점이 될 가능성이 매우 큽니다.
---
📌 7. 결론 — HBM 시장이 커지는 만큼, 한국 반도체의 영향력은 기하급수적으로 증가한다
TPU 시장이 커지면 HBM 시장도 커지고,
HBM 시장이 커지면
그 중심에 있는 SK하이닉스와 삼성전자의 영향력은 자연스럽게 확대됩니다.
AI 반도체 구조는 이제 이렇게 표현할 수 있습니다.
> “AI 칩의 성능은 코어가 아니라 대역폭이 결정하고,
대역폭은 결국 HBM이 결정한다.”
그리고 전 세계에서
HBM을 대량 생산해 안정적으로 공급할 수 있는 국가는
사실상 대한민국뿐입니다.
이 흐름이 2025년을 넘어
2026~2027년의 AI 산업 전체를 지배하게 될 가능성이 높습니다.
AI 칩의 전쟁은 결국
GPU의 승자도, TPU의 승자도 아닌,
HBM을 가장 많이 생산할 수 있는 기업이 승자가 되는 구조로 바뀌고 있습니다.
📘 제3부
TPU 성능 구조와 GPU와의 차이 — “경쟁이 아닌 공존의 시대”
---
📘 제3부. TPU 성능 구조와 GPU와의 차이 — “경쟁이 아닌 공존의 시대”
2025년 AI 인프라 시장을 바라볼 때 가장 흔하게 나오는 오해는
“TPU vs GPU, 둘 중 하나가 승자가 될 것이다”라는 시각입니다.
겉으로만 보면 구글 TPU가 성능을 끌어올리며 거세게 부상하고 있고,
엔비디아 GPU는 여전히 절대 지위를 지키고 있기 때문에
두 기술이 싸우는 것처럼 느껴질 수 있습니다.
하지만 실제 구조를 깊게 들여다보면,
두 기술은 애초에 서로 대체할 수 없는 역할을 가지고 있습니다.
이 점을 이해하면 왜 2025년 이후 AI 칩 시장이
“경쟁이 아니라 공존”이라는 결론에 도달하는지 자연스럽게 보이게 됩니다.
---
🔹 1) TPU는 특화형, GPU는 범용형 — ‘태생적인 목적의 차이’
AI 칩을 이해할 때 가장 중요한 지점은 “설계 목적”입니다.
✔ GPU(엔비디아)는 ‘무엇이든 돌리는 범용 엔진’
GPU는 처음부터 게임·그래픽·3D 연산을 위해 만들어진 칩입니다.
하지만 병렬 연산 능력이 워낙 뛰어나서
딥러닝이 등장하자 자연스럽게 AI 시장까지 전부 장악하게 되었죠.
GPU는 다음 분야에 모두 최적화돼 있습니다.
이미지·영상 처리
물리 시뮬레이션
게임 엔진
자율주행
LLM 학습·추론
과학 연산, 금융 모델링
여기에 엔비디아 CUDA 생태계가 더해지면서
사실상 전 세계 AI 개발자 대부분이 GPU 기반으로 개발합니다.
즉, GPU의 가장 큰 강점은
> “무엇이든 처리할 수 있는 만능성 + 개발 생태계 주도권”
입니다.
---
✔ TPU(구글)는 ‘특정 연산을 폭발적으로 빠르게 만드는 전용 엔진’
반면 TPU는 설계 목적 자체가 다릅니다.
딥러닝의 핵심인 **행렬연산(텐서)**만을 극한으로 빠르게 처리하도록
구글이 직접 설계한 ASIC(주문형 반도체)이기 때문입니다.
다시 말해 TPU는
검색 알고리즘
광고 추천
유튜브 개인화 추천
구글 번역
Gemini 모델
같은 ‘구글 내부의 초대형 워크로드’를
최소 비용 + 최대 효율로 돌리기 위한 칩입니다.
이때 구글이 하는 선택은 매우 단순합니다.
> “수백억 번 반복되는 동일 연산을 GPU처럼 ‘범용 구조’로 돌릴 필요가 없다.
우리는 우리 서비스에 맞춘 칩을 설계하면 된다.”
그래서 TPU는 GPU보다 더 높은 전력 효율을 보여주고,
특정 모델 구조에서는 GPU 대비 **비용 절감 효과가 30~50%**까지 나오기도 합니다.
이것이 구글이 TPU 개발을 멈추지 않는 이유입니다.
---
🔹 2) TPU 세대별 성능 차이 — “폭발적 개선”
TPU의 성능은 세대가 바뀔 때마다 구조적으로 크게 개선되었습니다.
아래는 구글 Cloud TPU Docs 및 공개 자료 기반의 핵심 수치입니다.
TPU 세대 특징
v2 (2017) 45 TFLOPS
v3 (2018) 90 TFLOPS (2배) + 액침 냉각
v4 (2021) 275 TFLOPS급 구조, 대형 POD 구축
v5e (2023) v4 대비 3배 효율 개선, 학습·추론 겸용
v5p (2023 Q4) 대규모 LLM 학습 전용, v4 대비 2.8배 향상
7세대 Ironwood (2025) HBM3E 탑재, 전력 효율·대역폭 모두 크게 개선
특히 7세대 TPU Ironwood는
구글 Gemini 2·3 학습에 실제 사용되며 검증된 플랫폼이기 때문에
실전 성능(throughput)에서 매우 높은 평가를 받고 있습니다.
여기서 중요한 포인트는 다음입니다.
> “TPU는 개별 칩 성능보다 Pod(대규모 클러스터)로 묶였을 때 성능이 최대치로 발휘된다.”
즉, TPU는 “하나가 강한 칩”이 아니라
“수천 개가 연결될 때 최적 성능이 나오는 칩”입니다.
---
🔹 3) TPU vs 엔비디아 B100·B200 — 같은 분야지만 목적이 다른 두 엔진
2025년 기준 최고 성능 GPU는 엔비디아 B200입니다.
하지만 어떤 지점에서 우위가 있는지는 명확히 나뉩니다.
✔ 단일 칩 성능
B200이 압도적
FP8·HBM3e·NVLink 구조가 GPU 고유의 강점을 극대화함
✔ 대규모 클러스터 효율
TPU Pod가 우위
구글이 직접 설계한 네트워크 + 소프트웨어 스택 덕분
✔ 전력·비용 효율
TPU 승
ASIC 기반이라 같은 작업 대비 전력 소모량이 낮음
✔ 범용성
GPU가 절대 우위
모든 모델·서비스·플랫폼에서 호환 가능
요약하면 이렇게 됩니다.
> “엔비디아 GPU = 글로벌 AI의 심장”
“구글 TPU = 초대형 모델·검색·광고·추천 시스템의 핵심 엔진”
그래서 둘은 경쟁이 아닌 공존입니다.
서로의 부족한 부분을 채우면서 AI 시장 전체를 확대시키는 관계입니다.
📘 제4부
결론 — 2025년 AI 시장의 승부는 ‘칩 전쟁’이 아니라 ‘HBM 전쟁’
---
📘 제4부. 결론 — 2025년 AI 시장의 승부는 ‘칩 전쟁’이 아니라 ‘HBM 전쟁’
지금까지 뉴스·공식 자료·기업 발표를 종합하면
2025년 AI 시장의 핵심 이슈는 GPU냐 TPU냐가 아닙니다.
정말 중요한 건 HBM을 얼마나 확보할 수 있느냐 입니다.
초거대 LLM의 구조가 바뀌지 않는 한,
모델 크기 증가
컨텍스트 길이 증가
멀티모달 데이터 증가
추론 요청 폭증
은 계속 이어질 수밖에 없고
이는 HBM 수요가 폭발적으로 증가한다는 뜻이기 때문입니다.
그 구조를 정리하면 아래와 같습니다.
◼ GPT·Gemini·Llama 모델 고도화
→ 더 많은 GPU + TPU 필요
◼ GPU·TPU 증가
→ 더 많은 HBM 필수
◼ HBM 시장
→ SK하이닉스·삼성전자 2강 구도
◼ 마이크론
→ 캐파 부족 + TSV 늦어 사실상 후순위
즉, GPU와 TPU의 경쟁은 부차적이고,
AI 반도체 시장의 본질은 메모리 패권 경쟁입니다.
그리고 현재 그 패권을 쥐고 있는 기업은
SK하이닉스와 삼성전자뿐입니다.
엔비디아·구글·메타·AWS·브로드컴 같은 초대형 테크 기업들이
앞다투어 한국 기업과 장기계약을 맺는 이유도
결국 HBM 없이는 AI 서비스를 만들 수 없기 때문입니다.
2025년~2027년 글로벌 AI 산업의 주도권은
칩 설계 회사에서 메모리 회사로 일부 이동하는 흐름이
이미 본격화되고 있습니다.
---
📝 간략한 출처 목록
Google Cloud TPU Architecture Docs (v2~v5p 세대 성능 자료)
Google Cloud Next 2025 발표(7세대 TPU Ironwood 공개 세션)
NVIDIA 공식 자료(B100·B200 구조 및 HBM3e 구성)
SK하이닉스·삼성전자 IR·보도자료(HBM3E·HBM4 기술 자료)
연합뉴스: 「TPU 한 개당 HBM 6~8개 탑재… SK하이닉스, 1순위 공급자」(2025.11)
메리츠·한국투자증권·UBS·BofA·HSBC 리서치 HBM 시장 분석