AI 는 왜 전기를 그렇게 많이 쓰는가
헤드라인은 «학습»이 가져가지만, 배포된 시스템의 일생에서 전기를 먹는 쪽은 «추론»이다. 전력이 실제로 어디로 가는지, 그리고 병목이 왜 칩에서 전력망으로 옮겨갔는지.
한 줄 답
AI 는 왜 전기를 많이 쓰는가?
AI 가속기는 랙당 전력이 기존 서버보다 훨씬 크고, 그 전력을 계속 공급하고 식히고 지불해야 한다. 대형 모델 학습은 한 번의 스파이크지만 수백만 사용자에게 서비스하는 일은 영구적인 부하이며, 배포된 모델의 생애 에너지는 추론이 지배한다.
핵심 요약
- AI 랙은 일반 서버 랙보다 한 자릿수 이상 큰 전력을 끌어간다 — 장비 목록이 아니라 «건물»이 달라진다.
- 학습은 스파이크, 추론은 상시 부하다. 모델의 생애로 보면 서빙이 지배한다.
- 여러 지역에서 병목은 이제 칩 수급이 아니라 «계통 연계»와 변압기다.
- 토큰당 효율 개선은 실제로 크지만, 수요가 더 빨리 늘어 총소비는 계속 증가한다.
데이터센터는 20년 전부터 상당한 전기를 써 왔다. AI 로 달라진 것은 밀도다. 랙 하나가 요구하는 전력, 따라서 건물이 공급하고 빼내야 하는 열의 양.
전력은 실제로 어디로 가는가
큰 순서로 네 군데다.
가속기. GPU 와 전용 AI 칩은 수천 개의 연산 유닛을 동시에 놀리지 않도록 설계돼 있다. 고성능 가속기 하나가 수백 와트에서 1킬로와트 이상을 쓰고, 학습 노드는 그것을 여러 개 묶는다. 일반 서버 랙이 5~15kW 라면 AI 랙은 수십 kW 로 설계되고, 최신 설계는 100kW 를 넘는다.
데이터 이동. 큰 모델은 여러 칩에 쪼개져 중간 결과를 끊임없이 주고받는다. 고대역폭 메모리와 인터커넥트가 전체의 상당 부분을 먹으며, 연산과 달리 이 비중은 세대가 바뀌어도 잘 줄지 않는다.
냉각. 들어간 와트는 전부 열로 나온다. 공랭은 랙당 30~40kW 부근에서 현실성을 잃는다. 새 AI 홀에서 액랭이 «이색»에서 «표준»으로 옮겨간 이유다. 효율은 PUE(전체 설비 전력 ÷ IT 전력)로 잰다. 잘 운영되는 최신 설비는 1.1~1.2 부근, 오래된 공랭 사이트는 훨씬 나쁘다.
나머지. 전력 변환 손실, 무정전 전원, 네트워킹, 스토리지.
학습은 스파이크, 추론은 부하
프런티어 모델 학습은 수천 개 가속기를 몇 주간 전속력으로 돌린다. 비싸고, 눈에 띄고, 끝이 있다.
그 모델을 서비스하는 일은 종류가 다르다. 모든 요청이 계산을 수행하고, 인기 제품은 하루 수백만 건을 몇 년간 매일 처리한다. 요청당 에너지는 작지만 곱셈은 작지 않다. 실제로 쓰이는 모델이라면 누적 추론 에너지가 서비스 수명 안에 학습 에너지를 넘어서고, 학습과 달리 그 부하는 끝나지 않는다.
추론 에너지를 더 밀어 올리는 두 가지가 있다.
- 길어진 출력. 생성은 순차적이다 — 토큰 하나마다 모델을 한 번씩 통과한다. 답하기 전에 긴 내부 사고를 만드는 추론형 모델은 요청당 일을 비례해서 더 한다.
- 에이전트. 사용자 지시 하나가 수십 번의 모델 호출과 도구 실행이 된다. 데이터센터 입장에서 그건 요청 하나가 아니라 수십 개다.
반대로 강하게 끌어내리는 하나는 모델 선택이다. 에너지는 계산량을 따르므로 작은 모델로 처리하는 것은 미미한 절약이 아니다. 라우팅 — 싼 모델 먼저, 필요할 때만 상신 — 은 대부분의 팀이 가진 가장 효과적인 레버다.
병목이 칩에서 전력망으로 옮겨갔다
한동안 병목은 가속기 수급이었다. 이제는 점점 계통 연계다 — 대형 부하를 송전망에 붙이기 위한 대기열, 그리고 변압기·개폐장치의 리드타임. 여러 주요 시장에서 그 대기열은 «년» 단위다.
이것이 산업을 바꾸는 방식은 지켜볼 만하다.
- 입지가 전력을 따라간다. 사용자 근처가 아니라 발전과 계통 여유가 있는 곳에 짓는다. 학습에는 괜찮고, 지연에 민감한 서빙에는 어렵다.
- 장기 전력 구매 계약. 원자력·지열 사업자와의 다년 PPA 가 지속가능성 발표가 아니라 인프라 뉴스가 됐다.
- 부지 내 발전과 저장. 계통 대기열을 아예 피하려는 자체 발전.
- 지역 정치. 전기요금 인상과 물 사용은 대형 설비가 제안되는 곳마다 살아 있는 지역 현안이다.
효율은 좋아지고 있고 — 총소비도 늘고 있다
둘 다 사실이고, 이 긴장이 많은 보도를 혼란스럽게 만든다.
토큰당 에너지는 크게 떨어졌다. 더 나은 하드웨어, 양자화, 배칭, 캐싱, 토큰마다 모델의 일부만 켜는 희소 구조, 그리고 일상 작업을 처리하는 증류된 소형 모델 덕이다. 한계적 개선이 아니라 큰 폭이다.
그런데 총소비는 늘었다. 사용량이 효율보다 빨리 늘었기 때문이다. 전형적인 반동 효과다 — 단위 비용이 싸지면 더 많이 쓴다. 효율은 필요조건이지 충분조건이 아니다.
실제로 무엇을 재야 하는가
서비스를 운영하며 헤드라인이 아닌 방어 가능한 숫자를 원한다면,
- 설비 PUE — 운영사에게 받는다.
- 전력망의 탄소 집약도 — 어느 «지역»에서 어느 «시각»에 돌리느냐로 몇 배가 달라진다.
- 에너지당 서빙 토큰 수 — 시간에 따라 추적한다. 우리가 통제하는 모델·라우팅 선택이 여기에 잡힌다.
- 물 사용 효율(WUE) — 물 부족 지역이라면.
불편한 요약: AI 에너지를 줄이는 레버 대부분은 AI 비용을 줄이는 레버와 같다 — 충분하다면 작은 모델, 캐싱, 배칭, 짧은 출력. 그 일치가 요청당 추세를 낙관할 이유이자, 총수요가 계속 오르는 이유다.
자주 묻는 질문
- 질의 한 번에 전기가 얼마나 드나?
- 모델 크기·출력 길이·하드웨어에 따라 자릿수 단위로 달라지고, 공개된 «질의당» 수치는 대부분 실측이 아니라 추정이다. 의미 있는 비교는 질의당이 아니라 배포 단위다 — 하루 수백만 요청을 받는 서비스는 수 메가와트의 상시 부하를 진다.
- 학습과 추론 중 어느 쪽이 에너지를 더 쓰나?
- 학습은 크지만 한 번이고, 추론은 작지만 무한히 반복된다. 널리 쓰이는 모델이라면 누적 추론 에너지가 서비스 수명 안에 학습을 앞지른다.
- 작은 모델을 쓰면 실제로 도움이 되나?
- 상당히 된다. 토큰당 에너지는 수행하는 계산량에 비례하므로, 쉬운 요청을 작은 모델로 보내고 어려운 것만 큰 모델에 남기면 같은 작업량에서 비용과 전력이 함께 줄어든다.
- 데이터센터는 왜 물을 많이 쓰나?
- 증발식 냉각이 싸고 효율적이지만 물을 소모한다. 폐회로·액침 냉각은 물을 훨씬 덜 쓰는 대신 전기를 더 쓴다 — 두 자원이 서로 맞바꿔진다.
출처
- Electricity 2024 — analysis and forecast to 2026 — International Energy Agency
- Data centre energy use — research programme — Lawrence Berkeley National Laboratory
- Power usage effectiveness (PUE) — The Green Grid