AI 모델 가격은 실제로 어떻게 계산되는가 — 토큰·캐싱·배치

AI 가격은 단순해 보인다 — 100만 토큰당 얼마. 그러다 첫 청구서가 오고 아무도 그것을 설명하지 못한다. 가격 모델이 복잡한 게 아니라, 사람들이 흔히 만드는 방식을 벌하는 모양을 하고 있을 뿐이다.

기본 단위

주요 제공자는 모두 100만 토큰 단위로 청구하고, 단가가 둘로 나뉜다.

• 입력 토큰 — 우리가 보내는 전부: 시스템 프롬프트, 도구 정의, 대화 이력, 첨부 문서.
• 출력 토큰 — 모델이 생성하는 전부.

비싼 쪽은 출력이고, 흔히 입력의 3~5배다. 이유는 기계적이다. 입력은 시퀀스 전체를 병렬로 처리할 수 있지만, 출력은 한 번에 한 토큰씩 만들어야 하고 토큰마다 모델을 한 번씩 통과한다.

첫 번째 실무적 결론: 장황한 답이 긴 질문보다 비싸다. "세 줄로 요약해"는 문체 취향이 아니라 비용 통제다.

돈이 실제로 새는 곳

대화 이력. 팀들이 가장 놀라는 지점이다. 대부분의 채팅 API 는 상태를 갖지 않는다. 대화를 이어가려면 다시 보내야 한다. 1턴에 500토큰. 10턴에는 1~9턴 전부 + 새 메시지. 긴 스레드에서 누적 입력은 턴 수의 제곱에 가깝게 늘어난다.

요청마다 붙는 고정 오버헤드. 2,000토큰짜리 시스템 프롬프트와 3,000토큰짜리 도구 스키마는 «모든 호출»에서 5,000 입력 토큰이다. 사용자가 "고마워"라고 친 호출에서도.

추론 토큰. 답하기 전에 생각하는 모델은 출력으로 과금되는 내부 토큰을 만든다. 세 줄짜리 답을 돌려준 요청이 세 줄보다 훨씬 많은 토큰을 생성했을 수 있다.

재시도와 에이전트 루프. 15단계를 밟는 에이전트는 15번의 과금 요청이고, 각각이 누적된 컨텍스트를 지고 간다. 재시도 로직이 이걸 조용히 곱한다.

효과 순서대로 네 개의 레버

1. 더 작은 모델로 라우팅한다. 프런티어 모델과 소형 모델의 가격 차이는 보통 10~30배다. 실무 워크로드에는 소형 모델이 품질 손해 없이 처리하는 쉬운 요청 — 분류, 추출, 서식 — 이 큰 비중을 차지한다. 그것들을 작은 모델로 보내고 난이도나 신뢰도가 낮을 때만 상신한다. 이 목록의 다른 어떤 것도 이만한 절약에 못 미친다.

2. 고정된 앞부분을 캐싱한다. 프롬프트 캐싱은 제공자가 이미 본 앞부분에 대해 입력 단가의 일부만 청구한다. 바이트 단위로 동일해야 하므로 규율이 필요하다.

[시스템 프롬프트]   ← 고정 — 여기부터 캐싱
[도구 정의]         ← 고정
[참조 문서]         ← 세션 내 고정
[대화 이력]         ← 변함
[현재 메시지]       ← 변함

프롬프트 맨 위에 시각이나 사용자 이름을 넣으면 캐싱이 통째로 무력화된다. 흔하고 비싼 실수다.

3. 대화형이 아닌 일은 배치로. 배치 엔드포인트는 지연과 대략 절반 가격을 맞바꾼다. 야간 분류, 임베딩 백필, 평가 스위트, 대량 번역 — 어느 것도 즉시 응답이 필요 없다.

4. 루프를 줄인다. 대화 이력을 최근 N턴 + 요약으로 상한 짓는다. 이번 작업에 필요한 도구만 보낸다. 출력 길이 상한을 명시한다. 개별로는 작지만 합치면 청구서의 3분의 1인 경우가 흔하다.

토큰이 아닌 비용

• 임베딩은 호출당 싸지만 재색인 때 쌓이기 쉽다. 청킹을 바꿔 코퍼스 전체를 다시 임베딩하는 것은 실제 비용 항목이다.
• 파인튜닝은 학습 비용에 더해, 경우에 따라 더 높은 추론 단가나 커스텀 모델 호스팅 요금이 붙는다.
• 이미지·오디오 입력은 제공자와 해상도에 따라 다른 공식으로 토큰 상당량이 계산된다. 가정하지 말고 해당 공식을 확인하라.
• 레이트 리밋 등급. 더 높은 처리량에 약정 지출이 필요한 경우가 있다. 엔지니어링이 아니라 구매 협상의 문제이며, 일찍 물어볼 값어치가 있다.

방어 가능한 추정 만들기

먼저 계측하라. 요청마다 모델·입력 토큰·출력 토큰·캐시 토큰·기능·사용자를 로그에 남긴다. 이 분해 없이 하는 비용 최적화는 추측이다.

그다음 산수는 간단하다.

월 비용 ≈ 월 요청 수
        × (입력토큰 × 입력단가
         + 캐시토큰 × 캐시단가
         + 출력토큰 × 출력단가)

기대치, 2배, 10배 세 시나리오를 돌려 어느 지점에서 단위 경제가 깨지는지 본다. 무제한 채팅 기능이 붙은 좌석당 과금 제품은 스스로 마진을 뒤집을 수 있고, 그걸 발견할 시점은 출시 전이다.

대부분의 점검에서 나오는 불편한 진실은, 가장 큰 절약이 영리한 프롬프트가 아니라는 것이다. 트래픽의 70%가 애초에 비싼 모델을 필요로 하지 않았다는 사실을 알아차리는 일이다.