AWS, 베드록에서 OpenAI 모델 비교하는 오픈소스 벤치마크 공개

AWS는 자사의 인공지능 블로그에 아마존 베드록에서 이용 가능한 OpenAI 모델을 OpenAI API를 통해 직접 접근하는 OpenAI 모델과 비교하는 오픈소스 벤치마킹 하네스를 소개하는 게시물을 게재했다. 이 게시물은 AWS 소속 저자인 닉 매카시, 샤라다 칸다수브라마니안, 수디시 사시다란, 사우라브 트리칸데가 작성했다.

AWS에 따르면 조직들은 통상 모델을 100만 토큰당 달러 비용, 즉 모든 가격표에 등장하는 그 숫자로 비교한다. 그러나 이 게시물은 이 수치가 실제 비용에 영향을 미치는 요소들을 놓친다고 지적한다. 모델이 정답을 내놓는 빈도, 정답에 도달하기까지 소비하는 토큰 수, 그리고 에이전트형 워크로드의 경우 대화가 길어질수록 매 턴마다 누적된 대화 기록을 다시 전송해야 하는 만큼 대화 턴수가 이에 해당한다.

하네스와 테스트 대상 모델

AWS는 openai-on-aws/benchmarks-openai라는 이름으로 공개된 이 하네스를 자체 개발해 오픈소스로 공개했다고 밝혔다. 이 하네스는 백엔드와 모델 ID만 전환하고 평가 로직은 그대로 유지한 채, 동일한 코드 경로인 OpenAI Responses API를 아마존 베드록과 OpenAI API 양쪽에 적용해 실행한다.

게시물에 따르면 이 하네스는 다음 다섯 개 모델을 평가한다.

• 아마존 베드록의 OpenAI 모델 3종: gpt-5.6-luna, gpt-5.6-terra, gpt-5.6-sol
• OpenAI API 모델 2종: gpt-5.4-mini, gpt-5.4-nano

AWS는 이 두 OpenAI API 모델을 베드록 모델과 동일 세대의 직접적인 대응 모델이 아니라, 많은 팀이 이미 사용 중인 비용 최적화형 기준 모델로 설명한다. 이는 미니 또는 나노 모델을 사용하던 팀이 더 최신 베드록 모델로 옮겨갈 만한 가치가 있는지를 따져보는 질문을 중심으로 비교를 구성한 것이다.

평가 내용

AWS에 따르면 이 하네스는 세 가지 질문을 다룬다. 토큰 하나의 비용이 아니라 정답 하나의 비용은 얼마인가, 턴 수가 청구 비용을 좌우할 수 있는 상황에서 멀티턴 에이전트 궤적의 비용은 얼마인가, 그리고 퀴즈식 문제가 아니라 실제 직무 결과물을 기준으로 삼았을 때 모델이 전문가가 받아들일 만한 결과물을 내놓을 수 있는가 하는 것이다.

AWS는 이 평가가 AIME 수학 경시대회, 대학원 수준 과학 문제인 GPQA 다이아몬드, 그리고 MMLU-Pro에서의 단일 호출 정확도와 비용을 측정하며, 여기에 더해 실시간 웹 조사 과제에서의 멀티턴 에이전트 궤적과 루브릭 채점 방식의 전문 결과물 평가도 함께 진행한다고 설명한다. 채점은 결정론적 검증과 LLM 심사자인 gpt-5.5를 결합해 이뤄지는데, AWS는 이 심사 모델이 평가 대상 모델에는 포함되지 않는다고 밝혔으며, 각 결과 파일에 해시값이 기록된 고정 프롬프트를 사용한다.

AWS는 이 하네스를 실행할 때마다 타임스탬프가 찍힌 JSON 형식의 결과 파일이 생성되며, 게시물에 실린 모든 수치와 차트는 빌드 시점에 이 파일들로부터 생성됐다고 밝혔다. 제공된 원문 자료에는 하네스가 산출한 구체적인 정확도, 비용, 벤치마크 결과 수치는 포함되어 있지 않다.

출처: AWS 머신러닝 블로그, "Beyond the price per token: Choosing the right OpenAI model on Amazon Bedrock for your workload," 2026년 9월 11일 게재.