분석: 오픈 웨이트 모델은 실제로 얼마나 뒤처져 있나

몇 달에 한 번, 내려받을 수 있는 모델이 프런티어 상용 시스템과 1~2점 차이의 벤치마크 점수를 낸다. 그리고 곧바로 결론이 나온다 — 격차가 사라졌다. 그리고 몇 달에 한 번, 그 숫자를 믿고 갈아탄 팀들이 조용히 트래픽 일부를 되돌린다.

두 관찰 다 정확하다. 서로 다른 작업을 이야기하고 있을 뿐이다.

격차가 실제로 사라진 곳

크고 계속 커지는 부류의 작업에서 최상급 오픈 웨이트 모델은 그냥 «충분하다».

• 분류와 라우팅. 이 메시지가 무엇에 관한 것인지 정하기.
• 추출. 비정형 텍스트에서 구조화된 필드 뽑기.
• 요약. 컨텍스트에 넉넉히 들어가는 문서에 한해.
• 번역. 특히 자원이 풍부한 언어쌍 사이.
• 정형 초안 작성. 어차피 사람이 검토하는 경우.

이 작업들은 짧고, 명세가 분명하며, 검증이 싸다. 그리고 «양»으로 보면 실전 시스템이 실제로 하는 일의 대부분이다. 트래픽을 정직하게 측정한 팀은 대개 요청의 과반이 이 대역에 있음을 발견한다 — 오픈 웨이트를 지지하는 가장 강한 논거이고, 벤치마크 점수와는 아무 상관이 없다.

사라지지 않은 곳

프런티어 API 가 측정 가능한 우위를 유지하는 네 영역.

장기 신뢰성. 앞 단계에 의존하는 도구 사용 20단계. 단계당 정확도의 작은 차이가 곱해지고, 바로 여기서 물린다. 단계당 3% 나쁜 모델은 긴 궤적에서 극적으로 나쁘다.

도구 사용 품질. 맞는 도구를 고르고, 유효한 인자를 만들고, 오류 응답에서 분별 있게 회복하는 것. 학습된 행동이고, 투자한 만큼 드러난다.

아주 긴 컨텍스트. 표기된 컨텍스트 길이는 수렴하고 있지만, 그 길이 전체에서의 «쓸 만한 정확도»는 아니다. 실제로 쓸 길이에서, 실제와 닮은 내용으로 시험하라.

거부와 안전 동작. 오픈 웨이트는 안전 튜닝이 덜 된 상태로 오고 제공자 측 필터가 없다. 연구에는 장점이다. 소비자 대상 제품에서는 가드레일 작업이 우리 몫이 된다는 뜻이고, 팀들이 예상하는 것보다 일이 많다.

벤치마크가 오도하는 이유

공개 벤치마크는 기계학습에서 가장 무겁게 최적화된 표적이다. 부정행위를 비난하는 말이 아니다. 숫자가 목표가 되면 벌어지는 일이다. 구체적 왜곡 셋.

• 오염. 벤치마크 문항이 웹에서 긁힌 학습 코퍼스로 새어 들어간다. 누구도 완전히 배제하지 못한다.
• 과제의 모양. 벤치마크는 짧고 모호하지 않은 단발 문제를 선호한다. 실무는 길고 모호하고 다중 턴이며 적대적이다.
• 선택적 보고. 모든 릴리스는 자기가 이긴 벤치마크를 내세운다.

우리 질문에 답하는 유일한 평가는 «우리 트래픽으로 만든 것»이다. 실제 요청 수백 건, 도메인을 아는 사람들이 합의한 정답, 매번 같은 방식의 채점. 이걸 습관으로 만든 팀은 순위가 리더보드와 다르다는 것을 자주 발견한다 — 때로는 더 싼 모델 쪽으로.

진짜 거래는 운영이다

오픈 웨이트를 고르는 일은 모델 품질에 관한 결정인 경우가 드물다. 일을 떠안겠다는 결정이다.

얻는 것. 텍스트가 우리 인프라를 떠나지 않는다 — 규제 산업에서는 결정적인 경우가 많다. 모델이 발밑에서 바뀌지 않아 평가가 계속 유효하다. 비용이 우리가 통제하는 «용량»이 된다. 양자화·가지치기·파인튜닝·검사를 자유롭게 할 수 있다.

떠안는 것. 가속기는 바쁘든 놀든 같은 돈이 든다. 가동률이 우리 문제가 된다. 서빙 인프라, 배칭, 모니터링, 업그레이드. 당직 서는 사람. 그리고 원래 공짜로 받던 안전 필터링.

손익분기는 볼륨에 달렸고, 봉투 뒷면 계산보다 불리하다. 그 계산은 대개 100% 가동률을 가정하기 때문이다. 낮거나 들쭉날쭉한 볼륨에서는 인건비까지 세면 거의 언제나 API 가 싸다.

계속 중요한 라이선스 각주

«오픈 웨이트»는 «오픈소스»가 아니다. 가장 유능한 다운로드 모델 여럿이 허용 용도 정책, 사용자 수 임계값, 명명 요구가 붙은 자체 커뮤니티 라이선스로 배포된다. 반면 여러 Mistral·Qwen·DeepSeek 릴리스는 진짜 Apache-2.0 이다.

철학적 구분이 아니다. 화이트라벨이 가능한지, 조달 심사를 통과하는지, 파인튜닝한 파생물을 팔 수 있는지가 여기서 갈린다. 발표문이 아니라 가중치와 함께 오는 라이선스 파일을 읽어라. 자세한 것은 오픈 웨이트와 오픈소스에서 다룬다.

분별 있는 입장

둘 다 돌려라. 일상적인 다수는 직접 호스팅하거나 싸게 빌린 오픈 웨이트로 보내고, 어려운 소수만 프런티어 API 로 올린다. 그 비율을 측정하라. 분기마다 다시 측정하라. 경계는 움직이고, 최근에는 한쪽 방향으로 움직여 왔다.