업스테이지, 소형 오픈소스 언어 모델 ‘Solar Mini’ 공개

업스테이지가 회사 측이 뎁스 업스케일링이라고 부르는 확장 기법으로 개발한 소형 사전학습 대규모 언어 모델 Solar Mini를 공개했다. 발표에 따르면 이 모델은 Apache 2.0 라이선스로 공개돼 있으며 Hugging Face와 Poe에서 사용해 볼 수 있다.

업스테이지는 Solar Mini가 2023년 12월 Hugging Face의 Open LLM Leaderboard에서 1위에 올랐다고 밝혔다. 또한 이 모델이 더 적은 매개변수를 사용하면서도 GPT-3.5와 견줄 만한 응답을 2.5배 빠른 속도로 생성한다고 설명했다. 업스테이지는 Solar Mini가 다양한 벤치마크에서 Llama 2, Mistral 7B, Ko-Alpaca, KULLM을 앞섰다고 발표했지만, 발표문에는 구체적인 점수가 제시되지 않았다.

아키텍처와 학습

업스테이지에 따르면 Solar Mini는 32개 층의 Llama 2 아키텍처를 기반으로 하며 Mistral 7B의 사전학습 가중치로 초기화됐다. 회사의 뎁스 업스케일링 기법은 깊이 방향 확장 후 지속적 사전학습을 진행하는 방식으로 구성된다.

업스테이지는 뎁스 업스케일링을 이용하면 전문가 혼합 기법과 관련된 추가 모듈이나 동적 연산 없이도 소형 모델을 확장할 수 있다고 설명했다. 또한 이 기법은 Hugging Face처럼 널리 쓰이는 대규모 언어 모델 프레임워크와 호환되며 트랜스포머 아키텍처에 적용할 수 있다고 밝혔다.

업스테이지에 따르면 초기 뎁스 업스케일링 단계에서는 확장된 모델의 성능이 기반 모델보다 낮아진다. 이에 회사는 확장 후 성능을 회복하기 위해 지속적 사전학습을 적용한다.

이후 Solar Mini는 한국어에 특화된 지시 미세조정을 거친다. 업스테이지는 이 단계에서 질문과 답변 형식으로 제시된 지시를 따르도록 모델을 학습한다고 설명했다. 그다음에는 정렬 미세조정 단계가 이어지며, 지시 미세조정을 마친 모델이 사람이나 더 강력한 AI 시스템의 선호에 부합하도록 학습한다.

검색 및 문서 처리 절차

업스테이지는 Solar Mini가 검색 증강 생성 시스템에서 특히 뛰어난 성능을 보인다고 밝혔다. 회사 측에 따르면 이 모델은 검색된 정보를 활용해 출력 결과의 정확성과 관련성을 높인다.

발표에서는 Solar Mini를 업스테이지의 광학 문자 인식 및 레이아웃 분석 모델과 함께 활용하는 방식도 소개했다. 이들 모델은 PDF, PNG, JPG 파일에서 표와 그림을 추출한다. 업스테이지는 시스템이 문서 요소를 읽기 순서에 따라 직렬화하고, 그 결과를 언어 모델에 입력할 수 있는 HTML로 변환한다고 설명했다.

회사는 이 소형 모델이 더 큰 언어 모델보다 연산량이 적게 필요하다고 강조했다. 업스테이지는 소형 모델이 응답성을 높이고, 특정 분야나 서비스에 맞게 조정하는 데 필요한 작업을 줄이며, 대규모 GPU 자원에 대한 의존도를 낮춘 채 로컬 기기에 배포할 수 있다고 밝혔다.

출처: 2024년 1월 25일 발표된 업스테이지의 ‘Introducing Solar Mini: Compact yet Powerful’ 발표문.