Upstage、コンパクトなオープンソース言語モデル「Solar Mini」を発表

Upstageは、同社が「Depth Up-Scaling（深度アップスケーリング）」と呼ぶスケーリング手法を用いて構築した、コンパクトな事前学習済み大規模言語モデル「Solar Mini」を発表した。発表によると、このモデルはApache 2.0ライセンスの下で一般公開されており、Hugging FaceとPoeで試用できる。

Upstageによると、Solar Miniは2023年12月、Hugging Faceの「Open LLM Leaderboard」で首位を獲得した。また同社は、パラメーター数を抑えながらGPT-3.5に匹敵する応答を2.5倍の速度で生成できるとしている。Solar Miniは幅広いベンチマークでLlama 2、Mistral 7B、Ko-Alpaca、KULLMを上回ったとUpstageは報告しているが、発表本文にはその根拠となるスコアは示されていない。

アーキテクチャと学習

Upstageによると、Solar Miniは32層のLlama 2アーキテクチャを基盤とし、Mistral 7Bの事前学習済み重みを用いて初期化されている。同社のDepth Up-Scaling手法は、深度方向のスケーリングと、それに続く継続事前学習で構成される。

Upstageは、Depth Up-Scalingにより、専門家混合（Mixture of Experts）方式で用いられる追加モジュールや動的処理を必要とせず、小規模モデルを拡張できるとしている。また、この手法はHugging Faceなど広く利用されている大規模言語モデルのフレームワークに対応し、Transformerアーキテクチャにも適用できるという。

Upstageによると、最初の深度アップスケーリング工程では、スケーリング後のモデルの性能がベースモデルに比べて低下する。そのため同社は、スケーリング後に継続事前学習を行い、性能を回復させている。

その後、Solar Miniには韓国語に特化した指示チューニングが施される。Upstageによると、この段階では、質疑応答形式で提示された指示に従うようモデルを学習させる。続いてアラインメント調整を行い、指示チューニング済みモデルを、人間またはより高性能なAIシステムの選好に沿うよう学習させる。

検索と文書処理のワークフロー

Upstageによると、Solar Miniは検索拡張生成（RAG）システムとの組み合わせで特に高い性能を発揮する。同社は、検索で取得した情報を利用することで、出力の精度と関連性を高められるとしている。

発表では、Solar MiniをUpstageの光学文字認識モデルやレイアウト解析モデルと併用する方法も紹介された。これらのモデルは、PDF、PNG、JPGファイルから表や図を抽出する。同社によると、システムは文書内の要素を読む順序に従って直列化し、その結果を言語モデルに入力できるHTMLへ変換する。

同社は、このコンパクトなモデルは、より大規模な言語モデルに比べて必要な計算量が少ないとしている。Upstageによると、小規模モデルは応答性を高め、特定の分野やサービス向けのカスタマイズに要する作業を減らせるほか、大規模なGPUリソースへの依存を抑えながらローカル端末に導入できる。

出典：Upstageが2024年1月25日に公開した「Introducing Solar Mini: Compact yet Powerful」と題する発表。