Upstage stellt Solar Mini vor, ein kompaktes Open-Source-Sprachmodell

Upstage hat Solar Mini vorgestellt, ein kompaktes vortrainiertes großes Sprachmodell, das mit einer vom Unternehmen als Depth Up-Scaling bezeichneten Skalierungsmethode entwickelt wurde. Das Modell ist unter der Apache-2.0-Lizenz öffentlich verfügbar und kann der Ankündigung zufolge über Hugging Face und Poe ausprobiert werden.

Nach Angaben von Upstage belegte Solar Mini im Dezember 2023 den ersten Platz auf dem Open LLM Leaderboard von Hugging Face. Das Unternehmen erklärte zudem, das Modell verwende weniger Parameter und liefere mit 2,5-facher Geschwindigkeit Antworten, die mit denen von GPT-3.5 vergleichbar seien. Upstage berichtete, Solar Mini habe Llama 2, Mistral 7B, Ko-Alpaca und KULLM in einer Reihe von Benchmarks übertroffen; die zugrunde liegenden Ergebnisse wurden im Text der Ankündigung jedoch nicht genannt.

Architektur und Training

Solar Mini basiert nach Angaben von Upstage auf einer 32-schichtigen Llama-2-Architektur und wurde mit vortrainierten Gewichten von Mistral 7B initialisiert. Die Depth-Up-Scaling-Methode des Unternehmens besteht aus einer Skalierung in die Tiefe und einem anschließenden fortgesetzten Vortraining.

Laut Upstage vergrößert Depth Up-Scaling kleinere Modelle, ohne dass dafür zusätzliche Module oder dynamische Abläufe erforderlich sind, wie sie bei Mixture-of-Experts-Verfahren zum Einsatz kommen. Das Verfahren sei mit gängigen Frameworks für große Sprachmodelle wie Hugging Face kompatibel und lasse sich auf Transformer-Architekturen anwenden.

Der erste Schritt des Depth Up-Scalings verringert laut Upstage die Leistung des skalierten Modells im Vergleich zum Basismodell. Deshalb setzt das Unternehmen anschließend auf fortgesetztes Vortraining, um die Leistung nach der Skalierung wiederherzustellen.

Danach wird Solar Mini speziell für Koreanisch einem Instruction Tuning unterzogen. Upstage zufolge wird das Modell in dieser Phase darauf trainiert, Anweisungen zu befolgen, die im Frage-Antwort-Format vorliegen. Anschließend folgt eine Alignment-Tuning-Phase, in der das auf Anweisungen abgestimmte Modell darauf trainiert wird, sich an den Präferenzen von Menschen oder leistungsfähigeren KI-Systemen auszurichten.

Informationsabruf und Dokumenten-Workflows

Nach Angaben von Upstage eignet sich Solar Mini besonders gut für Systeme zur abrufgestützten Generierung. Dem Unternehmen zufolge nutzt das Modell abgerufene Informationen, um die Genauigkeit und Relevanz seiner Ausgaben zu verbessern.

In der Ankündigung wurde außerdem beschrieben, wie Solar Mini gemeinsam mit den Modellen von Upstage zur optischen Zeichenerkennung und Layoutanalyse eingesetzt werden kann. Diese Modelle extrahieren Tabellen und Abbildungen aus PDF-, PNG- und JPG-Dateien. Upstage zufolge ordnet das System Dokumentelemente entsprechend ihrer Lesereihenfolge und wandelt das Ergebnis in HTML um, das dem Sprachmodell zur Verfügung gestellt werden kann.

Das Unternehmen stellte das kompakte Modell als weniger rechenintensiv als größere Sprachmodelle dar. Kleinere Modelle könnten laut Upstage die Reaktionsgeschwindigkeit verbessern, ließen sich mit geringerem Aufwand an bestimmte Fachgebiete oder Dienste anpassen und ermöglichten den Einsatz auf lokalen Geräten, ohne in gleichem Maße auf umfangreiche GPU-Ressourcen angewiesen zu sein.

Quelle: Upstages Ankündigung „Introducing Solar Mini: Compact yet Powerful“, veröffentlicht am 25. Januar 2024.