Upstage presenta Solar Mini, un modelo de lenguaje compacto y de código abierto

Upstage presentó Solar Mini, un modelo de lenguaje grande preentrenado y compacto, desarrollado mediante un método de escalado que la empresa denomina escalado en profundidad. Según el anuncio, el modelo está disponible públicamente bajo la licencia Apache 2.0 y puede probarse a través de Hugging Face y Poe.

Upstage afirmó que Solar Mini alcanzó el primer puesto de la clasificación Open LLM Leaderboard de Hugging Face en diciembre de 2023. La empresa también señaló que el modelo utiliza menos parámetros y genera respuestas comparables a las de GPT-3.5 a una velocidad 2,5 veces mayor. Upstage informó de que Solar Mini superó a Llama 2, Mistral 7B, Ko-Alpaca y KULLM en diversos parámetros de evaluación, aunque el texto del anuncio no incluyó las puntuaciones correspondientes.

Arquitectura y entrenamiento

Según Upstage, Solar Mini se basa en una arquitectura Llama 2 de 32 capas y se inicializa con pesos preentrenados de Mistral 7B. El método de escalado en profundidad de la empresa consta de un escalado por profundidad seguido de un preentrenamiento continuo.

Upstage explicó que el escalado en profundidad permite ampliar modelos más pequeños sin necesidad de los módulos adicionales ni de las operaciones dinámicas asociados a los métodos de mezcla de expertos. La empresa señaló que el método es compatible con entornos de trabajo habituales para modelos de lenguaje grandes, como Hugging Face, y que puede aplicarse a arquitecturas de transformadores.

Según Upstage, el paso inicial de escalado en profundidad reduce el rendimiento del modelo escalado respecto al modelo base. Por ello, la empresa aplica un preentrenamiento continuo para recuperar el rendimiento tras el escalado.

A continuación, Solar Mini se somete a un ajuste de instrucciones específico para el coreano. Upstage indicó que, en esta etapa, el modelo aprende a seguir instrucciones presentadas en formato de preguntas y respuestas. Después se realiza una fase de ajuste de alineación, en la que el modelo ajustado con instrucciones se entrena para adaptarse a las preferencias de seres humanos o de sistemas de inteligencia artificial más potentes.

Recuperación de información y flujos de trabajo documentales

Upstage afirmó que Solar Mini funciona especialmente bien con sistemas de generación aumentada por recuperación. Según la empresa, el modelo utiliza la información recuperada para mejorar la precisión y la pertinencia de sus resultados.

El anuncio también describió cómo puede utilizarse Solar Mini junto con los modelos de reconocimiento óptico de caracteres y análisis de diseño de Upstage. Estos modelos extraen tablas y figuras de archivos PDF, PNG y JPG. Upstage explicó que el sistema serializa los elementos del documento según su orden de lectura y convierte el resultado en HTML, que puede suministrarse al modelo de lenguaje.

La empresa presentó el modelo compacto como una opción que requiere menos capacidad de cómputo que los modelos de lenguaje de mayor tamaño. Upstage señaló que los modelos más pequeños pueden mejorar la rapidez de respuesta, exigir menos trabajo para adaptarlos a ámbitos o servicios concretos y facilitar su implementación en dispositivos locales con una menor dependencia de amplios recursos de GPU.

Fuente: anuncio de Upstage «Introducing Solar Mini: Compact yet Powerful», publicado el 25 de enero de 2024.