Upstage เปิดตัว Solar Mini โมเดลภาษาโอเพนซอร์สขนาดกะทัดรัด

Upstage เปิดตัว Solar Mini โมเดลภาษาขนาดใหญ่ที่ผ่านการฝึกเบื้องต้นและมีขนาดกะทัดรัด พัฒนาด้วยวิธีการปรับขนาดที่บริษัทเรียกว่าเทคนิคการขยายความลึก โมเดลดังกล่าวเปิดให้บุคคลทั่วไปใช้งานภายใต้สัญญาอนุญาต Apache 2.0 และสามารถทดลองใช้ผ่าน Hugging Face และ Poe ได้ ตามประกาศของบริษัท

Upstage ระบุว่า Solar Mini ขึ้นสู่อันดับหนึ่งของ Open LLM Leaderboard ของ Hugging Face ในเดือนธันวาคม 2023 บริษัทยังระบุด้วยว่าโมเดลนี้ใช้พารามิเตอร์น้อยกว่า แต่สร้างคำตอบได้ในระดับใกล้เคียงกับ GPT-3.5 ด้วยความเร็วสูงกว่า 2.5 เท่า Upstage รายงานว่า Solar Mini ทำผลงานเหนือกว่า Llama 2, Mistral 7B, Ko-Alpaca และ KULLM ในการทดสอบมาตรฐานหลายรายการ แม้เนื้อหาในประกาศจะไม่ได้เปิดเผยคะแนนที่ใช้สนับสนุนข้อกล่าวอ้างดังกล่าว

สถาปัตยกรรมและการฝึก

Upstage ระบุว่า Solar Mini ใช้สถาปัตยกรรม Llama 2 จำนวน 32 เลเยอร์ และกำหนดค่าเริ่มต้นด้วยค่าน้ำหนักที่ผ่านการฝึกเบื้องต้นจาก Mistral 7B เทคนิคการขยายความลึกของบริษัทประกอบด้วยการขยายโมเดลตามแนวลึก ตามด้วยการฝึกเบื้องต้นอย่างต่อเนื่อง

Upstage ระบุว่าเทคนิคการขยายความลึกช่วยเพิ่มขนาดของโมเดลขนาดเล็กโดยไม่ต้องใช้โมดูลเพิ่มเติมหรือการทำงานแบบพลวัตที่เกี่ยวข้องกับวิธีการแบบผู้เชี่ยวชาญผสม บริษัทกล่าวว่าวิธีนี้ทำงานร่วมกับเฟรมเวิร์กโมเดลภาษาขนาดใหญ่ที่ใช้กันทั่วไป เช่น Hugging Face และสามารถนำไปใช้กับสถาปัตยกรรมทรานส์ฟอร์เมอร์ได้

Upstage ระบุว่า ขั้นตอนแรกของการขยายความลึกทำให้ประสิทธิภาพของโมเดลที่ปรับขนาดแล้วลดลงเมื่อเทียบกับโมเดลพื้นฐาน บริษัทจึงใช้การฝึกเบื้องต้นอย่างต่อเนื่องเพื่อฟื้นฟูประสิทธิภาพหลังการปรับขนาด

จากนั้น Solar Mini จะผ่านการปรับแต่งให้ทำตามคำสั่งสำหรับภาษาเกาหลีโดยเฉพาะ Upstage ระบุว่าในขั้นตอนนี้ โมเดลจะได้รับการฝึกให้ทำตามคำสั่งที่นำเสนอในรูปแบบคำถามและคำตอบ หลังจากนั้นจึงเข้าสู่ขั้นตอนการปรับแต่งความสอดคล้อง ซึ่งฝึกให้โมเดลที่ปรับแต่งตามคำสั่งแล้วตอบสนองสอดคล้องกับความต้องการของมนุษย์หรือระบบ AI ที่ทรงประสิทธิภาพกว่า

การสืบค้นและขั้นตอนการทำงานกับเอกสาร

Upstage ระบุว่า Solar Mini ทำงานได้ดีเป็นพิเศษกับระบบการสร้างคำตอบโดยเสริมข้อมูลจากการสืบค้น บริษัทกล่าวว่าโมเดลใช้ข้อมูลที่สืบค้นมาเพื่อเพิ่มความแม่นยำและความเกี่ยวข้องของผลลัพธ์

ประกาศดังกล่าวยังอธิบายว่า Solar Mini สามารถใช้งานร่วมกับโมเดลรู้จำอักขระด้วยแสงและโมเดลวิเคราะห์เค้าโครงของ Upstage ได้อย่างไร โมเดลเหล่านี้จะดึงตารางและรูปภาพออกจากไฟล์ PDF, PNG และ JPG โดย Upstage ระบุว่าระบบจะจัดองค์ประกอบของเอกสารตามลำดับการอ่าน แล้วแปลงผลลัพธ์เป็น HTML ซึ่งสามารถป้อนให้โมเดลภาษาได้

บริษัทนำเสนอว่าโมเดลขนาดกะทัดรัดนี้ต้องใช้ทรัพยากรประมวลผลน้อยกว่าโมเดลภาษาขนาดใหญ่กว่า Upstage ระบุว่าโมเดลขนาดเล็กสามารถตอบสนองได้รวดเร็วยิ่งขึ้น ใช้แรงงานน้อยลงในการปรับแต่งให้เหมาะกับสาขาหรือบริการเฉพาะ และรองรับการติดตั้งบนอุปกรณ์ภายในเครื่องโดยพึ่งพาทรัพยากร GPU จำนวนมากน้อยลง

แหล่งที่มา: ประกาศ “ขอแนะนำ Solar Mini: กะทัดรัดแต่ทรงพลัง” ของ Upstage เผยแพร่เมื่อวันที่ 25 มกราคม 2024