การวิเคราะห์: โมเดลแบบเปิดล่าช้าจากความจริงเท่าไหร่?

ทุกๆ ไม่กี่เดือน จะมีโมเดลที่ดาวน์โหลดได้เผยอันดับการประเมินผลที่ใกล้กับระบบเชิงพาณิชย์ระดับแนวหน้าภายในหนึ่งหรือสองคะแนน และสรุปทันทีว่าช่องว่างได้หายไป ทุกๆ ไม่กี่เดือน ทีมที่เปิดใช้งานตามข้อมูลเหล่านั้นก็เริ่มส่งส่วนหนึ่งของจราจรของพวกเขากลับไปอีกครั้ง

สองข้อสังเกตนี้มีความแม่นยำ ทั้งสองอธิบายงานที่ต่างกัน

ที่ช่องว่างจริงๆ ถูกปิด

สำหรับประเภทงานที่เพิ่มขึ้นเรื่อยๆ ที่ดีที่สุดด้วยโมเดลแบบเปิดมีความเพียงพอโดยตรง:

• การจัดประเภทและการกำหนดเส้นทาง การตัดสินใจว่าข้อความคืออะไร
• การดึงข้อมูล การดึงช่องโครงสร้างที่เป็นระเบียบจากข้อความที่ไม่เป็นระเบียบ
• สรุปสาระสำคัญ ของเอกสารที่พอดีกับบริบท
• การแปล โดยเฉพาะระหว่างคู่ภาษาที่มีทรัพยากรดี
• การเขียนร่างประจำวัน ที่มนุษย์จะตรวจสอบผลลัพธ์อยู่แล้ว

งานเหล่านี้สั้น กำหนดชัดเจน และตรวจสอบได้ในราคาถูก พวกเขายังคิดเป็นส่วนมากของสิ่งที่ระบบผลิตทำจริงตามปริมาณ การทีมที่วัดการจราจรอย่างตรงไปตรงมาจะพบว่าเฉพาะส่วนใหญ่ของคำขออยู่ในช่วงนี้ — ซึ่งเป็นข้อโต้แย้งที่แข็งแรงสำหรับการใช้โมเดลแบบเปิด และไม่มีความเกี่ยวข้องกับคะแนนการประเมิน

ที่ยังไม่ได้ถูกปิด

สี่พื้นที่ที่ API ระดับแนวหน้าสามารถรักษาความได้เปรียบเชิงวัดได้:

ความน่าเชื่อถือในระยะยาว การใช้เครื่องมือ 20 ขั้นตอน โดยแต่ละขั้นตอบขึ้นอยู่กับขั้นตอนก่อนหน้า ความแตกต่างเล็กน้อยในความแม่นยำต่อขั้นตอนจะคูณกันเรื่อยๆ และนี่คือจุดที่การคูณทำให้ผลกระทบใหญ่ขึ้น ความแตกต่าง 3% ต่อขั้นตอนทำให้ผลลัพธ์แย่ลงอย่างมากในระยะยาว

คุณภาพการใช้เครื่องมือ การเลือกเครื่องมือที่เหมาะสม การสร้างข้อโต้แย้งที่ถูกต้อง การฟื้นตัวอย่างมีเหตุผลจากการตอบกลับข้อผิดพลาด การนี้เป็นพฤติกรรมที่ฝึกมาแล้ว และการลงทุนในการฝึกแสดงให้เห็น

บริบทที่ยาวมาก ความยาวบริบทที่ประกาศไว้กำลังเริ่มเทียบเท่ากัน; ความแม่นยำที่ใช้งานได้ตลอดทั้งความยาวไม่เท่ากัน ทดสอบที่ความยาวที่คุณจะใช้จริง พร้อมเนื้อหาที่คล้ายกับของคุณ

การปฏิเสธและพฤติกรรมความปลอดภัย โมเดลแบบเปิดมาถึงพร้อมการปรับความปลอดภัยน้อยกว่าและไม่มีการกรองจากผู้ให้บริการ สำหรับงานวิจัยนี่เป็นคุณลักษณะ แต่สำหรับผลิตภัณฑ์ที่ face ผู้ใช้ การทำงานของการป้องกันกลายเป็นความรับผิดชอบของคุณ ซึ่งต้องทำงานมากกว่าที่ทีมคาดคิด

ทำไมการประเมินผลทำให้เข้าใจผิด

สาธารณะการประเมินผลเป็นเป้าหมายที่ถูกปรับแต่งมากที่สุดในการเรียนรู้ของเครื่อง ไม่ใช่การกล่าวโทษการโกง; นี่คือสิ่งที่เกิดขึ้นเมื่อตัวเลขกลายเป็นเป้าหมาย สามรูปแบบการบิดเบือนเฉพาะ:

• การปนเปื้อน รายการประเมินผลรั่วไหลเข้าสู่ชุดข้อมูลฝึกที่ดึงมาจากเว็บไซต์ทั่วไป ไม่มีใครสามารถปฏิเสธได้ทั้งหมด
• รูปแบบงาน การประเมินผลให้ความสำคัญกับงานสั้น ไม่มีความคลุมเครือ งานเดี่ยว แต่งานผลิตมีความยาว ความคลุมเครือ งานหลายขั้นตอน และเป็นการต่อสู้
• การรายงานแบบเลือกปฏิบัติ ทุกรุ่นจะเน้นเฉพาะการประเมินผลที่ชนะเท่านั้น

การประเมินผลที่ตอบคำถามของคุณคือสิ่งที่สร้างจากการจราจรของคุณเอง: ไม่กี่ร้อยคำขอจริงๆ ที่มีคำตอบที่เห็นพ้องจากผู้ที่เข้าใจโดเมนนี้ และให้คะแนนแบบเดียวกันทุกครั้ง ทีมที่ทำเช่นนี้เป็นประจำพบว่า ลำดับการจัดอันดับแตกต่างจากบอร์ดผู้นำ — บางครั้งในทางที่เอื้อต่อโมเดลที่ถูกกว่า

การแลกเปลี่ยนจริงเป็นเชิงปฏิบัติการ

การเลือกโมเดลแบบเปิดไม่ใช่การตัดสินใจเกี่ยวกับคุณภาพของโมเดลเสมอไป มันเป็นการตัดสินใจที่จะรับภาระงาน:

• สิ่งที่คุณได้รับ ข้อมูลไม่เคยออกจากโครงสร้างพื้นฐานของคุณ — ซึ่งมักเป็นปัจจัยสำคัญในภาคส่วนที่มีการกำกับดูแล การที่โมเดลไม่เปลี่ยนแปลงใต้คุณ ทำให้การประเมินของคุณยังคงถูกต้อง ค่าใช้จ่ายกลายเป็นความจุที่คุณควบคุมได้ คุณสามารถทำการควอนไทซ์ ปรับแต่ง ปรับแต่งละเอียด และตรวจสอบได้
• สิ่งที่คุณต้องรับภาระ เครื่องเร่งทำงานมีค่าใช้จ่ายเท่ากันไม่ว่าจะมีงานหรือไม่ ดังนั้นการใช้งานกลายเป็นความรับผิดชอบของคุณ การให้บริการโครงสร้างพื้นฐาน การจัดกลุ่ม การเฝ้าระวัง การอัปเกรด การมีคนพร้อมรับแจ้ง การกรองความปลอดภัยที่คุณจะได้รับฟรีในกรณีอื่น

จุดที่การแลกเปลี่ยนเปลี่ยนแปลงขึ้นอยู่กับปริมาณ และไม่เป็นประโยชน์เท่าที่คำนวณโดยประมาณ เพราะการประมาณการมักสมติว่าการใช้งานเต็มที่เสมอ ที่ปริมาณต่ำหรือผันผวน การใช้ API จะถูกกว่าเมื่อคำนึงถึงเวลาแรงงานของพนักงาน

คำอธิบายใบอนุญาตที่ยังคงสำคัญ

‘โมเดลแบบเปิด’ ไม่ใช่ ‘open source’ โมเดลที่ดาวน์โหลดได้มากที่สุดบางตัวเผยใบอนุญาตในชุมชนแบบกำหนดเองที่มีนโยบายการใช้งานที่เหมาะสม ข้อกำหนดเกี่ยวกับจำนวนผู้ใช้หรือการระบุชื่อ หนึ่งในนั้น — จำนวนหลายรูปแบบของ Mistral, Qwen และ DeepSeek — เป็น Apache-2.0 จริงๆ

นี่ไม่ใช่การแยกแยะเชิงปรัชญา มันกำหนดว่าคุณสามารถทำ white-label ได้หรือไม่ การตรวจสอบการจัดซื้อจะผ่านหรือไม่ และการแยกแต่งต่อเนื่องสามารถขายได้หรือไม่ อ่านไฟล์ใบอนุญาตที่มาพร้อมกับโมเดล ไม่ใช่ในประกาศ เราอธิบายความแตกต่างนี้อย่างละเอียดใน open weights vs open source

ตำแหน่งที่สมเหตุสมผล

รันทั้งสองอย่างนั้น จัดเส้นทางส่วนใหญ่ของงานประจำไปยังโมเดลแบบเปิดที่คุณโฮสต์หรือเช่าราคาถูก; ยกส่วนที่ยากให้ไปยัง API ระดับแนวหน้า วัดส่วนแบ่ง ผลิตการประเมินซ้ำทุกไตรมาส เพราะขอบเขตเปลี่ยนแปลง — และช่วงหลังๆ มันเปลี่ยนแปลงในทิศทางเดียว