อภิธานศัพท์ AI

#

การกลั่น

การทำ distillation ฝึกโมเดลนักเรียนที่เล็กกว่าโดยใช้ผลลัพธ์จากโมเดลครูที่ใหญ่กว่า ทำให้ผู้เรียนสามารถจำลองพฤติกรรมของครูได้ในราคาที่ต่ำกว่ามาก มันเป็นสาเหตุหลักที่ทำให้โมเดลขนาดเล็กพัฒนาเร็วขึ้น และหลายแอปพลิเคชันเชิงพาณิชย์กำหนดให้การใช้เทคนิคนี้ถูกจำกัดหรือห้ามใช้

การควอนไทเซชัน

การควอนไทซ์ทำให้ความแม่นยำของตัวเลขในน Gew ของโมเดลลดลง — เช่น จาก 16 บิตแบบจุดทศนิยมเป็นจำนวนเต็ม 8 บิตหรือ 4 บิต — ทำให้โมเดลใช้หน่วยความจำและทำงานเร็วขึ้น ความเสียหายของคุณภาพจะน้อยที่ 8 บิตและเริ่มชัดเจนที่ 4 บิต แม้ว่าจะมักจะยอมรับได้ก็ตาม

การจัดแนว

การจัดแนวเป็นกระบวนการปรับพฤติกรรมของโมเดลที่ได้รับการฝึกแล้ว ให้ทำตามคำสั่ง บอกความจริงเท่าที่ทำได้ และปฏิเสธคำขอที่เป็นอันตราย กระบวนการนี้เกิดขึ้นหลังจากการฝึกเบื้องต้น โดยส่วนใหญ่ทำผ่านการฝึกแบบมีผู้ดูแล (supervised fine-tuning) บนตัวอย่างต่าง ๆ และการเรียนรู้แบบเสริมแรง (reinforcement learning) จากข้อเสนอแนะของมนุษย์หรือ AI

การแทรกคำสั่ง

การฉีดโค้ดคำสั่ง (Prompt injection) เป็นการโจมตีที่คำสั่งถูกฝังอยู่ในเนื้อหาที่โมเดลประมวลผล — เช่น หน้าเว็บ อีเมล เอกสาร หรือคอมเมนต์โค้ด — ทำให้โมเดลทำตามคำสั่งเหมือนกับว่ามาจากผู้ดำเนินการของมัน ไม่มีวิธีที่เชื่อถือได้สำหรับโมเดลที่จะแยกแยะคำสั่งที่เชื่อถือได้ออกจากข้อความที่มันถูกขอให้อ่าน

การปรับแต่ง

การปรับแต่งต่อเนื่องคือการฝึกโมเดลที่ถูกฝึกมาแล้วต่อด้วยชุดข้อมูลเฉพาะงานที่มีขนาดเล็กกว่า เพื่อปรับน้ำหนักให้ผลลัพธ์สอดคล้องกับรูปแบบ เสียง หรือทักษะที่จำกัดเฉพาะได้อย่างเชื่อถือได้ มันเป็นวิธีที่ไม่เหมาะสมในการสอนข้อเท็จจริง เนื่องจากข้อเท็จจริงมีการเปลี่ยนแปลงและควรได้รับการจัดหาจากการเรียกข้อมูลเมื่อต้องการ

การผสมผสานผู้เชี่ยวชาญ (MoE)

Mixture of experts แบ่งส่วนของเครือข่ายเป็นหลายส่วนย่อยที่ทำงานในเชิงเส้นขนานกัน และใช้ตัว router ส่ง token แต่ละตัวผ่านเฉพาะส่วนย่อยบางส่วนเท่านั้น การนับจำนวนพารามิเตอร์ทั้งหมดยังคงมาก แต่การคำนวณต่อ token ยังคงน้อย ทำให้หลายโมเดลขนาดใหญ่สามารถให้บริการได้ในราคาที่ต่ำกว่าขนาดที่คาดไว้

การฝัง

การแทนค่าเป็นเวกเตอร์ที่มีความยาวคงที่ของตัวเลข ที่ถูกสร้างโดยโมเดลเพื่อแทนข้อความ ภาพ หรือเสียง หน่วยข้อมูลที่มีความหมายคล้ายกันจะอยู่ใกล้กันในพื้นที่เวกเตอร์นี้ ทำให้การค้นหาเชิงความหมาย การจัดกลุ่ม และการแนะนำเป็นไปได้

การสร้างข้อมูลที่เสริมด้วยการดึงข้อมูล

การสร้างข้อมูลโดยใช้การสืบค้นแบบเพิ่มความรู้ (RAG) จะค้นหาข้อความในเอกสารที่เกี่ยวข้องกับคำถาม แล้วใส่ข้อความเหล่านั้นเข้าไปในคำสั่งของโมเดลเพื่อให้โมเดลตอบคำถามโดยใช้ข้อมูลนั้น โมเดลไม่เปลี่ยนแปลงน้ำหนักของมันเอง; ความรู้จะมาถึงในรูปแบบบริบทเมื่อเรียกใช้ ดังนั้นการอัปเดตเอกสารจะทำให้คำตอบเปลี่ยนแปลงทันที

ช่วงบริบท

ช่วงบริบทคือจำนวนโทเคนสูงสุดที่โมเดลสามารถประมวลผลได้ในคำขอหนึ่งครั้ง มันประกอบด้วยคำสั่งระบบ ตัวอย่างเครื่องมือ ประวัติการสนทนา เอกสารที่แนบมา และผลลัพธ์ที่สร้างขึ้น สิ่งที่อยู่นอกเหนือจากช่วงนี้จะมองไม่เห็นโดยโมเดล

โทเคน

โทเคนคือหน่วยข้อความที่เล็กที่สุดที่โมเดลภาษาประมวลผล: โทเคนไอเซอร์สร้างจากส่วนของคำทั่วไป หนึ่งโทเคนในภาษาอังกฤษโดยเฉลี่ยประมาณ 4 ตัวอักษร หรือประมาณ 0.75 คำ กำหนดขอบเขตของบริบทและราคา API ทั้งคู่ถูกคิดเป็นโทเคน ไม่ใช่คำ

น้ำหนักที่เปิด

Open weights หมายถึงไฟล์พารามิเตอร์ที่ฝึกแล้วถูกเผยแพร่เพื่อดาวน์โหลด ทำให้คุณสามารถรัน ตรวจสอบ และปรับแต่งโมเดลบนอุปกรณ์ของคุณเองได้ ใบอนุญาตที่มาพร้อมจะกำหนดสิ่งที่คุณสามารถทำได้ตามกฎหมาย และหลายโมเดล open-weight จะถูกแจกจ่ายภายใต้ใบอนุญาตแบบกำหนดเองที่ไม่ตรงตามนิยามของ open source.

มาตรฐาน

แบนช์มาร์กคือชุดงานที่กำหนดไว้ล่วงหน้าพร้อมคำตอบที่รู้จัก ใช้เพื่อให้คะแนนและเปรียบเทียบโมเดล การประเมินผลแบบสาธารณะให้การประเมินความสามารถโดยประมาณ แต่ถูกออกแบบมาเพื่อการฝึกข้อมูลอย่างหนัก จึงเสี่ยงต่อการปนเปื้อนข้อมูลฝึก และมีลักษณะเป็นปัญหาสั้น ๆ ที่กำหนดชัดเจน แทนที่จะเป็นงานผลิตจริง

โมเดลบริบทโพรโทคอล (MCP)

โมเดลบริบทโพรโทคอลเป็นมาตรฐานเปิดที่กำหนดวิธีที่แอปพลิเคชัน AI ค้นพบและเรียกใช้เครื่องมือ ภาคทรัพยากร และโพรเมปต์ภายนอก เซิร์ฟเวอร์เพียงตัวเดียวที่ทำการ implement มัน แล้วลูกค้าที่เข้ากันได้ก็สามารถใช้ได้ แทนที่ตัวเชื่อมต่อแบบกำหนดเองของแต่ละผลิตภัณฑ์

โมเดลภาษาขนาดใหญ่ (LLM)

โมเดลภาษาขนาดใหญ่คือเครือข่ายประสาทที่มีพารามิเตอร์หลายพันล้านตัว ซึ่งถูกฝึกด้วยชุดข้อความขนาดใหญ่เพื่อทำนาย token ถัดไปในลำดับ หนึ่งเป้าหมายเดียวที่ทำได้เพียงพอในระดับขนาดใหญ่ จะทำให้สามารถตอบคำถาม เขียนโค้ด แปลภาษา และสรุปสาระสำคัญได้ — แม้ว่าจะไม่ได้ถูกฝึกมาเพื่อทำอย่างนั้นโดยตรง

โมเดลหลายรูปแบบ

โมเดลแบบหลายประสาท (multimodal) สามารถประมวลผลอินพุตหลายประเภทในคำขอเดียวกัน โดยส่วนใหญ่คือข้อความร่วมกับรูปภาพ และในปัจจุบันกำลังรองรับเสียงและวิดีโอเพิ่มมากขึ้น การแปลงอินพุตที่ไม่ใช่ข้อความให้เป็นรูปแบบการแทนภายในเดียวกับโทเคน ทำให้ภาพหนึ่งภาพสามารถใช้ส่วนใหญ่ของช่วงบริบทได้

อนุมาน

การทำนายคือการนำโมเดลที่ฝึกแล้วมาประมวลผลกับข้อมูลใหม่เพื่อให้ได้ผลลัพธ์ โดยแตกต่างจากการฝึกซึ่งสร้างโมเดลขึ้นในตอนแรก การฝึกเป็นค่าใช้จ่ายเพียงครั้งเดียว ในขณะที่การทำนายต้องทำซ้ำสำหรับทุกคำขอ และในช่วงชีวิตของโมเดลที่ถูกใช้บ่อยครั้ง การทำนายจะครอบคลุมส่วนใหญ่ของทั้งค่าใช้จ่ายและการใช้พลังงาน

อาการหลอน

การหลงผิดคือการสร้างข้อมูลที่ไหลลื่นและมั่นใจแต่จริงๆ แล้วเป็นข้อมูลที่ผิดหรือไม่มีการสนับสนุน — เช่น การอ้างอิงที่ถูกสร้างขึ้น, ฟังก์ชันที่ไม่มีอยู่, หรือตัวเลขที่ดูเหมือนมีเหตุผลแต่ไม่มีแหล่งที่มาที่ชัดเจน การเกิดขึ้นนี้เกิดจากโมเดลที่สร้างเนื้อหาต่อเนื่องตามความน่าจะเป็น และการอ้างว่าเป็นไปได้ไม่ได้ทำให้มันเป็นความจริงเสมอไป

เอไอเอเจนท์

เอไอเอเจนต์คือโมเดลภาษาที่เชื่อมต่อกับเครื่องมือที่สามารถเรียกใช้ได้ โดยมีเป้าหมายแทนคำถามเดียว และได้รับอนุญาตให้ทำลูป — การเรียกเครื่องมือ, อ่านผลลัพธ์, ตัดสินใจขั้นตอนถัดไป — จนกว่าจะตัดสินว่าเป้าหมายสำเร็จหรือถึงขีดจำกัด การลูปนี้คือสิ่งที่ทำให้มันแตกต่างจากแชทบอต