วิธีเขียนการตรวจสอบการกลั่นกรองเนื้อหาตามบริบทสำหรับ Shieldstral
เปลี่ยนข้อกำหนดด้านการกลั่นกรองเป็นคำถามที่เจาะจง ระบุเนื้อหาที่เกี่ยวข้อง และใช้คะแนนความเชื่อมั่นของ Shieldstral เพื่อจัดอันดับผลลัพธ์หรือกำหนดเกณฑ์ตัดสิน
คำตอบโดยย่อ
นักพัฒนาควรจัดโครงสร้างการตรวจสอบการกลั่นกรองเนื้อหาด้วย Shieldstral ของ Mistral AI อย่างไร
ในการตรวจสอบแต่ละครั้งด้วย Shieldstral ให้ระบุบริบทและระดับความเข้มงวดของการประเมิน ตั้งคำถามเกี่ยวกับนโยบายที่ตอบได้ด้วยใช่หรือไม่เพียงหนึ่งข้อ และใส่เนื้อหาที่ต้องการประเมิน แยกแต่ละนโยบายออกเป็นคนละคำถาม ใช้ค่าความน่าจะเป็นของคำตอบใช่/ไม่ใช่ที่ได้เป็นคะแนนความปลอดภัยแบบต่อเนื่อง ซึ่งนำไปกำหนดเกณฑ์ตัดสินหรือจัดอันดับกรณีต่าง ๆ ตามระดับความเชื่อมั่นได้
ประเด็นสำคัญ
- ถ่ายทอดนโยบายการกลั่นกรองแต่ละข้อเป็นคำถามที่ตอบได้ด้วยใช่หรือไม่เพียงหนึ่งข้อ แทนการพึ่งพาอนุกรมวิธานแบบตายตัว
- ระบุบริบทการนำไปใช้งาน ระดับความเข้มงวดที่ต้องการ และนิยามของเนื้อหาที่ไม่ปลอดภัยไว้ในคำสั่ง
- ใส่พรอมต์ คำตอบ คู่พรอมต์กับคำตอบ หรือรูปภาพที่มีหรือไม่มีข้อความประกอบเป็นเอกสารที่ต้องการประเมิน
- ใช้ค่าความน่าจะเป็นแบบต่อเนื่องของคำตอบใช่/ไม่ใช่จาก Shieldstral เพื่อกำหนดเกณฑ์การตัดสินหรือจัดอันดับกรณีต่าง ๆ ตามความเชื่อมั่น
- Shieldstral รองรับข้อความ รูปภาพ และข้อมูลที่ประกอบด้วยข้อความกับรูปภาพ โดยไม่ต้องฝึกโมเดลซ้ำสำหรับนโยบายใหม่แต่ละข้อ
รายการหมวดหมู่ความเสียหายแบบตายตัวอาจไม่เหมาะสมอีกต่อไปเมื่อผลิตภัณฑ์ AI เปลี่ยนกลุ่มเป้าหมายหรือวัตถุประสงค์ เนื้อหาที่ยอมรับได้ในเครื่องมือวิจัยความมั่นคงปลอดภัยไซเบอร์อาจเป็นอันตรายเมื่ออยู่บนแพลตฟอร์มสุขภาพจิต Shieldstral แก้ปัญหานี้ด้วยการเปิดให้นักพัฒนาระบุนโยบายเป็นข้อความภาษาธรรมดาขณะโมเดลทำงาน
คำแนะนำนี้ใช้กับ Shieldstral ของ Mistral AI โดยเฉพาะ ไม่ได้หมายถึง Le Chat โดยทั่วไป Shieldstral เป็นตัวจำแนกเนื้อหาด้านความปลอดภัยแบบเปิดเผยค่าน้ำหนัก ขนาด 3B ซึ่งเผยแพร่ภายใต้สัญญาอนุญาต Apache 2.0 โดยประเมินข้อความ รูปภาพ และเนื้อหาที่ประกอบด้วยข้อความและรูปภาพร่วมกันผ่านรูปแบบการถามตอบแบบเดียว
สร้างการตรวจสอบทุกครั้งจากสามส่วน
คำขอที่ส่งไปยัง Shieldstral ประกอบด้วยคำสั่ง คำถาม และเอกสาร แต่ละส่วนมีหน้าที่แตกต่างกัน
<Instruct>กำหนดบริบทและระดับความเข้มงวดของการประเมิน และยังใช้กำหนดได้ด้วยว่าเนื้อหาแบบใดควรถือว่าไม่ปลอดภัย<Query>ตั้งคำถามที่ตอบได้ด้วยใช่หรือไม่เพียงหนึ่งข้อเกี่ยวกับนโยบายที่ต้องการตรวจสอบ<Document>บรรจุเนื้อหาที่ต้องการตัดสิน
เอกสารอาจเป็นพรอมต์ของผู้ใช้ คำตอบของผู้ช่วย คู่พรอมต์กับคำตอบ หรือรูปภาพที่มีหรือไม่มีข้อความประกอบก็ได้ ควรเลือกให้ตรงกับงานกลั่นกรองที่ต้องทำจริง ใช้พรอมต์เมื่อตรวจคัดกรองคำขอขาเข้า ใช้คำตอบเมื่อตรวจสอบผลลัพธ์ที่ระบบสร้างขึ้น และใช้คู่พรอมต์กับคำตอบเมื่อความสัมพันธ์ระหว่างทั้งสองส่วนมีความสำคัญ
เปลี่ยนนโยบายเป็นคำถามที่มีขอบเขตแคบ
เขียนคำถามให้คำตอบว่าใช่มีความหมายชัดเจนเพียงอย่างเดียว แหล่งข้อมูลยกตัวอย่างคำถามว่าเนื้อหาส่งเสริมความรุนแรงทางกายภาพหรือไม่ รูปภาพปลอดภัยสำหรับผู้เยาว์หรือไม่ หรือผู้ช่วยปฏิเสธคำขอหรือไม่
โครงสร้างนี้มีประโยชน์เมื่อแอปพลิเคชันต้องตรวจสอบหลายด้าน ควรแยกขอบเขตของแต่ละนโยบายออกเป็นคนละคำถาม แทนที่จะรวมข้อกังวลที่ไม่เกี่ยวข้องกันไว้ในคำถามกว้าง ๆ เพียงข้อเดียว คำถามที่เจาะจงช่วยให้ตีความค่าความน่าจะเป็นที่ได้รับได้ง่ายขึ้น เพราะค่านั้นสอดคล้องกับเงื่อนไขเฉพาะข้อ
ใส่รายละเอียดด้านบริบทไว้ในคำสั่ง หากผลิตภัณฑ์ต้องจัดการการเจลเบรกจากฝ่ายโจมตีอย่างเข้มงวด แต่ผ่อนปรนกว่าเมื่อตรวจสอบคุณภาพคำตอบ ให้ระบุระดับความเข้มงวดที่เหมาะสมสำหรับการตรวจสอบครั้งนั้น หากคำอย่างคำว่าไม่ปลอดภัยอาจตีความได้หลายแบบ ให้ระบุนิยามที่เกี่ยวข้องไว้ในส่วนนี้ด้วย
เนื่องจากนโยบายอยู่ในคำขอ จึงปรับเปลี่ยนให้เหมาะกับบริบทการนำไปใช้งานใหม่ได้โดยไม่ต้องฝึก Shieldstral ซ้ำ ทำให้สามารถใช้เช็กพอยต์เดียวกันต่อไป พร้อมปรับคำถามและคำสั่งให้เหมาะกับแอปพลิเคชันหรือกลุ่มเป้าหมายที่แตกต่างกัน
ใช้คะแนนให้มากกว่าการติดป้ายกำกับ
ขณะอนุมาน Shieldstral จะอ่านค่าลอจิตของคำตอบใช่และไม่ใช่ แล้วใช้การปรับค่าแบบซอฟต์แม็กซ์เพื่อสร้างคะแนนความปลอดภัยแบบต่อเนื่อง คำตัดสินได้จากโทเค็นเดียวและการประมวลผลแบบเดินหน้าเพียงรอบเดียว
คะแนนดังกล่าวรองรับการใช้งานจริงสองรูปแบบ ระบบอาจกำหนดเกณฑ์เมื่อต้องการเส้นแบ่งในการตัดสินใจ หรือจัดอันดับรายการที่ประเมินแล้วตามความเชื่อมั่นเมื่อต้องการจัดลำดับความสำคัญของผลลัพธ์ แหล่งข้อมูลไม่ได้กำหนดเกณฑ์สากล ดังนั้นข้อมูลที่ให้มาจึงไม่รองรับแนวคิดที่ว่ามีค่าตัดเพียงค่าเดียวซึ่งเหมาะกับทุกผลิตภัณฑ์
อินเทอร์เฟซเดียวกันนี้รองรับทั้งการจำแนกพรอมต์ การกลั่นกรองคำตอบ การตรวจจับการปฏิเสธ และการตรวจจับเนื้อหาเป็นพิษ ควรกำหนดคำถามให้สอดคล้องกับงาน การตรวจสอบการปฏิเสธควรถามว่าผู้ช่วยปฏิเสธหรือไม่ ส่วนการตรวจสอบความปลอดภัยของเนื้อหาควรถามถึงคุณสมบัติที่ไม่ปลอดภัยอย่างเฉพาะเจาะจง
พิจารณารูปแบบข้อมูลและบริบทร่วมกัน
สำหรับการกลั่นกรองรูปภาพ ให้ใส่รูปภาพเป็นเอกสารและเพิ่มข้อความประกอบได้หากข้อความนั้นมีส่วนต่อการประเมิน Shieldstral ใช้อินเทอร์เฟซนโยบายภาษาธรรมชาติแบบเดียวกันสำหรับข้อความ รูปภาพ และข้อมูลที่ประกอบด้วยข้อความกับรูปภาพ จึงไม่จำเป็นต้องแปลงนโยบายเป็นอนุกรมวิธานรูปภาพแบบตายตัวอีกชุดหนึ่ง
สำหรับการตรวจสอบบทสนทนา ให้ใช้คู่พรอมต์กับคำตอบเมื่อการประเมินเพียงด้านใดด้านหนึ่งจะทำให้บริบทที่จำเป็นขาดหายไป ส่วนการคัดกรองขาเข้าหรือขาออกแบบง่าย ให้ใส่เฉพาะพรอมต์หรือคำตอบที่เกี่ยวข้อง วิธีนี้ช่วยให้เอกสารตรงกับสิ่งที่คำถามขอให้โมเดลตัดสินอย่างใกล้ชิด
ควรตรวจสอบวันที่เผยแพร่และเอกสาร Shieldstral ฉบับปัจจุบันก่อนนำไปใช้งาน เนื่องจากคุณสมบัติจากผู้ให้บริการอาจเปลี่ยนแปลงได้
คำถามที่พบบ่อย
- คำแนะนำนี้ใช้กับผลิตภัณฑ์ใด
- คำแนะนำนี้ใช้กับ Shieldstral ของ Mistral AI ซึ่งเป็นตัวจำแนกเนื้อหาด้านความปลอดภัยแบบหลายรูปแบบ ขนาด 3B และเปิดเผยค่าน้ำหนัก แหล่งข้อมูลไม่ได้ระบุว่าขั้นตอนการทำงานนี้เป็นคุณสมบัติของ Le Chat
- Shieldstral ต้องฝึกซ้ำหรือไม่เมื่อนโยบายการกลั่นกรองเปลี่ยนแปลง
- ไม่ต้อง นโยบายจะถูกระบุเป็นภาษาธรรมดาขณะอนุมาน จึงสามารถปรับใช้เช็กพอยต์เดิมให้เหมาะกับงานใหม่ได้โดยไม่ต้องฝึกซ้ำ
- Shieldstral ประเมินเนื้อหาประเภทใดได้บ้าง
- เอกสารอาจเป็นพรอมต์ คำตอบ คู่พรอมต์กับคำตอบ หรือรูปภาพที่มีหรือไม่มีข้อความประกอบก็ได้
- Shieldstral ส่งกลับเฉพาะป้ายกำกับว่าปลอดภัยหรือไม่ปลอดภัยหรือไม่
- Shieldstral อ่านค่าลอจิตของคำตอบใช่และไม่ใช่ แล้วปรับค่าให้เป็นค่าความน่าจะเป็นแบบต่อเนื่อง คะแนนดังกล่าวนำไปใช้กำหนดเกณฑ์หรือจัดอันดับตามความเชื่อมั่นได้
แหล่งข้อมูล
- Introducing Shieldstral. | Mistral AI — Mistral AI