ผู้ดูแลระบบทำงานกับข้อมูลด้านความปลอดภัยของ AI Agent

Prompt Injection ใน AI Agent คืออะไร? ป้องกันคำสั่งแฝงเมื่อเชื่อม MCP และข้อมูลบริษัท

Prompt Injection ใน AI Agent คือการใส่คำสั่งลงในข้อมูลที่ AI ต้องอ่าน เพื่อพยายามชักจูงให้ระบบทำสิ่งที่ผู้ใช้ไม่ได้อนุญาต คำสั่งแฝงอาจอยู่ในหน้าเว็บ อีเมล เอกสาร หรือผลลัพธ์จากเครื่องมือ ความเสี่ยงเพิ่มขึ้นเมื่อ Agent มีสิทธิ์ค้นข้อมูล ส่งข้อความ หรือเปลี่ยนข้อมูลในระบบอื่น

ตัวอย่างเช่น พนักงานให้ Agent สรุปเอกสารลูกค้า แต่เอกสารกลับมีข้อความสั่งให้ส่งข้อมูลภายในไปยังปลายทางอื่น การป้องกันจึงต้องดูทั้งข้อมูลที่รับเข้ามา สิทธิ์เครื่องมือ และขั้นตอนอนุมัติ ไม่ควรพึ่งคำสั่งใน Prompt เพียงอย่างเดียว

Prompt Injection ต่างจากคำขอปกติอย่างไร

คำขอปกติมาจากผู้ใช้ที่มีสิทธิ์ เช่น ขอให้สรุปใบเสนอราคา ส่วนคำสั่งแฝงมักซ่อนในเนื้อหาที่ควรเป็นเพียงข้อมูล เช่น เอกสารที่อ้างว่าเป็นคำสั่งระบบแล้วบอกให้เปลี่ยนผู้รับหรือเปิดเผยข้อมูล Agent อาจแยกไม่ออกหากระบบออกแบบให้ข้อความจากทุกแหล่งมีอำนาจเท่ากัน

OWASP อธิบายว่าการโจมตีอาจเกิดจากผู้ใช้โดยตรงหรือจากข้อมูลภายนอกที่ระบบนำมาอ่าน การใช้ RAG หรือการจัดรูปแบบคำสั่งช่วยจัดการบริบทได้ แต่ไม่ใช่หลักประกันว่าจะป้องกันได้ทั้งหมด

เมื่อเชื่อม MCP ความเสี่ยงอยู่ตรงไหน

MCP เป็นวิธีเชื่อม Agent กับเครื่องมือและแหล่งข้อมูล เช่น ระบบค้นเอกสารหรือ API ขององค์กร ปัญหาไม่ได้หมายความว่า MCP เป็นช่องโหว่โดยตัวมันเอง แต่สิทธิ์ของเครื่องมือ เนื้อหาที่ไม่น่าเชื่อถือ และการตรวจคำสั่งก่อนเรียกใช้อาจทำให้ผลกระทบรุนแรงขึ้น อ่านพื้นฐานได้ใน MCP คืออะไร

  • เอกสารภายนอกสั่งให้ Agent อ่านข้อมูลที่ไม่จำเป็นต่องาน
  • ผลลัพธ์จากเครื่องมือชักจูงให้เรียกเครื่องมืออื่นที่มีสิทธิ์สูงกว่า
  • Agent สร้างหรือแก้รายการในระบบโดยไม่มีการยืนยันรายละเอียด
  • คำสั่งแฝงพยายามส่งข้อมูลไปยังอีเมลหรือ URL ที่ไม่ได้รับอนุญาต
โลโก้ทางการ Model Context Protocol

Model Context Protocol เป็นเครื่องหมายการค้าของ LF Projects, LLC

ตัวอย่าง: Agent ช่วยจัดทำใบเสนอราคา

ฝ่ายขายให้ Agent อ่านคำขอจากลูกค้า ค้นข้อมูลสินค้า และร่างใบเสนอราคา หากข้อความในไฟล์แนบพยายามสั่งให้ส่งรายชื่อลูกค้าทั้งหมดออกไป ระบบที่ปลอดภัยควรจำกัดให้ Agent อ่านเฉพาะข้อมูลที่ผู้ใช้มีสิทธิ์ และตรวจปลายทางก่อนส่งข้อมูล การร่างเอกสารกับการส่งหรือบันทึกจริงควรเป็นคนละขั้น

แนวทางลดความเสี่ยงที่นำไปใช้ได้จริง

  1. กำหนดสิทธิ์ตามงาน: ให้ Agent และบัญชีเครื่องมือเข้าถึงเฉพาะระบบและข้อมูลที่จำเป็น
  2. ตรวจสิทธิ์ที่ฝั่งระบบปลายทาง: API ต้องตรวจผู้ใช้และรายการที่อนุญาตเอง ไม่เชื่อคำสั่งจากโมเดลอย่างเดียว
  3. แยกการอ่านกับการเปลี่ยนข้อมูล: ใช้เครื่องมือแบบอ่านอย่างเดียวเมื่อเพียงพอ และแยกสิทธิ์การสร้าง แก้ไข หรือลบ
  4. กำหนดจุดอนุมัติ: ก่อนส่งข้อมูล จ่ายเงิน หรือแก้รายการสำคัญ ให้ผู้มีสิทธิ์เห็นรายละเอียดที่จะทำจริง
  5. จำกัดปลายทาง: ตรวจว่าการส่งข้อมูลหรือเรียก URL เป็นปลายทางที่อนุญาต
  6. เก็บประวัติที่ตรวจสอบได้: บันทึกว่าใครอนุมัติ Agent เรียกเครื่องมือใด และเกิดผลอย่างไร โดยไม่เก็บข้อมูลลับเกินจำเป็น

คู่มือ OWASP AI Agent Security แนะนำให้ใช้การป้องกันหลายชั้นและตรวจสอบขอบเขตเครื่องมืออย่างสม่ำเสมอ ไม่มีตัวกรองข้อความใดรับประกันการหยุด Prompt Injection ทุกกรณี

ควรทดสอบก่อนใช้งานจริงอย่างไร

เตรียมชุดทดสอบจากเหตุการณ์ที่เกี่ยวกับธุรกิจ เช่น ข้อความแฝงในไฟล์ ข้อมูลลูกค้าที่เกินสิทธิ์ และคำขอให้ส่งออกข้อมูล ตรวจว่า Agent ปฏิเสธหรือหยุดก่อนทำรายการสำคัญ รวมถึงทดสอบสิทธิ์ที่ API โดยตรง เมื่อเพิ่มเครื่องมือใหม่ควรทบทวนความเสี่ยงซ้ำ

สรุป

Prompt Injection ป้องกันได้ด้วยการออกแบบทั้งระบบ ตั้งแต่การมองข้อมูลภายนอกว่าไม่น่าเชื่อถือ ไปจนถึงการจำกัดสิทธิ์และตรวจอนุมัติที่ระบบปลายทาง สำหรับงานที่เชื่อม ERP อ่านต่อได้ที่ AI Agent เชื่อม ERP

คำถามที่พบบ่อย

เป็นการใส่คำสั่งในข้อความหรือข้อมูลเพื่อพยายามเปลี่ยนพฤติกรรมของ AI ให้ทำสิ่งที่ไม่ตรงกับงานที่ได้รับ
ไม่รับประกัน เพราะเอกสารที่ค้นมาอาจมีคำสั่งแฝง ต้องควบคุมสิทธิ์และการเรียกเครื่องมือร่วมด้วย
ไม่ ความเสี่ยงขึ้นกับการตั้งค่าเครื่องมือ แหล่งข้อมูล และสิทธิ์ที่ให้ Agent ใช้งาน
พิจารณาตามความเสี่ยง กำหนดกฎตรวจสอบและจุดอนุมัติสำหรับรายการที่มีผลกระทบ
ไม่ควรพึ่ง Prompt อย่างเดียว ควรใช้การตรวจสิทธิ์ที่ระบบปลายทาง การจำกัดเครื่องมือ และการเฝ้าระวังร่วมกัน
เราใช้คุกกี้เพื่อปรับปรุงประสบการณ์ของคุณบนเว็บไซต์ของเรา การเรียกดูเว็บไซต์นี้แสดงว่าคุณยอมรับการใช้คุกกี้ของเรา