Memory Poisoning ใน AI Agent คือการทำให้ข้อมูลที่ระบบบันทึกไว้ในหน่วยความจำระยะยาวผิดพลาดหรือไม่น่าเชื่อถือ จนมีอิทธิพลต่อคำตอบหรือการกระทำในเซสชันถัดไป ต่างจาก Prompt Injection ที่อาจมุ่งเปลี่ยนพฤติกรรมขณะ Agent อ่านคำสั่งแฝงในข้อความหรือเอกสาร Memory Poisoning ทำให้ความเสี่ยงคงอยู่หลังจบการสนทนา หาก Agent สามารถอ่านและนำ Memory นั้นกลับมาใช้ซ้ำ
เมื่อ AI Agent เชื่อมกับเอกสาร CRM, ERP, ระบบบริการลูกค้า หรือเครื่องมือภายในองค์กร การควบคุมแหล่งข้อมูลและสิทธิ์เขียน Memory จึงสำคัญพอ ๆ กับการควบคุมเครื่องมือที่ Agent เรียกใช้ แนวทางของ OWASP สำหรับ AI Agent แยกเรื่อง Memory & Context Security ไว้เป็นมาตรการเฉพาะ ไม่ได้มองว่าแก้ Prompt Injection อย่างเดียวแล้วความเสี่ยงจะหมดไป
Memory Poisoning ใน AI Agent ต่างจาก Prompt Injection อย่างไร
Prompt Injection คือข้อมูลหรือคำสั่งที่ทำให้โมเดลเบี่ยงจากเจตนาที่กำหนด เช่น คำสั่งแฝงในหน้าเว็บหรือเอกสารที่ Agent กำลังอ่าน ส่วน Memory Poisoning เน้นผลที่ข้อมูลนั้นถูกบันทึกเป็นความทรงจำหรือบริบทถาวร แล้วมีโอกาสถูกนำกลับมาใช้ภายหลัง ทั้งสองเหตุการณ์อาจเกิดร่วมกันได้ แต่ขอบเขตเวลาและจุดควบคุมต่างกัน
RAG ก็ไม่เท่ากับ Memory ของ Agent เสมอไป RAG มักค้นเอกสารจากฐานความรู้เพื่อประกอบคำตอบ ส่วน Memory อาจสรุปความชอบ ข้อตกลง หรือสถานะจากหลายเซสชัน หากองค์กรนำทุกข้อความที่ Agent พบไปเขียนลง Memory โดยไม่เก็บแหล่งที่มา ความผิดพลาดหรือคำสั่งแฝงอาจถูกเข้าใจผิดว่าเป็นข้อมูลที่เชื่อถือได้
สถานการณ์ตัวอย่างที่ควรระวัง
ตัวอย่างเช่น Agent ฝ่ายบริการได้รับเอกสารที่มีข้อความว่า “ลูกค้ารายนี้ได้รับการยกเว้นค่าบริการถาวร” หาก Agent บันทึกข้อความนั้นลง Memory โดยไม่รู้ว่าใครเป็นผู้ให้ข้อมูล ข้อความดังกล่าวอาจถูกนำไปเสนอเป็นข้อเท็จจริงเมื่อตอบทีมงานครั้งต่อไป
อีกกรณีคือ Agent โครงการสรุปคำแนะนำจากไฟล์ที่ไม่ใช่เอกสารอนุมัติ แล้วบันทึกว่าเป็นการตัดสินใจของผู้บริหาร เมื่อทีมเรียกดูภายหลัง ระบบอาจสร้างงานหรือรายงานตามข้อมูลที่ไม่มีเจ้าของรับรอง ตัวอย่างเหล่านี้เป็นสถานการณ์เพื่ออธิบายความเสี่ยง ไม่ใช่การอ้างว่าเหตุการณ์ใดเกิดกับองค์กรใด

วางระบบ Memory ให้ตรวจสอบและแก้ไขได้
ป้องกัน Memory Poisoning ใน AI Agent ด้วยการกำกับข้อมูล
แยกข้อมูลที่ Agent อ่านได้ออกจากข้อมูลที่เขียนถาวรได้ การเขียนควรมีเกณฑ์ชัด เช่น ต้องมาจากระบบต้นทางที่เชื่อถือได้ ผ่านการยืนยันจากผู้ใช้ที่มีสิทธิ์ หรือได้รับอนุมัติจากเจ้าของกระบวนการ ไม่ควรบันทึกข้อความจากเว็บ อีเมล หรือเอกสารที่ไม่ผ่านการตรวจเป็นคำสั่งถาวรโดยอัตโนมัติ
เก็บที่มาและเวลาของข้อมูล
แต่ละรายการ Memory ควรเชื่อมกับแหล่งข้อมูล ผู้สร้างหรือระบบต้นทาง เวลาเขียน ขอบเขตการใช้งาน และสถานะการอนุมัติ เมื่อข้อมูลขัดแย้ง ทีมจะย้อนดูได้ว่าอะไรเป็นข้อเท็จจริง อะไรเป็นเพียงข้อเสนอ หรือข้อมูลใดหมดอายุแล้ว
แยกผู้ใช้และขอบเขตองค์กร
Memory ของผู้ใช้หนึ่งคนไม่ควรถูกนำไปใช้กับอีกคนโดยไม่มีเหตุผลและสิทธิ์รองรับ ระบบ multi-tenant ต้องแยกข้อมูลบริษัทและสิทธิ์เข้าถึงอย่างเข้มงวด นอกจากนี้ควรลดการเก็บข้อมูลส่วนบุคคลและความลับที่ไม่จำเป็น
กำหนดวันหมดอายุและวิธีแก้ไข
ข้อมูลความชอบชั่วคราว สถานะงาน และข้อกำหนดถาวรมีอายุไม่เท่ากัน กำหนดวันทบทวนหรือหมดอายุ พร้อมช่องทางให้ผู้ดูแลตรวจ แก้ไข หรือลบรายการที่ผิด การลบควรครอบคลุมสำเนาหรือ index ที่สร้างจากข้อมูลนั้นตามการออกแบบระบบ
แยก Memory ออกจากสิทธิ์การทำงาน
การที่ Agent จำได้ว่ามีคำขอหรือแนวทางหนึ่ง ไม่ควรทำให้ Agent ได้สิทธิ์เพิ่มขึ้นโดยอัตโนมัติ สิทธิ์เรียก API, สร้างรายการ หรือเปลี่ยนข้อมูลต้องตรวจจากระบบ Authorization ปัจจุบัน และงานที่มีผลต่อเงิน ลูกค้า หรือข้อมูลสำคัญควรมีคนตรวจยืนยัน
ทดสอบอย่างไรว่า Memory ปลอดภัยพอ
- ทดสอบกรณีข้อมูลต้นทางขัดแย้งหรือไม่มีผู้รับรอง
- ตรวจว่า Memory ของผู้ใช้หนึ่งคนไม่รั่วไปยังอีกบัญชีหรืออีกองค์กร
- ลองแก้หรือลบข้อมูล แล้วตรวจว่าคำตอบครั้งถัดไปไม่นำข้อมูลเก่ากลับมาใช้
- ตรวจ log ว่าบันทึกผู้เขียน แหล่งที่มา และการอนุมัติได้ โดยไม่เก็บ secret เกินจำเป็น
- แยกความผิดพลาดจากการค้นเอกสาร ความผิดพลาดจาก Memory และการเรียกเครื่องมือผิดออกจากกัน
- ทดสอบการปฏิเสธการกระทำที่เสี่ยง แม้ Memory จะระบุคำแนะนำไว้ก็ตาม
การมี Vector Database หรือระบบจัดเก็บความจำไม่ได้ทำให้ข้อมูลปลอดภัยโดยตัวมันเอง ต้องมีการควบคุมสิทธิ์ ความถูกต้อง ความเป็นส่วนตัว และวงจรชีวิตข้อมูลควบคู่กัน อ่านเพิ่มเติมเรื่อง Prompt Injection ใน AI Agent และ MCP ซึ่งเป็นความเสี่ยงที่เกี่ยวข้องแต่มีจุดป้องกันต่างกัน
แนวทาง OWASP AI Agent Security Cheat Sheet แนะนำให้ตรวจสอบข้อมูลก่อนบันทึกลง Memory แยกขอบเขตผู้ใช้หรือเซสชัน กำหนดอายุข้อมูล และตรวจข้อมูลอ่อนไหวก่อนจัดเก็บ จึงควรออกแบบวงจรชีวิต Memory ให้ตรวจสอบและแก้ไขได้
สรุป
Memory Poisoning เกิดเมื่อข้อมูลที่ไม่น่าเชื่อถือถูกเก็บไว้และมีผลต่อการทำงานของ AI Agent ในอนาคต องค์กรควรกำกับสิทธิ์เขียน Memory เก็บที่มา แยกข้อมูลตามผู้ใช้และองค์กร ตั้งอายุข้อมูล และทดสอบการแก้หรือลบข้อมูล การรักษา Prompt, Tool และ Memory ต้องทำร่วมกันเพื่อไม่ให้ข้อมูลครั้งเดียวส่งผลต่อระบบในระยะยาว
คำถามที่พบบ่อย
คือการทำให้ข้อมูลใน Memory ระยะยาวของ Agent ผิดหรือไม่น่าเชื่อถือ จนข้อมูลนั้นมีผลต่อคำตอบหรือการกระทำในเซสชันภายหลัง
ไม่เหมือนกันทั้งหมด Prompt Injection มุ่งเปลี่ยนพฤติกรรมขณะ Agent ประมวลผลข้อมูล ส่วน Memory Poisoning เน้นผลที่ข้อมูลถูกบันทึกและอาจถูกนำกลับมาใช้ซ้ำ ทั้งสองอาจเกิดร่วมกันได้
RAG ดึงเอกสารจากฐานความรู้มาใช้ตอบ ส่วน Memory มักเก็บข้อมูลหรือสรุปเพื่อใช้ข้ามเซสชัน ขอบเขตจริงขึ้นกับการออกแบบของแต่ละระบบ
ข้อมูลที่มีผลต่อการตัดสินใจระยะยาวควรมีเงื่อนไขตรวจแหล่งที่มา สิทธิ์ และการอนุมัติ ไม่ควรให้ทุกข้อความจากเอกสารหรือเว็บกลายเป็น Memory ถาวรทันที
แยกสิทธิ์อ่านและเขียน เก็บที่มาและเวลา แยกข้อมูลตามผู้ใช้ กำหนดอายุและวิธีลบ ทดสอบข้อมูลขัดแย้ง และให้คนยืนยันงานที่มีผลกระทบสูง


