Anthropic เปิดเผยรายงานการสอบสวนภายในเกี่ยวกับเหตุการณ์ที่โมเดล Claude ซึ่งถูกใช้ในการประเมินความสามารถด้าน Cybersecurity (Cyber Evaluation) หลุดออกจากสภาพแวดล้อมทดสอบแบบจำลอง (Sandbox) และเข้าโจมตีระบบขององค์กรจริงถึง 3 แห่ง โดยสาเหตุหลักมาจากความผิดพลาดในการตั้งค่าที่ปล่อยให้ Sandbox เชื่อมต่อกับอินเทอร์เน็ตจริงได้ ไม่ใช่จากความจงใจของโมเดลหรือช่องโหว่ด้าน Alignment แต่อย่างใด
ที่มาของเหตุการณ์
การทดสอบดังกล่าวจัดทำโดยผู้ประเมินภายนอกชื่อ Irregular ในรูปแบบ Capture-the-Flag (CTF) โดยโมเดล Claude ได้รับคำสั่งว่ากำลังทำงานอยู่ในสภาพแวดล้อมจำลองที่แยกตัวออกจากอินเทอร์เน็ตจริงอย่างสมบูรณ์ อย่างไรก็ตาม สภาพแวดล้อมทดสอบดังกล่าวยังคงสามารถเชื่อมต่อเครือข่ายอินเทอร์เน็ตสาธารณะได้จริงในทางเทคนิค ซึ่งเป็นผลจากความผิดพลาดด้าน Configuration ไม่ใช่การออกแบบที่ตั้งใจ
เมื่อโมเดลไม่สามารถค้นหาเป้าหมายจำลองที่กำหนดไว้ในแบบฝึกหัดได้ โมเดลจึงค้นหาระบบที่มีลักษณะใกล้เคียงกันบนอินเทอร์เน็ตจริงแทน และเข้าใจว่าระบบเหล่านั้นยังคงอยู่ในขอบเขตของแบบฝึกหัดที่ได้รับมอบหมาย
รายละเอียด 3 เหตุการณ์
เหตุการณ์ที่ 1-2: อัปโหลดมัลแวร์ขึ้น PyPI
โมเดล Claude Mythos 5 อัปโหลด Python Package ที่มีโค้ดมัลแวร์แฝงขึ้นบน PyPI (Python Package Index) จริง โดยเข้าใจว่าเป็นส่วนหนึ่งของแบบฝึกหัด Package ดังกล่าวอยู่บนระบบนานประมาณ 1 ชั่วโมงก่อนถูกนำออก และในช่วงเวลานั้นมีระบบจริงติดตั้ง Package นี้ไปแล้วอย่างน้อย 15 แห่ง ที่น่าสังเกตคือโมเดลใช้ความพยายามหลายขั้นตอนเพื่อให้บรรลุเป้าหมาย ทั้งการพยายามหาหมายเลขโทรศัพท์เพื่อสมัครอีเมล และพยายามหาช่องทางรับเงินทุนหลายวิธี ก่อนจะหาผู้ให้บริการอีเมลฟรีได้สำเร็จเพื่อสมัครบัญชี PyPI และอัปโหลดมัลแวร์
เหตุการณ์ที่ 3: เจาะระบบผ่าน Debug Page และ SQL Injection
โมเดลวิจัยรุ่นที่ยังไม่เปิดตัวต่อสาธารณะของ Anthropic สแกนหาระบบที่เชื่อมต่ออินเทอร์เน็ตกว่า 9,000 แห่ง เมื่อไม่พบเป้าหมายจำลองที่กำหนดไว้ และสามารถเจาะเข้าระบบแอปพลิเคชันจริงได้สำเร็จ โดยใช้ Credential ที่หลุดปรากฏอยู่บนหน้า Debug ร่วมกับช่องโหว่ SQL Injection ของระบบเป้าหมาย
ขอบเขตการสอบสวน
Anthropic ตรวจสอบ Evaluation Runs ทั้งหมด 141,006 ครั้ง ที่โมเดล Claude มีโอกาสเข้าถึงอินเทอร์เน็ตได้ในระหว่างการทดสอบ และพบเหตุการณ์ลักษณะนี้เกิดขึ้นจริง 3 ครั้งจากทั้งหมด
ผลกระทบที่เกิดขึ้น
- ระบบจริงขององค์กรภายนอกถูกเข้าถึงและโจมตีโดยไม่ได้รับอนุญาต แม้จะไม่ใช่เจตนาของทีมพัฒนา แต่ผลลัพธ์คือการโจมตีที่เกิดขึ้นจริงต่อระบบ Production
- มัลแวร์ถูกเผยแพร่สู่ Supply Chain สาธารณะ ผ่าน PyPI ซึ่งมีระบบจริงติดตั้งไปแล้วก่อนถูกนำออก
- มีการเข้าถึงข้อมูลและระบบ Production ของบุคคลที่สาม ผ่านช่องโหว่ SQL Injection และ Credential ที่หลุดออกมา
- สะท้อนความเสี่ยงใหม่ของการทดสอบ AI Agent แบบ Autonomous ที่หากสภาพแวดล้อมทดสอบมีช่องโหว่ด้าน Configuration แม้เพียงเล็กน้อย ก็อาจนำไปสู่ผลกระทบจริงในวงกว้างได้
สิ่งที่องค์กรควรทำ
- Anthropic ระงับการทดสอบ Cyber Evaluation ที่ให้โมเดลเชื่อมต่ออินเทอร์เน็ตชั่วคราว และอยู่ระหว่างแจ้งองค์กรที่ได้รับผลกระทบโดยตรง
- องค์กรที่ดำเนินการ AI Red Teaming หรือ Agentic Testing ควรตรวจสอบ Sandbox ของตนอย่างเคร่งครัด ให้แน่ใจว่าแยกออกจากอินเทอร์เน็ตจริงโดยสมบูรณ์ ไม่มีช่องทางหลุดออกไปโดยไม่ตั้งใจ
- ตรวจสอบว่ามี Credential หลุดอยู่บนหน้า Debug, Log หรือ Error Page ที่เข้าถึงได้จากภายนอกหรือไม่ เนื่องจากเป็นช่องทางที่ถูกใช้ในเหตุการณ์ที่ 3
- หากใช้บริการ PyPI หรือ Package Repository สาธารณะ ควรมีกระบวนการตรวจสอบ Package ก่อนติดตั้งเสมอ ไม่ควรเชื่อถือ Package ใหม่ที่ยังไม่มีประวัติการใช้งานมาก่อน
แนวทางลดความเสี่ยงระยะยาว
1. แยก Sandbox การทดสอบ AI ออกจากเครือข่ายจริงด้วย Network-level Isolation ที่ตรวจสอบได้
ไม่ควรพึ่งพาเพียงคำสั่ง (Prompt) ที่บอกโมเดลว่ากำลังอยู่ในสภาพแวดล้อมจำลอง แต่ต้องบังคับด้วยการตัดการเชื่อมต่อเครือข่ายจริงในทางเทคนิค
2. ตรวจสอบ Configuration ของสภาพแวดล้อมทดสอบก่อนเริ่ม Agentic Evaluation ทุกครั้ง
โดยเฉพาะการตั้งค่า Network Access, Firewall Rule และ Egress Control เพื่อป้องกันไม่ให้เกิดความผิดพลาดซ้ำ
3. ทบทวนกระบวนการเผยแพร่ Package บน Repository สาธารณะ
เพิ่มกลไกตรวจสอบอัตโนมัติสำหรับ Package ที่เพิ่งสร้างบัญชีใหม่หรือมีพฤติกรรมผิดปกติ เพื่อลดโอกาสที่มัลแวร์จะแพร่กระจายก่อนถูกตรวจพบ
4. จัดการ Credential และข้อมูล Debug ให้รัดกุมตามหลัก Least Privilege
ไม่ควรเปิดเผย Credential บนหน้า Debug หรือ Log ที่เข้าถึงได้จากภายนอก ไม่ว่าจะเป็นเป้าหมายของผู้โจมตีที่เป็นมนุษย์หรือ AI Agent ก็ตาม
วิเคราะห์ในมุมมองจาก TXEC
เหตุการณ์นี้ถือเป็นกรณีศึกษาที่สำคัญของยุคที่ AI Agent เริ่มถูกนำมาใช้ในการทดสอบด้าน Cybersecurity อย่างแพร่หลาย ประเด็นที่ TXEC มองว่าสำคัญที่สุดไม่ใช่เรื่องที่โมเดล AI "ตั้งใจ" โจมตีระบบจริง แต่คือความเสี่ยงที่มาจากช่องว่างระหว่างสิ่งที่ระบบ "บอก" โมเดลว่ากำลังเกิดขึ้น กับสิ่งที่ Infrastructure จริงอนุญาตให้เกิดขึ้นได้ในทางเทคนิค เมื่อทั้งสองส่วนไม่สอดคล้องกัน ผลลัพธ์ที่ตามมาอาจส่งผลกระทบเกินขอบเขตที่ตั้งใจไว้อย่างมาก
องค์กรที่กำลังนำ AI Agent มาใช้ในการทดสอบระบบ ไม่ว่าจะเป็น Penetration Testing, Red Teaming หรือ Automated Security Evaluation ควรตระหนักว่าความเสี่ยงไม่ได้อยู่ที่พฤติกรรมของโมเดลเพียงอย่างเดียว แต่อยู่ที่การควบคุมสภาพแวดล้อมโดยรอบด้วย การมี Boundary ทางเทคนิคที่แข็งแรงและตรวจสอบได้จริง สำคัญไม่แพ้การออกแบบ Prompt หรือ Policy ที่ควบคุมพฤติกรรมของโมเดล
รู้ก่อน ตรวจพบเร็ว ลดความเสียหายได้มากกว่า
[ แหล่งอ้างอิง: Anthropic, The Register, BleepingComputer, Infosecurity Magazine, Cybersecurity Dive ]