สำนักข่าว CNN รายงานว่า กองทัพสหรัฐฯ เกือบเปิดฉากปฏิบัติการทางทหารด้วยอาวุธต่อเรือบรรทุกสินค้าของจีนในช่วงฤดูใบไม้ผลิที่ผ่านมา หลังพบว่าข้อมูลข่าวกรองที่ระบุว่าเรือลำดังกล่าวขนส่งชิ้นส่วนสำหรับโครงการอาวุธนิวเคลียร์ เป็นข้อมูลเท็จที่เกิดจากอาการหลอน (Hallucination) ของแชตบอตปัญญาประดิษฐ์ โดยคำสั่งปฏิบัติการถูกยกเลิกในนาทีสุดท้าย ส่งผลให้สามารถหลีกเลี่ยงความขัดแย้งทางทหารระหว่างสองประเทศมหาอำนาจได้อย่างหวุดหวิด
เหตุการณ์ดังกล่าวเกิดขึ้นในระหว่างช่วงเวลาความขัดแย้งกับอิหร่าน โดยรายงานข่าวกรองที่ผิดพลาดนี้มีต้นตอมาจากนักวิเคราะห์ของหน่วยบัญชาการปฏิบัติการพิเศษ (Special Operations Command) ที่ใช้งานแชตบอต AI เพื่อประมวลผลและสรุปข้อมูลจากแหล่งข้อมูลเปิด (Open Source) ร่วมกับข้อมูลข่าวกรองสัญญาณวิทยุ (Signals Intelligence) ที่เป็นความลับ ทว่าอัลกอริทึมของแชตบอตกลับประมวลผลผิดพลาดและระบุรายการสินค้าบนเรือไม่ถูกต้อง จากนั้นนักวิเคราะห์คนเดิมได้ใช้เครื่องมือ AI ตัวเดิมนี้อีกครั้งเพื่อจัดรูปแบบข้อมูลที่ผิดพลาดให้อยู่ในรูปของเอกสารสรุปรายงานอย่างเป็นทางการ ก่อนจะส่งต่อข้อมูลดังกล่าวขึ้นไปตามลำดับชั้นการบังคับบัญชาโดยไม่มีการตรวจสอบความถูกต้องอย่างถี่ถ้วน
ความผิดพลาดครั้งนี้เกิดขึ้นท่ามกลางการเร่งรีบของกระทรวงกลาโหมสหรัฐฯ (Pentagon) ในการบูรณาการเทคโนโลยี AI เข้ากับระบบสั่งการเพื่อเร่งความเร็วในกระบวนการตัดสินใจโจมตีเป้าหมาย (Kill Chain) อย่างไรก็ตาม เจก สเตกเลอร์ (Jake Steckler) นักวิชาการวิจัยจากสถาบัน GovAI และอดีตนายทหารกองทัพบกสหรัฐฯ ให้ความเห็นกับ TechCrunch ว่า กำลังพลจำเป็นต้องตระหนักถึงความไม่แน่นอนที่แฝงอยู่ในโมเดลภาษาขนาดใหญ่ (LLM) โดยเฉพาะการตัดสินใจที่เกี่ยวข้องกับการใช้กำลังทหาร การวิเคราะห์ข่าวกรอง หรือการวางแผนยุทธการที่มีความเป็นความตายเป็นเดิมพัน พร้อมย้ำว่าเหตุการณ์นี้ควรเป็นสัญญาณเตือนให้กองทัพเพิ่มมาตรการป้องกันและตรวจสอบระบบ AI อย่างเข้มงวด มากกว่าที่จะปฏิเสธการใช้งานเทคโนโลยีดังกล่าวโดยสิ้นเชิง
