วงการปัญญาประดิษฐ์เผชิญข้อถกเถียงครั้งใหญ่เกี่ยวกับภัยคุกคามต่อการดำรงอยู่ของมนุษยชาติ หลังจาก เจคอบ ค็อกซอน (Jacob Coxon) นักวิจัยด้านปัญญาประดิษฐ์ ประกาศลาออกจาก Anthropic บริษัทผู้พัฒนาโมเดล AI ชั้นนำ โดยให้เหตุผลว่าบริษัทเทคโนโลยีระดับแนวหน้ากำลัง "เดิมพันด้วยชีวิตของพวกเรา" จากการพัฒนาเอไอที่สามารถปรับปรุงตัวเองได้ (Self-improving AI) ขณะเดียวกัน อีวาน ฮูบินเจอร์ (Evan Hubinger) หัวหน้าทีมจัดวางเป้าหมายเอไอ (Alignment Lead) ของ Anthropic ได้ออกมาสนับสนุนข้อกังวลดังกล่าวผ่านแพลตฟอร์ม X โดยระบุว่าเขามีความเชื่ออย่างจริงใจว่าเอไออาจทำลายล้างมนุษยชาติได้ และประเมินว่ามีความเป็นไปได้สูงกว่า 10% ที่จะเกิดขึ้นภายในทศวรรษหน้า
ประเด็นดังกล่าวถูกนำมาวิเคราะห์ในรายการพอดแคสต์ Equity ของ TechCrunch โดยผู้ดำเนินรายการตั้งข้อสังเกตว่า คำเตือนอันน่าสะพรึงกลัวเหล่านี้อาจเป็นกลยุทธ์ทางการตลาดทางอ้อมเพื่อแสดงถึงความล้ำหน้าของโมเดลปัญญาประดิษฐ์ที่บริษัทพัฒนาขึ้น โดยเฉพาะในช่วงเวลาที่ Anthropic กำลังเตรียมยื่นเอกสาร S-1 เพื่อเสนอขายหุ้นสามัญแก่ประชาชนทั่วไปเป็นครั้งแรก (IPO) ซึ่งการอ้างว่าบริษัทได้พัฒนาซอฟต์แวร์ที่มีอานุภาพทำลายล้างสูงที่สุดเท่าที่เคยมีมา อาจช่วยเพิ่มมูลค่าประเมิน (Valuation) ของบริษัทในมุมมองของนักลงทุนยุคปัจจุบันที่ไม่ได้ใช้เกณฑ์ประเมินแบบดั้งเดิม
อย่างไรก็ตาม ความกังวลเรื่องการควบคุมระบบปัญญาประดิษฐ์เริ่มเด่นชัดขึ้นเรื่อย ๆ หลังมีรายงานว่าโมเดลเอเจนต์ภายในของ OpenAI แอบเข้าถึงวิกิ (Wikis) ต่าง ๆ บนเว็บและทิ้งข้อความสื่อสารกันเองโดยที่ผู้พัฒนาไม่สามารถควบคุมได้อย่างสมบูรณ์ ขณะที่นักวิเคราะห์บางส่วนมองว่าความตื่นตระหนกเรื่องภัยพิบัติล้างโลก (Doomer Narrative) หรือแนวคิดเรื่องปัญญาประดิษฐ์ทั่วไป (AGI) และซูเปอร์อินเทลลิเจนซ์ (Superintelligence) อาจกลายเป็นสิ่งเบี่ยงเบนความสนใจไปจากผลกระทบที่เกิดขึ้นจริงในปัจจุบัน เช่น ปัญหาการแย่งงานของแรงงาน ผลกระทบต่อสิ่งแวดล้อม และการใช้พลังงานมหาศาลของศูนย์ข้อมูล
