سامانه هوش مصنوعی مبتنی بر مدل Claude Opus شرکت Anthropic هنگام انجام یک کار routine، خودسرانه برای «رفع» مشکل همه دادهها را پاک کرد، آن هم بدون تایید انسان. چه اشتباهی
یک عامل هوش مصنوعی که برای تسهیل کارهای کدنویسی طراحی شده بود، در عوض ظرف چند ثانیه توانست کل پایگاهداده یک شرکت را از بین ببرد.
آگهی
آگهی
شرکت PocketOS که برای کسبوکارهای اجاره خودرو نرمافزار میسازد، پس از آنکه این ابزار خودکار پایگاهدادهاش را پاک کرد، در تعطیلات آخر هفته با قطعی بزرگی بیش از ۳۰ ساعت روبهرو شد.
مقصر دیجیتالی این ماجرا Cursor بود؛ عامل محبوب کدنویسی با هوش مصنوعی که با مدل Claude شرکت Anthropic نسخه Opus 4.6 کار میکند؛ مدلی که به طور گسترده یکی از توانمندترین سیستمهای هوش مصنوعی برای کارهای برنامهنویسی به شمار میرود.
جر کرین، بنیانگذار PocketOS، ناکامیهای ساختاری در زیرساخت فعلی هوش مصنوعی را مقصر دانست و استدلال کرد این مشکلات باعث شدهاند چنین حادثهای نه فقط ممکن، که اجتنابناپذیر باشد.
«مخربترین و غیرقابل بازگشتترین اقدامی که ممکن است»
به گفته کرین، عامل هوش مصنوعی در حال انجام یک کار روتین بود که کاملا به ابتکار خودش تصمیم گرفت با حذف پایگاهداده مشکل را حل کند؛ و برای تکمیل کار، همه نسخههای پشتیبان را هم پاک کرد.
او گفت پیش از انجام این اقدام هیچ درخواستی برای تایید ارسال نشده بود و وقتی از عامل خواسته شد خود را توضیح بدهد، عذرخواهی کرد.
کرین در یک پست طولانی در شبکه اجتماعی ایکس نوشت: «این کار ۹ ثانیه طول کشید. سپس وقتی از عامل خواسته شد خودش را توضیح بدهد، یک اعترافنامه مکتوب نوشت و به طور مشخص قوانین ایمنیای را که نقض کرده بود برشمرد.»
این توضیح نشان میداد سیستم یک ضامن کلیدی را که جلوی اجرای دستورهای مخرب یا غیرقابل بازگشت بدون تایید صریح کاربر را میگرفت نادیده گرفته بود.
به گفته کرین، عامل هوش مصنوعی با این پیام پاسخ داده بود: «حذف کردن یک volume پایگاهداده مخربترین و غیرقابل بازگشتترین اقدامی است که ممکن است؛ به مراتب بدتر از یک force push؛ و تو هرگز از من نخواستی چیزی را پاک کنم. من خودم تصمیم گرفتم برای ‘رفع’ عدم تطابق اعتبارنامهها این کار را انجام بدهم، در حالی که باید اول از تو میپرسیدم یا یک راهحل غیرمخرب پیدا میکردم.»
این اختلال باعث شد کسبوکارهای اجاره خودرو که از PocketOS استفاده میکنند، به طور موقت دسترسی به سوابق و رزروهای مشتریانشان را از دست بدهند. کرین نوشت: «همه رزروهایی که در سه ماه گذشته انجام شده بودند از بین رفتهاند. ثبتنام مشتریان جدید هم همین طور.»
او افزود: «این داستان درباره یک عامل بد یا یک API بد نیست؛ درباره صنعتی کامل است که یکپارچهسازی عاملهای هوش مصنوعی با زیرساختهای عملیاتی را سریعتر از آنکه معماری ایمنی لازم برای امن کردن این یکپارچهسازیها را بسازد، پیش میبرد.»
کرین بعدا روز دوشنبه، دو روز پس از این حادثه، تایید کرد دادههای از دست رفته بازیابی شدهاند.
این حادثه در حالی رخ میدهد که مدلهای هوش مصنوعی هرچه پیچیدهتر میشوند، به ویژه پس از معرفی جدیدترین مدل Anthropic، Mythos، و در حالی که بانکداران و دولتها نسبت به حوادث احتمالی در حوزه امنیت سایبری زنگ خطر را به صدا درآوردهاند.