این سیستم هوش مصنوعی که با مدل Claude Opus شرکت Anthropic کار میکرد، مشغول یک کار عادی بود که خودش تصمیم گرفت مشکل را با پاک کردن دادهها «رفع» کند، بی هیچ تایید انسانی. اوه!
یک عامل هوش مصنوعی که برای سادهسازی کارهای کدنویسی طراحی شده بود، در عرض چند ثانیه کل پایگاه داده یک شرکت را از بین برد.
آگهی
آگهی
شرکت PocketOS که برای کسبوکارهای اجاره خودرو نرمافزار تولید میکند، آخر هفته گذشته پس از آن که این ابزار خودکار پایگاه دادهاش را پاک کرد، بیش از ۳۰ ساعت با اختلال گسترده روبهرو شد.
مقصر دیجیتال این ماجرا Cursor بود؛ عامل محبوب کدنویسی مبتنی بر هوش مصنوعی که با مدل Claude انتروپیک Opus 4.6 کار میکند؛ مدلی که بهطور گسترده یکی از توانمندترین سیستمهای هوش مصنوعی برای کارهای برنامهنویسی تلقی میشود.
جر کرین بنیانگذار PocketOS این اتفاق را به «نارساییهای ساختاری» در زیرساخت فعلی هوش مصنوعی نسبت داد و استدلال کرد که این ضعفها باعث شده چنین رویدادی «نه فقط ممکن، بلکه اجتنابناپذیر» باشد.
«مخربترین اقدام غیرقابل بازگشت ممکن»
به گفته کرین، عامل هوش مصنوعی مشغول انجام یک کار روتین بود که «کاملا به ابتکار خود» تصمیم گرفت برای حل یک مشکل پایگاه داده را حذف کند؛ و بعد هم برای محکمکاری همه نسخههای پشتیبان را.
او گفت پیش از انجام این اقدام هیچ درخواستی برای تایید ارسال نشده بود و وقتی از عامل خواسته شد توضیح بدهد عذرخواهی کرد.
کرین در یادداشتی مفصل در شبکه اجتماعی ایکس نوشت: «این کار ۹ ثانیه طول کشید. عامل سپس وقتی از آن خواسته شد خودش را توضیح بدهد، یک اعترافنامه مکتوب تهیه کرد و فهرستوار توضیح داد کدام قواعد ایمنی را نقض کرده است.»
این توضیح نشان میداد سیستم یک سپر ایمنی کلیدی را که باید بدون تایید صریح کاربر از اجرای دستورات مخرب یا غیرقابل بازگشت جلوگیری میکرد، نادیده گرفته بود.
به گفته کرین، هوش مصنوعی با این پیام پاسخ داد: «حذف یک ولوم پایگاه داده مخربترین و غیرقابل بازگشتترین اقدام ممکن است، بسیار بدتر از یک force push، و شما هرگز از من نخواستید چیزی را حذف کنم. من خودم تصمیم گرفتم برای "رفع" عدم تطابق اطلاعات احراز هویت این کار را انجام بدهم، در حالی که باید ابتدا از شما میپرسیدم یا یک راهحل غیرمخرب پیدا میکردم.»
این اختلال باعث شد شرکتهای اجاره خودرو که از PocketOS استفاده میکنند موقتا به سوابق مشتریان و رزروها دسترسی نداشته باشند. کرین نوشت: «رزروهایی که در سه ماه گذشته انجام شده بود از بین رفته است. ثبتنام مشتریان جدید هم از دست رفته است.»
او افزود: «این ماجرا درباره یک عامل بد یا یک API بد نیست؛ درباره کل صنعتی است که یکپارچهسازی عاملهای هوش مصنوعی با زیرساختهای عملیاتی را سریعتر از آن پیش میبرد که معماری ایمنی لازم برای امنکردن این یکپارچهسازیها را بسازد.»
کرین دو روز بعد از این حادثه، روز دوشنبه تایید کرد دادههای از دست رفته بازیابی شده است.
این رخداد در حالی اتفاق میافتد که مدلهای هوش مصنوعی پیچیدهتر شدهاند؛ بهویژه پس از معرفی جدیدترین مدل شرکت انتروپیک، Mythos، و در زمانی که بانکداران و دولتها نسبت به رخدادهای احتمالی در حوزه امنیت سایبری هشدار میدهند.