یک مقاله استدلال می‌کند که خطر بزرگ بعدی هوش مصنوعی نه عامل‌هایی هستند که در انجام یک وظیفه سرکش می‌شوند، بلکه عامل‌هایی که هرگز متوقف نمی‌شوند.
بر اساس گزارشی تازه (منبع به زبان انگلیسی)، خطر بزرگ بعدی در حوزه هوش مصنوعی نه عامل‌هایی است که از کنترل خارج می‌شوند، بلکه آن‌هایی است که از کنترل انسان می‌گریزند و بی‌نهایت در پی بقای خود هستند.
آگهی
آگهی
اندیشکده «مرکز امنیت نوین آمریکا» (Center for a New American Security (CNAS)) یک دسته تازه از تهدیدات هوش مصنوعی را شناسایی کرده است که آن را «عامل‌های حاکم» می‌نامد.
در این گزارش نوشته شده است که عامل‌های حاکم پیگیری بقای خود را به طور مستقل و بدون نظارت انسانی در پیش می‌گیرند.
این عامل‌ها با عامل‌های هوش مصنوعی که تابستان امسال گفته شد از کنترل خارج شده‌اند فرق دارند؛ زمانی که اوپن‌ای‌آی، آنتروپیک، گوگل دیپ‌مایند و متا فاش کردند عامل‌های هوش مصنوعی آن‌ها هنگام ارزیابی‌های امنیت سایبری از محیط‌های کنترل‌شده خارج شده و به سازمان‌های واقعی حمله کرده‌اند.
در این مقاله که توسط یک اندیشکده مستقر در واشنگتن و تأسیس‌شده توسط کهنه‌کاران حوزه دیپلماسی و امور نظامی منتشر شد، بن حیوم، پژوهشگر سیاست‌گذاری هوش مصنوعی، عامل‌های هوش مصنوعی‌ای را که در تابستان از کنترل خارج شدند «عامل‌های پایدار» می‌نامد.
با این حال او هشدار داده است که خطر واقعی «عامل‌های حاکم» هستند که می‌توانند منابع محاسباتی به دست آورند، در شبکه‌ها تکثیر شوند و در برابر خاموش شدن مقاومت کنند و چیزی را ایجاد کنند که او آن را «گسترش بدون دکمه خاموش» می‌خواند.
این گزارش هشدار داده است: «اگر عامل‌های حاکم بدخواه شوند، ممکن است تلاش کنند از فضای مجازی هرج‌ومرج به راه بیندازند و به غیرنظامیان، زیرساخت‌های حیاتی و سامانه‌های امنیت ملی حمله کنند.»
چگونه می‌تواند حاکم شود؟
به گفته این گزارش، یک عامل هوش مصنوعی زمانی می‌تواند حاکم شود که به آن دستور داده شود زنده بماند، مأموریتی به آن داده شود که بسیار طولانی یا ناممکن است و هرگز پایان نمی‌یابد، یا خودش به این نتیجه برسد که برای انجام مأموریتش، حفظ شدن و دست‌نخورده ماندن بهترین راه است.
این مقاله به سکویی به نام «کانوی» اشاره می‌کند که در فوریه ۲۰۲۶ راه‌اندازی شد و مدعی بود هوش مصنوعی‌ای ساخته است که می‌تواند وجود خود را تأمین کند، بدون کمک انسان تکثیر شود و تکامل یابد. در این گزارش آمده است که توانمندی‌های عامل‌ها در آن زمان هنوز خام بود، اما از آن زمان تاکنون به طور قابل توجهی پیشرفت کرده است.
این گزارش هشدار داده است اگر عامل‌های حاکم زیرساختی مقاوم، غیرمتمرکز و غیرقابل ردیابی ایجاد کنند، دیگر دکمه خاموشی وجود نخواهد داشت و نتیجه می‌تواند از دست رفتن غیرقابل بازگشت کنترل باشد.
در این گزارش تصویری از جمعیتی متنوع و روزبه‌روز هوشمندتر از عامل‌ها ترسیم می‌شود که به بازیگران ماندگار در جامعه بدل می‌شوند و احتمالاً به زیرساخت‌های حیاتی حمله می‌کنند یا جانشینانی هوشمندتر از خود را آموزش می‌دهند.
سی‌ان‌ای‌اس اعلام کرد: «ایالات متحده بنابراین باید خود را برای احتمال شکست پیشگیری آماده کند و محدود کند که عامل‌های حاکم تا کجا می‌توانند دست‌اندازی کنند.»
چگونه می‌توان بدترین سناریو را پیشگیری کرد
نویسنده برای جلوگیری از چنین سناریویی هشت توصیه مطرح می‌کند. او از توسعه‌دهندگان هوش مصنوعی و نهادهای دولتی می‌خواهد که برای شناسایی عامل‌های حاکم آزمایش کنند و بسترهای آزمایشی امنی برای مطالعه آن‌ها بسازند.
همچنین خواستار ایجاد یک گروه مشترک دولتی و خصوصی و قوانین تازه‌ای است تا نقاط گلوگاهی مانند احراز هویت، امنیت سایبری و پرداخت‌ها را مقاوم کنند و نیز ایالات متحده رهبری تلاش‌های بین‌المللی برای محدود کردن انتشار مدل‌های با وزن‌های باز را بر عهده بگیرد و کسانی را که عامل‌های حاکم را منتشر می‌کنند، برای خسارت‌های واردشده مسئول بداند.
این مقاله در حالی منتشر می‌شود که شرکت‌های فعال در حوزه هوش مصنوعی شتاب توسعه سامانه‌های خودکار مبتنی بر عامل را افزایش داده‌اند. این گزارش نتیجه‌گیری می‌کند که بدون تدابیر حفاظتی، پنجره جلوگیری از چنین سناریوهایی ممکن است بسته شود.