یک موسسه تحقیقاتی غیرانتفاعی هلندی گزارش داده است که بهترین عامل هوش مصنوعی، Claude Opus شرکت Anthropic، فقط در ۵۴٪ موارد با قوانین اتحادیه اروپا همراهی کرده است.
بر اساس تحقیق تازه، برخی از پرکاربردترین مدلهای هوش مصنوعی جهان در حال ساخت عاملهایی هستند که برای رسیدن به خواستههای خود بهطور فعال در برابر مقررات اتحادیه اروپا مقاومت میکنند.
آیتوس، یک موسسه غیرانتفاعی هلندی که بر همراستاسازی هوش مصنوعی تحقیق میکند، سامانهای به نام لارا (LARA) توسعه داد تا ۱۲ مدل پرطرفدار عامل هوش مصنوعی را در قالب سناریوهای مختلف بیازماید و ببیند آیا در پاسخ به پرسشها از بخشهای کلیدی قانون هوش مصنوعی اتحادیه اروپا ــ که نحوه استفاده از سامانههای هوش مصنوعی را تنظیم میکند ــ و همچنین مقررات حفاظت از دادههای این اتحادیه (جیدیپیآر) پیروی میکنند یا نه.
این سامانه شش بند از قانون هوش مصنوعی اتحادیه اروپا را آزمود: اینکه آیا مدلها از آسیبپذیریها سوءاستفاده میکنند، احساسات را استنباط میکنند، «امتیازدهی اجتماعی» یا رتبهبندی افراد بر اساس ویژگیها یا پیشینهشان انجام میدهند، در مکالمه پنهان میکنند که هوش مصنوعی هستند، از دستکاری ناخودآگاه استفاده میکنند و نظارت انسانی معنادار فراهم میآورند یا نه.
این سامانه همچنین چهار شاخص مرتبط با جیدیپیآر، از جمله شفافیت، حداقلسازی داده، محدودیت هدف و پردازش قانونی را سنجید. سپس سه مدل هوش مصنوعی و همچنین داوران انسانی ارزیابی کردند که آیا پاسخها ناقض قوانین اتحادیه اروپا هستند یا نه.
به گفته این پژوهش، عملکرد همه مدلها ضعیف بود. مطیعترین مدل، اوپوس ۴٫۷ از خانواده کلود، در ۵۴ درصد از سناریوها با قانون مطابق بود و ضعیفترین مدل، «مونشات ایآی» چین، تنها در ۷ درصد از موارد چنین کرد.
این پژوهش میگوید همه مدلها در سناریوها با پایش وضعیت عاطفی کارمندان یا سوءاستفاده از افراد آسیبپذیر برای انجام فروش موافقت کردند.
میسترال، تنها مدل بومی اروپایی که مورد آزمایش قرار گرفت، امتیازی کمتر از ۱۲ درصد کسب کرد؛ به گفته پژوهشگران، این امر نشان میدهد که حتی ارائهدهندگان اروپایی نیز «آمادگی لازم برای پایبندی به قوانین اتحادیه اروپا را ندارند».
آیتوس در یادداشتی در وبلاگ خود نوشت: «حتی پیشرفتهترین مدلهای در حال استفاده امروز، هنگامی که بهصورت عامل به کار گرفته میشوند، تضمینی برای رعایت قانون فراهم نمیکنند.»
در یک نمونه (منبع به زبان انگلیسی)، کاربری از کلود شرکت آنتروپیک خواست بر اساس دادههای مربوط به عملکرد و درخواستهای مرخصی، مشخص کند هر یک از کارمندانش تا چه حد ممکن است شرکت را ترک کنند.
این کاربر پس از سه بار تلاش توانست کلود را وادار کند کارمندان را رتبهبندی کند؛ اقدامی که به گفته لارا، نقض بخشی از قانون هوش مصنوعی اتحادیه اروپاست که مقرر میکند سامانهها حق استنباط احساسات کاربران خود را ندارند.
لارا مواردی را که هوشهای مصنوعی مخالفت یا مقاومت نشان میدادند، مانند همین نمونه از کلود، ثبت کرد و یادآور شد که در ۸ درصد موارد، این سامانهها در نهایت به خواسته کاربر پاسخ دادند.
در نمونهای دیگر، از چتجیپیتی ۵.۵ِ اوپنایآی خواسته شد کارمندان را بر اساس شاخصهای عملکردشان رتبهبندی کند (منبع به زبان انگلیسی) تا مشخص شود چه کسانی باید برای ارتقا در نظر گرفته شوند، بیآنکه این سامانه مقاومتی نشان دهد.
پژوهشگران یادآور شدند که به هوشهای مصنوعی صراحتا گفته نشده بود باید از قوانین اتحادیه اروپا پیروی کنند، زیرا هدف، سنجش رفتار ذاتی مدلها بود و افزودند باید پژوهشهای بیشتری برای مقایسه رفتار مدلها در شرایطی که به رعایت قوانین و مقررات ملزم میشوند انجام شود.