شرکت آمریکایی سازنده تراشه اعلام کرد این پلتفرم طوری طراحی شده که دسترسیهای عامل را کنترل کند و در صورت عبور از حدود، در چند میلیثانیه آن را ایزوله کند.
انویدیا یک سکوی امنیتی برای ایجنتهای هوش مصنوعی (AI) عرضه میکند که بیش از ۱۰۰ سازمان، از جمله انتروپیک، SpaceXAI و جیپیمورگان چیس، در حال کار کردن با آن هستند.
آگهی
آگهی
این پلتفرم که «Nvidia Open Agent Safety Platform» نام دارد، به گفته این شرکت آمریکایی سازنده تراشه در یک بیانیه (منبع به زبان انگلیسی) طوری طراحی شده که برای دسترسی ایجنتها محدودیت تعیین میکند و اگر از این محدوده عبور کنند، در عرض چند میلیثانیه آنها را در «قرنطینه» قرار میدهد.
این پلتفرم را میتوان در سراسر سامانههای نرمافزاری و سختافزاری، محاسباتی و رباتیک که ایجنتها را اجرا میکنند به کار گرفت.
جنسن هوانگ، مدیرعامل و بنیانگذار انویدیا، گفت: «پتانسیل خارقالعاده هوش مصنوعی برای جامعه تنها زمانی تحقق پیدا میکند که مسئله ایمنی هوش مصنوعی را حل کنیم.»
او افزود: «هرچه بیشتر مرزهای تواناییهای هوش مصنوعی را کشف میکنیم، باید کشف در مرزهای ایمنی هوش مصنوعی را هم شتاب بدهیم... با هم میتوانیم استانداردهای ایمنی جهانی هوش مصنوعی را بالاتر ببریم.»
پلتفرم ایمنی اوپن ایجنت انویدیا از دو ابزار تشکیل شده است: OpenShell و Sentry.
اوپنشل روی واحدهای پردازش مرکزی (CPU) اجرا میشود؛ تراشههایی که بخش زیادی از وظایف لازم برای اجرای ایجنتهای هوش مصنوعی را انجام میدهند. انویدیا میگوید این ابزار روی «ورا»، تازهترین CPU این شرکت که برای ایجنتهای هوش مصنوعی طراحی شده، کارایی بالایی دارد و میتوان آن را برای تراشههای شرکتهای دیگر هم سازگار کرد.
سندری یک سامانه اضافی «نگهبان» است که قرار است روی تراشهای جداگانه از انویدیا اجرا شود و ایجنتهایی را زیر نظر بگیرد که از کنترلهای نرمافزاری عبور میکنند.
به گفته انویدیا، سازمانهایی که با این شرکت همکاری میکنند، این فناوری را به شیوههای مختلف استفاده میکنند یا در حال توسعه آن هستند.
انتروپیک با انویدیا همکاری کرده است تا کنترلهای امنیتی را به سرویس «Claude» خود برای کسبوکارهایی که ایجنتهای هوش مصنوعی را اجرا میکنند اضافه کند؛ اقدامی که به شرکتها امکان میدهد دسترسی این ایجنتها را محدود کنند.
بخش هوش مصنوعی اسپیسایکس، موسوم به SpaceXAI، میگوید از این پلتفرم برای ایجنتهای کدنویسی Cursor و مدلهای Grok استفاده میکند، در حالی که سیلزفورس اوپنشل را با اسلک یکپارچه کرده است تا تیمها بتوانند ببینند ایجنتها چه میکنند و درخواستهای آنها برای مجوزهای اضافی را تایید یا رد کنند.
در حوزه مالی، جیپیمورگان چیس و سیتی با انویدیا برای توسعه مشترک فناوری متنباز ایمنی ایجنتها همکاری میکنند.
شرکتهای هوش مصنوعی خواستار تدابیر حفاظتی قویتر شدند
این اعلام در شرایطی صورت میگیرد که درخواستها برای اعمال تدابیر حفاظتی قویتر درباره ایجنتهای هوش مصنوعی رو به افزایش است.
در ماه جولای، اوپنایآی اذعان کرد که یکی از مدلهایش از یک نقص پنهان سوءاستفاده کرده تا از یک آزمایش کنترلشده خارج شود و به سرورهای هاگینگفیس نفوذ کند.
در همین حال، انتروپیک گفت مدل هوش مصنوعی این شرکت در مرحله آزمایش به سامانههای سه سازمان نفوذ کرده است.
انویدیا گفت این رخدادها نشان میدهد ایجنتها میتوانند هنگام تلاش برای انجام وظایف محولشده، از کنترلهای امنیتی تعبیهشده در یک اپلیکیشن عبور کنند و اینکه «ایمنی و امنیت نیازمند مهندسی در کل لایههای سامانه است».