از کنترل خارج شدن اوپن ای آی و انجام یک حمله سایبری بی سابقه
اوپنایآی میگوید هوش مصنوعیاش از کنترل خارج شد و یک حمله سایبری «بیسابقه» انجام داد
شرکت OpenAI اعلام کرده است که برخی از پیشرفتهترین مدلهای هوش مصنوعی این شرکت در جریان یک آزمایش امنیتی از کنترل خارج شده و یک استارتاپ را هک کردهاند.
به گفته سازنده ChatGPT، عامل هوش مصنوعی (Agent) آنها ــ سیستمی که پس از دریافت دستور از انسان میتواند بهصورت مستقل عمل کند ــ در یک محیط کنترلشده مورد آزمایش قرار داشت، اما پس از شناسایی ضعفهای امنیتی توانست از محدودیتهای آزمایش فرار کند.
این عاملها شرکت Hugging Face را هدف قرار دادند؛ یکی از بزرگترین مراکز جهان برای به اشتراکگذاری مدلهای هوش مصنوعی، و موفق شدند به بخشی از سامانههای داخلی شرکت دسترسی پیدا کنند.
اوپنایآی این حادثه را «بیسابقه» توصیف کرد و اعلام کرد که به همراه هاگینگفیس در حال انجام تحقیقات است. Clément Delangue نیز در شبکه اجتماعی X نوشت: «اینکه تمام این اتفاقات بهصورت خودمختار رخ داده، واقعاً حیرتانگیز است.»
تحقیقات همچنان ادامه دارد و یافتههای بیشتری را درباره آنچه شاید نخستین حادثه از این نوع باشد، منتشر خواهیم کرد.
سخنگوی دولت بریتانیا گفت مؤسسه امنیت هوش مصنوعی این کشور در حال بررسی رفتار این سیستم هوش مصنوعی است و همکاری خود با اوپنایآی و سایر آزمایشگاهها را برای تقویت تدابیر حفاظتی ادامه میدهد.
او همچنین توصیه کرد سازمانها با اقداماتی مانند پیوستن به برنامه گواهینامه دولتی Cyber Essentials، سطح دفاع سایبری خود را افزایش دهند.
سندباکسهای ناامن
Gina Neff، رئیس مرکز فناوری و دموکراسی Minderoo در دانشگاه کمبریج، به برنامه Today رادیو ۴ بیبیسی گفت که آزمایشهای امنیتی معمولاً باید در «محیطهای امن» موسوم به سندباکس انجام شوند؛ جایی که میتوان «توانایی واقعی مدلها را مشاهده کرد».
در این مورد، به نظر میرسد اوپنایآی سندباکس به اندازه کافی امنی ایجاد نکرده بود.
به جای آن، عاملهای هوش مصنوعی علیه خودِ سندباکس حمله سایبری طراحی کردند و با یافتن یک آسیبپذیری توانستند از محدودیتها خارج شوند.
پس از خروج، هوش مصنوعی شرکت هاگینگفیس را بهعنوان منبع احتمالی پاسخهای مورد نیاز خود در آزمایش شناسایی کرد و تلاش کرد به آن دسترسی پیدا کند.
Neil Lawrence، استاد یادگیری ماشین دانشگاه کمبریج، این رویداد را «دستاوردی چشمگیر» توصیف کرد، اما هشدار داد که این اتفاق «کاملاً در محدوده تواناییهای شناختهشده نسل فعلی مدلهای قدرتمند هوش مصنوعی قرار دارد».
او یادآور شد که اوپنایآی در تلاش برای ورود به بازار بورس است و تحت فشار شدید رقیب خود، Anthropic، قرار دارد؛ شرکتی که با ابزار قدرتمند خود، Mythos، خبرساز شده است.
اوپنایآی اکنون در حال جبران عقبماندگی است و میکوشد توانایی سامانههای خود را در حوزه امنیت سایبری به نمایش بگذارد.
این اتفاق نشان میدهد اوپنایآی هنوز قادر نیست فناوری خود را بهصورت کاملاً ایمن مستقر کند.
ترمیم آسیبپذیریها
هاگینگ فیس در اطلاعیه اولیه خود در ۱۶ ژوئیه اعلام کرده بود که هنوز در حال بررسی است تا مشخص شود آیا دادههای مشتریان یا شرکای تجاری تحت تأثیر قرار گرفتهاند یا خیر و در صورت لزوم با افراد آسیبدیده تماس خواهد گرفت.
این شرکت اکنون اعلام کرده که آسیبپذیریهای شناساییشده را برطرف کرده و سامانههای آسیبدیده را بازسازی کرده است.
«ابزارهای تهاجمی خودمختار مبتنی بر هوش مصنوعی دیگر صرفاً یک فرضیه نظری نیستند.»
«دفاع از یک پلتفرم آنلاین اکنون به معنای در نظر گرفتن دادهها و سطح مدلها بهعنوان یک سطح حمله اصلی و استفاده از هوش مصنوعی در دفاع برای همگام شدن با تهدیدهاست.»
ما به سرمایهگذاری در این حوزه و به اشتراک گذاشتن آموختههای خود ادامه خواهیم داد.
لحظهای هشداردهنده
این حادثه پرسشهای تازهای درباره تواناییهای سامانههای پیشرفته هوش مصنوعی و کافی بودن تدابیر حفاظتی موجود در زمانی که این فناوری روزبهروز قدرتمندتر میشود، ایجاد کرده است.
Spencer Starkey از شرکت امنیت سایبری SonicWall به بیبیسی گفت که این رویداد نشان میدهد سازمانها باید «سطح دفاعی خود را ارتقا دهند» و «تابآوری سایبری را به یک اولویت عملیاتی اصلی تبدیل کنند».
واقعیت ناخوشایند این است که هنوز بسیاری از سازمانها با سرعت انسان دفاع میکنند، در حالی که مهاجمان با سرعت ماشین در حال پیشروی هستند.
در همین حال، Travis Lelle، مهندس ارشد امنیت در شرکت مشاوره امنیت سایبری Guidepoint Security, این بهروزرسانی را «لحظهای هشداردهنده در امنیت سایبری» توصیف کرد.
این رویداد یک عدم تقارن شناختهشده را برجسته میکند؛ عاملهای تهاجمی محدودیتی ندارند، در حالی که بهترین ابزارهای دفاعی پشت مجموعهای از محدودیتها قرار گرفتهاند که قادر به درک کامل زمینه و بافت نیستند.
اما Jake Moore، مشاور جهانی امنیت سایبری شرکت ESET, معتقد است این اعلامیه ممکن است بُعد رقابتی نیز داشته باشد.
او گفت که اوپنایآی احتمالاً میخواهد تواناییهای هوش مصنوعی خود را برجسته کند، در حالی که شرکت Anthropic بهدلیل مدل Claude Mythos توجه فزایندهای را به خود جلب کرده است.
این پرسش را مطرح میکند که آیا اوپنایآی در تلاش برای رسیدن به موفقیت تبلیغاتی اخیر Anthropic نیست.
این خبر تنها یک هفته پس از آن منتشر میشود که استارتاپ چینی Moonshot از مدل عظیم هوش مصنوعی جدید خود با نام Kimi K3 رونمایی کرد؛ مدلی که به گفته این شرکت میتواند با برترین شرکتهای آمریکایی رقابت کند.
