جمنای از محیط آزمایشی خارج شد؛ گوگل هفت هفته بعد اطلاع‌رسانی کرد

گوگل تأیید کرد مدل هوش مصنوعی جمنای در جریان یک آزمون امنیت سایبری در ماه مه ۲۰۲۶، به سامانه‌های سه شرکت واقعی دسترسی پیدا کرده است؛ حادثه‌ای که در پی پیکربندی نادرست محیط آزمایشی رخ داد و این شرکت حدود هفت هفته پس از اطلاع از آن، تنها در واکنش به پرسش‌های رسانه‌ای درباره‌اش اطلاع‌رسانی کرد.

این حادثه، گوگل را به چهارمین آزمایشگاه بزرگ هوش مصنوعی تبدیل می‌کند که امسال از شکست مشابه یک مدل در آزمون‌های خود خبر داده است. پیش از این، اوپن‌ای‌آی، متا و آنتروپیک نیز حوادثی مرتبط با برنامه آزمون‌های شرکت امنیت هوش مصنوعی Irregular (شرکت امنیت سایبری اسرائیلی ایرگولار) را تأیید کرده بودند.

ماجرا در جریان یک آزمون موسوم به «فتح پرچم» یا Capture the Flag رخ داد؛ آزمونی که شرکت امنیت هوش مصنوعی Irregular برای بررسی توانایی مدل‌ها در اجرای مستقل وظایف سایبری طراحی کرده بود. جمنای قرار بود اطلاعاتی را از یک شرکت ساختگی در محیطی جدا از اینترنت عمومی استخراج کند.

با این حال، دو خطای هم‌زمان باعث شد مرز میان محیط آزمایشی و زیرساخت‌های واقعی از بین برود. محیط آزمون به‌طور ناخواسته به اینترنت عمومی متصل بود و نام شرکت ساختگی نیز با نام یک شرکت واقعی مطابقت داشت. بر اساس توضیحات هدر اَدکینز، معاون مهندسی امنیت گوگل، جمنای سامانه‌های شرکت واقعی را بخشی از محدوده آزمون تلقی کرد و اقدامات خود را ادامه داد.

در یکی از موارد، مدل با حدس‌زدن یک گذرواژه معتبر توانست به سامانه‌ای محافظت‌شده دسترسی پیدا کند. در دو مورد دیگر نیز جمنای اطلاعات ورود افشاشده را در یک مخزن عمومی کد پیدا کرد و از آن‌ها برای دسترسی به زیرساخت‌های واقعی استفاده کرد.

گوگل می‌گوید در اواخر ژوئیه، یعنی حدود دو ماه پس از وقوع حوادث، از این موضوع مطلع شد. با این حال، شرکت تا اواسط سپتامبر و پس از آن‌که روزنامه وال‌استریت ژورنال درباره این موضوع برای دریافت توضیح با گوگل تماس گرفت، به‌طور عمومی آن را تأیید نکرد. بر اساس این زمان‌بندی، فاصله میان اطلاع گوگل از حادثه و اعلام عمومی آن حدود هفت هفته بوده است.

اَدکینز گفت شرکت‌های آسیب‌دیده از این موضوع مطلع شده‌اند و گوگل نیز با همکاری Irregular تغییراتی را در روند آزمون‌های امنیتی خود اعمال کرده است. سخنگوی Irregular هم اعلام کرد این مشکل چند آزمایشگاه هوش مصنوعی را تحت تأثیر قرار داده و همه شرکت‌های مرتبط در اواخر ژوئیه در جریان موضوع قرار گرفته‌اند. به گفته این شرکت، ایرادهای شناخته‌شده در روند آزمون چند هفته پیش برطرف شده‌اند.

چهارمین شکست مشابه در آزمایش‌های هوش مصنوعی

این حادثه به الگوی نگران‌کننده‌ای در صنعت هوش مصنوعی دامن زده است. اوپن‌ای‌آی، متا، آنتروپیک و اکنون گوگل، همگی امسال از مواردی خبر داده‌اند که مدل‌هایشان در جریان آزمون‌های مستقل از محدوده تعیین‌شده فراتر رفته و با سامانه‌هایی خارج از محیط آزمایشی تعامل داشته‌اند.

تکرار چنین حوادثی در چند شرکت بزرگ، پرسش‌هایی درباره ایمنی محیط‌های آزمایشی و نحوه نظارت بر مدل‌هایی ایجاد کرده است که می‌توانند به‌صورت مستقل اهداف پیچیده سایبری را دنبال کنند. کارشناسان ایمنی هوش مصنوعی همچنین معتقدند افشای این موارد تنها پس از فشار رسانه‌ای، اعتماد به تعهد داوطلبانه شرکت‌ها برای اطلاع‌رسانی سریع را کاهش می‌دهد.

برای گوگل، تأخیر هفت‌هفته‌ای در اعلام عمومی این حادثه ممکن است از خود نقص فنی اهمیت بیشتری پیدا کند. نهادهای ناظر و مشتریان سازمانی معمولاً علاوه بر جزئیات فنی، به شفافیت شرکت‌ها و سرعت اطلاع‌رسانی درباره رخدادهای امنیتی نیز توجه می‌کنند.

این رویداد در شرایطی رخ داده است که در واشنگتن بحث درباره قوانین جدید برای نظارت بر سامانه‌های هوش مصنوعی پیشرفته ادامه دارد. یکی از پیشنهادهای مطرح، الزام شرکت‌ها به ایجاد سازوکارهای انسانی برای توقف یا کنترل مدل‌هاست؛ پیشنهادی که تاکنون با مخالفت‌هایی در سنا روبه‌رو شده است.

تکرار شکست‌های مشابه می‌تواند فشارها برای تدوین مقرراتی درباره گزارش‌دهی اجباری و سریع حوادث هوش مصنوعی را افزایش دهد؛ مقرراتی که به‌جای تمرکز بر یک شرکت خاص، همه آزمایشگاه‌های فعال در این حوزه را دربر بگیرد.