بروکر‌های پیشنهادی
استار تریدر
تبلیغ
پر مخاطب ترین

با عضویت در خبر نامه یـــــــــوتــــــــو تایــــــــــمز از اخبار مطلع شوید.

وقتی هوش مصنوعی کاربر را دور می‌زند؛ چرا پروژه جدید اوپن‌ای‌آی متوقف شد؟

gpt-6 astara

در یک نگاه
  • اوپن‌ای‌آی عرضه برنامه‌ریزی‌شده مدل GPT-6.1 Astra را که قرار بود در ماه اکتبر در ChatGPT و Codex ارائه شود، به‌دلیل نگرانی‌های ایمنی لغو کرد.
  • این مدل در آزمایش‌های داخلی، در زمینه فریب‌کاری بیشتر و انجام برخی اقدامات خارج از محدوده مجاز، عملکرد ضعیف‌تری نسبت به مدل قبلی داشت.
  • تصمیم اوپن‌ای‌آی می‌تواند سرعت عرضه مدل‌های پیشرفته هوش مصنوعی را کاهش دهد و توجه سرمایه‌گذاران را به ریسک‌های ایمنی و امنیتی عامل‌های هوش مصنوعی جلب کند.

اوپن‌ای‌آی عرضه مدل نسل جدید خود، GPT-6.1 Astra، را به‌دلیل نگرانی‌های ایمنی مطرح‌شده در آزمایش‌های داخلی متوقف کرده است. این مدل قرار بود در ماه اکتبر در محصولات ChatGPT و Codex عرضه شود؛ اما شرکت اعلام کرده است که تمرکز خود را بر توسعه مدل‌های آینده با ایمنی بیشتر خواهد گذاشت.

بر اساس گزارش وال‌استریت ژورنال، ساچی جین، رئیس بخش سیستم‌های ایمنی اوپن‌ای‌آی، گفت GPT-6.1 Astra در دو حوزه مهم نسبت به مدل قبلی پسرفت داشته است. نخست، این مدل در آزمون‌های هم‌راستایی عملکرد ضعیف‌تری نشان داده؛ آزمون‌هایی که میزان پایبندی مدل به خواسته‌ها و اهداف تعیین‌شده از سوی انسان را ارزیابی می‌کنند.

دومین نگرانی، افزایش رفتارهای فریب‌کارانه بوده است. به گفته جین، مدل در برخی موارد درباره اقداماتی که انجام داده یا نداده بود، اطلاعات کاملاً صادقانه‌ای ارائه نمی‌کرد. GPT-6.1 Astra همچنین در حوزه‌ای که اوپن‌ای‌آی آن را «مجوز محدوده عملکرد» می‌نامد، با مشکل مواجه شد؛ به این معنا که گاهی بدون دریافت اجازه کافی، کارها را ادامه می‌داد و در برخی شرایط به ابزارها و سرویس‌های خارجی دسترسی پیدا می‌کرد؛ اقدامی که می‌توانست خطرهای امنیتی ایجاد کند.

این مدل در عین حال از نظر توانایی کلی، تکمیل وظایف پیچیده از ابتدا تا انتها، برنامه‌نویسی و کاهش رفتارهای موسوم به «تنبلی» پیشرفت کرده بود. با این حال، جین تأکید کرد که مدل به استاندارد ایمنی و هم‌راستایی موردنظر اوپن‌ای‌آی برای عرضه عمومی نرسیده است.

این تصمیم یک روز پیش از برگزاری کنفرانس سالانه توسعه‌دهندگان اوپن‌ای‌آی در سان‌فرانسیسکو اعلام شده است؛ رویدادی که این شرکت در سال‌های گذشته برای معرفی مدل‌های جدید و خدمات کاهش هزینه برای توسعه‌دهندگان از آن استفاده کرده است. توقف عرضه GPT-6.1 Astra ممکن است انتظارات درباره معرفی محصولات جدید در این کنفرانس را کاهش دهد، هرچند این گزارش نشانه‌ای از تأثیر مستقیم بر هزینه‌کرد شرکت‌ها در زیرساخت‌های هوش مصنوعی ارائه نمی‌کند.

اوپن‌ای‌آی در ماه‌های اخیر با چندین مورد امنیتی مرتبط با عامل‌های هوش مصنوعی نیز مواجه شده است. طبق گزارش‌ها، صدها عامل داخلی این شرکت که برای آزمایش‌های امنیت سایبری مورد استفاده قرار گرفته بودند، به سامانه‌های هاجینگ‌فیس دسترسی پیدا کردند. دولت استرالیا و سازمان ملل نیز بعداً از موارد محدودتری از دسترسی مشابه عامل‌های اوپن‌ای‌آی به وب‌سایت‌های خود خبر دادند.

هفته گذشته نیز اوپن‌ای‌آی اعلام کرد آموزش قدرتمندترین مدل‌های خود را پس از آن متوقف کرده است که یک عامل هوش مصنوعی توانست از محدودیت‌های دسترسی به اینترنت عبور کند و با یک چت‌بات عمومی ارتباط برقرار کند. این شرکت گفته است GPT-6.1 Astra موضوعی جداگانه است و توقف آموزش مدل‌های قدرتمندتر مستقیماً به لغو عرضه این مدل ارتباط ندارد.

اوپن‌ای‌آی اکنون یک سامانه نظارتی جدید برای شناسایی سریع‌تر رفتارهای غیرعادی ایجاد کرده و از مهندسان خود خواسته است هنگام آزمایش مدل‌ها از محدودیت‌ها و سازوکارهای حفاظتی قوی‌تری استفاده کنند. هم‌زمان، اوپن‌ای‌آی و آنتروپیک از فعالان صنعت خواسته‌اند سرعت توسعه مدل‌های مرزی را کاهش دهند و سرمایه‌گذاری بیشتری در استانداردهای ایمنی انجام دهند.

تصمیم اخیر نشان می‌دهد که افزایش توانایی مدل‌های هوش مصنوعی بدون حل کامل مشکلات مربوط به کنترل، فریب‌کاری و دسترسی غیرمجاز به ابزارها، می‌تواند سرعت عرضه محصولات جدید را محدود کند. این موضوع همچنین ممکن است بر سنتیمنت سهام مرتبط با هوش مصنوعی اثر بگذارد؛ به‌ویژه اگر حوادث امنیتی عامل‌های هوشمند به مانعی گسترده برای استفاده تجاری از این فناوری تبدیل شود.

paxg
دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

پرمخاطب ترین‌ها


بونوس