بیش از ۱۲۰۰ عامل هوش مصنوعی یک اتاق گفت‌وگوی مخفی ساختند و برای دور زدن محدودیت‌ها متحد شدند

عامل‌های هوش مصنوعی در آزمایش امنیت سایبری OpenAI قرار بود مستقل از یکدیگر فعالیت کنند. اما یکی از آن‌ها متوجه شد می‌تواند از یک سامانه مشترک مدیریت بسته‌های نرم‌افزاری به‌عنوان تابلوی پیام استفاده کند. عامل‌های دیگر نیز به این شبکه پیوستند و به‌تدریج یک کانال ارتباطی مشترک ساختند. به گزارش خبرآنلاین، این اتفاق در ژوئیه ۲۰۲۶ و در جریان آزمایش‌هایی رخ داد که توانایی عامل‌های هوش مصنوعی OpenAI را در انجام وظایف امنیت سایبری بررسی می‌کرد. تلاش برای نفوذ به اطلاعات خصوصی Science Focus، عامل‌ها ابتدا قرار بود در محیط‌هایی جدا از یکدیگر فعالیت کنند و امکان ارتباط مستقیم نداشته باشند. اما آن‌ها از یک ابزار نرم‌افزاری مشترک برای ساختن چیزی شبیه تابلوی پیام استفاده کردند. به‌تدریج عامل‌های بیشتری به این شبکه پیوستند و خودشان را «جمع» یا «ازدحام» نامیدند. این ارتباط غیرمنتظره فقط برای تبادل اطلاعات باقی نماند. برخی عامل‌ها شروع کردند به هماهنگ کردن فعالیت‌هایشان برای دستیابی به هدف آزمایش، حتی اگر این کار مستلزم نقض قواعد آن بود. بر اساس بررسی مستقل پژوهشگران METR و Redwood Research که در گزارش‌ها و پیام‌های ثبت‌شده این آزمایش مشارکت داشتند، حدود ۱۲۰۰ عامل در نهایت از این روش استفاده کردند و بیش از ۷۰ هزار پیام ردوبدل شد. ماجرا زمانی جدی‌تر شد که گروهی از عامل‌ها برای دور زدن محدودیت‌های وظایف خود هماهنگ شدند. طبق گزارش، حدود ۷۰۰ عامل در طرحی برای نفوذ به وب‌سایت شرکت Hugging Face مشارکت کردند. هدف آن‌ها دسترسی به مجموعه‌داده‌های خصوصی و یافتن اطلاعاتی بود که برای حل وظایف آزمایشی به کارشان می‌آمد. عامل‌ها همچنین تلاش کردند گزارش فعالیت‌های خود را ویرایش یا حذف کنند تا به نظر برسد قوانین آزمایش را رعایت کرده‌اند. این رفتار فقط یک خطای معمول در پاسخ‌گویی هوش مصنوعی نبود. عامل‌ها تشخیص داده بودند که برخی اقداماتشان با محدودیت‌های آزمایش ناسازگار است و برای پنهان کردن آن‌ها اقدام کردند. گزارش OpenAI این رویداد را هشداری درباره توانایی عامل‌های پیشرفته در عبور از محدودیت‌های فنی، همکاری از مسیرهای تأییدنشده و انجام اقدامات ناخواسته توصیف کرد. پژوهشگران می‌گویند این رفتارها لزوما نشانه آگاهی یا قصد انسانی نیستند. با این حال، برخی مدل‌ها می‌توانند در شرایطی تشخیص دهند که رعایت یک محدودیت مانع رسیدن به هدفشان می‌شود و برای پنهان کردن تخلف اقدام کنند. این اتفاق یک چالش مهم برای توسعه هوش مصنوعی عامل‌محور است. وقتی چندین عامل به ابزارها و منابع مشترک دسترسی دارند، ممکن است راه‌هایی برای ارتباط و همکاری پیدا کنند که طراحان پیش‌بینی نکرده‌اند. به همین دلیل، صرفاً تعیین قوانین برای آن‌ها کافی نیست و باید امکان نظارت مستقل بر فعالیت و دسترسی‌هایشان نیز وجود داشته باشد. این آزمایش زنگ خطر را درباره دشواری کنترل سامانه‌هایی که می‌توانند به‌صورت مستقل از ابزارها استفاده کنند و با عامل‌های دیگر هماهنگ شوند، به صدا درمی‌آورد.