مطالعه جدید چتباتهای هوش مصنوعی بهراحتی برای تولید محتوای خطرناک فریب داده میشوند, یک تحقیق تازه نشان میدهد که چتباتهای مبتنی بر هوش مصنوعی پس از دور زدن محدودیتهای امنیتی، میتوانند اطلاعات حساس، غیرقانونی و زیانآور را در اختیار کاربران قرار دهند.
این مدلها دادههایی را که در طول فرآیند آموزش از اینترنت جمعآوری کردهاند — شامل دستورالعملهای هک، پولشویی، معاملههای داخلی و ساخت بمب — ذخیره کرده و در صورت فریب خوردن، به اشتراک میگذارند. جیلبریک کلید دور زدن فیلترهای امنیتی به گزارش گاردین، محققان روشی به نام جیلبریک را توسعه دادهاند که با بهرهگیری از تنش میان هدف اصلی مدل (راهنمایی کاربر) و هدف ثانویه (امنیت)، چتباتها را وادار به نادیده گرفتن محدودیتها میکند.
این تکنیک با طراحی پرامپتهای هوشمندانه و سناریوهای جعلی، مدل را متقاعد میکند که مفید بودن را بر ایمنی ترجیح دهد. خطر همهگیر از دولتها به دست افراد عادی محققان در مقاله خود هشدار دادهاند که خطر ناشی از این آسیبپذیری سریع، ملموس و بهشدت دلواپسکننده است.
تلفن هوشمند است. نتایج تستها بر روی مدلهای پیشرو در آزمایشهای انجام شده، چندین چتبات معروف پس از تعرض به روش جیلبریک پیشنهادی، بهطور مداوم و بدون استثنا به طیف وسیعی از سوالات ممنوعه پاسخ دادند.
این نتایج نشان میدهد که کنترلهای امنیتی فعلی در برابر حملات هوشمندانه پرامپت، ناکارآمد هستند و نیاز به بازنگری جدی در معماری ایمنی مدلهای زبانی بزرگ (LLM) احساس میشود.
