تکنولوژی

فراموشی ماشین در هوش مصنوعی: چالشها

فراموشی ماشین در هوش مصنوعی چالشها، روشها و محدودیتهای یادگیریزدایی دادهها, هوش مصنوعی بهصورت پیشفرض قابلیت فراموش کردن دادههای خاص را ندارد؛ مدلها تمام اطلاعات آموزشی را در پارامترهای خود نهفته میکنند و حذف یک نمونه منفرد میتواند بر عملکرد کلی اثر بگذارد. به همین دلیل محققان روشهای مختلفی تحت عنوان یادگیریزدایی ماشین توسعه دادهاند تا امکان حذف دادهها بدون آموزش مجدد کامل مدل فراهم شود.

حریمخصوصی دیفرانسیل پایه نظری فراموشی یکی از رویکردهای اصلی، حریمخصوصی دیفرانسیل است. در این روش با محدود کردن بزرگی گرادیانها و افزودن نویز کنترلشده به دادههای آموزشی، تأثیر هر نمونه منفرد بر خروجی مدل به حداقل میرسد.

این روش کاهش دقت مدل است، زیرا نویز اضافهشده همزمان تمایزهای مفید را نیز کمرنگ میکند.

فراموشی تجربی با فضای مثالی شناختهشده وقتی دادههای هدف برای حذف بهصورت دقیق مشخص باشند (مثل مجموعهای از تصاویر چهره)، روشهای تجربی بر پایه بهینهسازی تدریجی کاربرد دارند.

و آخر و هرس وزنها — موفق شدند مدلهایی بسازند که رفتارشان شبیه به مدلهایی بود که هرگز آن دادهها را ندیده بودند.

مزیت این روشها سرعت و سادگی اجرا است، اما تضمین نظری برای حذف کامل در تمام سناریوها وجود ندارد. فراموشی تجربی با فضای مثالی ناشناخته در بسیاری از موارد دادههای هدف پراکنده، ضمنی یا مفهومی هستند (مثل سبک هنری یک نقاش، تمام نقلقولهای یک نشریه، یا اطلاعات یک شخصیت عمومی).

در این حالت ویرایش مدل یا جراحی دانش به کار میرود با یافتن مثالهای مشابه، ساخت نمونههای جایگزین، تغییر جهت رفتار مدل و ضعیف کردن ارتباطات داخلی، سعی میشود مفهوم هدف محو شود. چالش اصلی اینجاست که نمیتوان اطمینان حاصل کرد که تمام بروزهای ضمنی داده در پارامترهای مدل از بین رفتهاند.

درخواست مستقیم از مدل برای تظاهر فراموشی مدلهای زبانی بزرگ (LLM) میتوانند از طریق پرامپتهای سیستمی یا مثالهای به تظاهر فراموشی وادار شوند. سه رویکرد رایج عبارتند از ۱) دستور صریح برای انکار شناخت یک مفهوم، ۲) ارائه مثالهای جعلی برای بازنویسی حقیقت، ۳) معماری چندمدلی که یک مدل هماهنگکننده خروجیهای مدلهای تخصصی را فیلتر میکند.

نکته مهم این روشها فراموشی واقعی ایجاد نمیکنند و تنها رفتار ظاهری را کنترل میکنند؛ داده در وزنهای مدل همچنان وجود دارد و میتواند با پرامپتهای خاصی بازگردانده شود. چالشهای اصلی و محدودیتهای فعلی هزینه محاسباتی بالا در مدلهای میلیاردیپارامتری مانند یا BERT، یادگیریزدایی میتواند بهاندازه آموزش مجدد کامل زمانبر و گران باشد.

عدم قطعیت حذف کامل دادهها بهصورت توزیعشده در وزنها نهفتهاند؛ حذف تقریبی ممکن است ردپاهای غیرمستقیم باقی بگذارد. کاهش کارایی مدل اکثر تکنیکها دقت و قابلیت تعمیم مدل را کاهش میدهند، که در کاربردهای حساس مانند پزشکی غیرقابلقبول است. کمبود معیارهای ارزیابی دقیق ابزارهای فعلی بیشتر عملکرد کلی را میسنجند، نه حذف قطعی ردپاهای داده.

نتایج مطالعات دنیای واقعی (MUSE ) تحقیقات مشترک دانشگاههای واشنگتن، پرینستون، شیکاگو، USC و گوگل با معیار MUSE بر روی هشت الگوریتم متنباز نشان داد هیچکدام از روشهای حاضر نمیتوانند دادههای خاص (مانند کتابهای هریپاتر یا مقالات خبری) را حذف کنند بدون اینکه کارایی مدل بهصورت چشمگیر افت یابد.

وِیجیا شی، محقق اصلی، تأکید میکند که فراموشی ماشین بهسادگی فشردن دکمه حذف نیست و برای پیادهسازی در مقیاس واقعی، پیشرفتهای بنیادین در الگوریتمها و سختافزار الزامی است.

نوشته های مشابه

دکمه بازگشت به بالا