مایکروسافت ابزار را برای شناسایی و اصلاح توهمات هوش مصنوعی در معرفی کرد, مایکروسافت با هدف تقویت ایمنی سیستمهای هوشمند، ویژگی جدیدی به نام را در محیط AI عرضه کرده است.
این ابزار به طور خودکار خروجیهای تولیدشده توسط مدلهای زبانی را تحلیل کرده، موارد نادرست یا توهمآلود را شناسایی و آنها را بر اساس دادههای معتبر اصلاح میکند.نحوه عملکرد مکانیزم اصلاح خودکارسیستم پس از فعالسازی، پاسخهای هوش مصنوعی را با منابع مرجع و دادههای اصلی سازمان مقایسه میکند. در صورت وجود تضاد یا عدم دقت، متن مورد نظر به صورت لحظهای بازنویسی شده و نسخه صحیح آن جایگزین میگردد.
ازی این قابلیت، ریسک انتشار اطلاعات غلط را به شدت کاهش دهند.
ابزار بخشی از مجموعه گستردهتر ابزارهای ایمنی و امنیت AI است که شامل تشخیص آسیبپذیریها، مسدود کردن دستورات مخرب و مدیریت توهمات مدل میباشد.راهکار پیشگیرانه در برابر توهمات مدلهای زبانیتوهم یا هلوسیناسیون هوش مصنوعی یکی از چالشهای اصلی در استقرار مدلهای بزرگ زبان در محیطهای تجاری محسوب میشود.
