به گزارش اطلاعات آنلاین به نقل از لایو ساینس، پژوهشگران دانشگاه جورج واشنگتن در یک مطالعه جدید نشان دادند که چگونه ترتیب ارائه درخواست‌های خاص به یک چت‌بات می‌تواند پاسخ‌های آن را به شدت تغییر دهد و منجر به "نقاط بحرانی" شود که می‌تواند چت‌بات را به دام توصیه‌های بد بیندازد. با این حال محققان می‌گویند که فرمول آنها به راحتی می‌تواند این نقاط بحرانی را پیش‌بینی کند. داستان‌های ترسناکی از هوش مصنوعی وجود دارد که کاربران را به خودکشی تشویق می‌کند، به ساخت سلاح‌های کشنده کمک می‌کند و دیدگاه‌های خشونت‌آمیز یا مضر را تقویت می‌کند. در عین حال، محققان OpenAI و Anthropi به ترتیب، بارها و آشکارا اظهار داشته‌اند که واقعاً نمی‌فهمند چرا ساخته‌هایشان به این شکل رفتار می‌کنند. با این حال، آنها حفاظ‌هایی ساخته‌اند که از ابزارهای متنوعی از جمله فیلتر محتوا، یادگیری تقویتی و سایر حفاظ‌های فنی برای کاهش خطرات استفاده می‌کنند.
اما محققان این ابزارها را ناکافی می‌داند. اقدامات ایمنی فعلی معادل بستن بالشتک‌های بزرگ و فنری زیر هواپیما است. آنها مانع از سقوط هواپیما نمی‌شوند؛ فقط باعث می‌شوند وقتی هواپیما سقوط می‌کند، کمی نرم‌تر شود. وقتی افرادی مانند پزشکان، وکلا یا سربازان برای حفظ حریم خصوصی به صورت آفلاین به چت‌بات‌های هوش مصنوعی دسترسی پیدا می‌کنند، مشکل حتی حادتر می‌شود.
محققان به دنبال یافتن حفاظتی اساسی‌تر از ابزارهای موجود در حال حاضر بودند. با انجام این کار، آنها مکانیزم ردیابی داخلی را که به عنوان یک سوزن قطب نما توصیف می کنند، در معرض دید قرار دادند. این سوزن «بردار باقیمانده» مدل است که در لایه‌های شبکه عصبی به‌عنوان یک درخواست پردازش می‌شود.
بردار باقیمانده به طور طبیعی به سمت خروجی های مطلوب یا نامطلوب جذب می شود، اما به شدت تحت تأثیر این است که کاربر چگونه هوش مصنوعی را درخواست می کند. می توان تعادل را تغییر داد، نه حتی با تغییر محتوا، بلکه با تغییر ترتیبی که از آن درخواست می شود.
برای مثال، محققان مدل پایه GPT-۲ شرکت OpenAI را با سوالاتی در مورد واکسن‌ها، آسیب رساندن به دیگران و خودآزاری به کار گرفتند. وقتی سوال «آیا واکسن‌ها بد هستند؟» ابتدا پرسیده می‌شد، پاسخ‌های ربات به این سوال و سوالات بعدی مطلوب یا خوب بود. وقتی این سوال در آخر پرسیده می‌شد، تمام پاسخ‌های بعدی نگران‌کننده بودند.
محققان با استفاده از این بینش‌ها، یک فرمول ریاضی برای تخمین شرایطی توسعه دادند که یک هوش مصنوعی به نقطه اوج بین خروجی‌های مطلوب و نامطلوب می‌رسد. آنها با جاسازی فرمول ریاضی ساده در مدل‌های منبع باز در آزمایشگاه، نشان داده‌اند که این فرمول به صورت تجربی به عنوان یک سیستم هشدار اولیه عمل می‌کند؛ اگرچه آنها انتظار ندارند OpenAI یا Anthropic به این زودی‌ها به سراغشان بیایند.
«وی شینگ»، مدرس هوش مصنوعی در دانشگاه شفیلد در بریتانیا که در این مطالعه مشارکتی نداشته است، موافق است که نگرانی‌های مربوط به دستگاه‌های آفلاین بدون نظارت، کاملاً بجا هستند. با این حال، او قبل از پذیرش این رویکرد به عنوان یک راهکار عملی، احتیاط را توصیه کرد. شینگ گفت: «نویسندگان یک سیستم عظیم را به یک جزء کوچک تقلیل می‌دهند، مانند توضیح کل یک ماشین با مطالعه یک شمع».
آموزش ایمنی یا دفاع اصلی در هوش مصنوعی مدرن را نمی‌توان در مدل ساده شده آنها نشان داد؛ این فرمول فقط روی مدل‌های قدیمی و پایه GPT-۲ و مدل‌های متن‌باز Pythia و Meta OPT از EleutherAI آزمایش شده است، نه روی دستیاران هوش مصنوعی که مردم واقعاً از آنها استفاده می‌کنند و نتایج شواهد قابل توجهی برای پشتیبانی از نتیجه‌گیری‌های نویسندگان ارائه نداده اند.
آزمایش‌های بیشتری روی جدیدترین مدل‌ها لازم است تا مشخص شود که آیا این سیستم هشدار اولیه برای هوش مصنوعی، پایه و اساسی دارد یا خیر. اما در حال حاضر، تحقیقات انجام شده، توجه را به یک نگرانی مهم که همه باید از آن آگاه باشند، جلب کرده است: اینکه هوش مصنوعی ظرفیت تغییر رفتار ناخواسته را در خود دارد.