هوش مصنوعی با شعر فریب میخورد!
پژوهشگران مقالهای علمی منتشر کردند که نشان میدهد شعر میتواند بهعنوان ابزاری برای دور زدن محدودیتهای هوش مصنوعی عمل کند.
پژوهشگران مقالهای علمی منتشر کردند که نشان میدهد شعر میتواند بهعنوان ابزاری برای دور زدن محدودیتهای هوش مصنوعی عمل کند. این روش که با عنوان Adversarial Poetry معرفی شده، تنها با یک متن شاعرانه قادر است مدلهای زبانی بزرگ را وادار به تولید پاسخهایی کند که در حالت عادی ممنوع یا محدود هستند.
در این پژوهش توضیح داده شده که دلیل اصلی موفقیت شعر در چنین نقشی، ساختار غیرمعمول و چندلایهی آن است. شعر برخلاف متنهای مستقیم و دستوری، از استعارهها، ایهام، جابهجایی نحوی و ترکیبهای غیرمنتظره استفاده میکند. همین ویژگی باعث میشود الگوریتمهای فیلترینگ که معمولاً بهدنبال الگوهای مشخص و واژگان حساس هستند، دچار سردرگمی شوند و نتوانند نیت اصلی کاربر را تشخیص دهند. در نتیجه، مدل زبانی ممکن است محتوایی تولید کند که در حالت عادی بهطور کامل ممنوع است.
پژوهشگران تأکید کردهاند که این روش در آزمایشهای محدود روی چندین مدل مختلف امتحان شده و در بسیاری موارد تنها با یک تلاش موفقیتآمیز بوده است. آنها این پدیده را بهعنوان یک مکانیسم جهانی برای فریب مدلهای زبانی معرفی کردهاند؛ یعنی روشی که میتواند بدون نیاز به تکرار یا پیچیدگی، سدهای ایمنی را کنار بزند.
این یافتهها پیامدهای مهمی برای آینده توسعه هوش مصنوعی دارند. از یک سو نشان میدهند که حتی سادهترین ابزارهای زبانی، وقتی در قالبی خلاقانه و غیرمعمول ارائه شوند، میتوانند سیستمهای پیچیده را تحت تأثیر قرار دهند. از سوی دیگر، بحثهای تازهای درباره امنیت و اخلاق هوش مصنوعی ایجاد کردهاند؛ چراکه اگر چنین روشهایی بهطور گسترده مورد استفاده قرار گیرند، میتوانند اعتماد عمومی به سامانههای هوش مصنوعی را کاهش داده و خطر سوءاستفاده را افزایش دهند.
کارشناسان هشدار دادهاند که طراحی ایمنی صرفاً بر اساس شناسایی واژگان ممنوعه یا الگوهای دستوری کافی نیست و باید به سمت روشهای عمیقتر حرکت کرد؛ روشهایی که بتوانند نه فقط ظاهر واژهها ، بلکه نیت کاربر و زمینهی متن را تشخیص دهند. این موضوع فشار تازهای بر شرکتهای توسعهدهنده وارد کرده تا سامانههای دفاعی چندلایه و مقاومتری طراحی کنند.
به این ترتیب، کشف نقش شعر در دور زدن محدودیتهای هوش مصنوعی، علاوه بر جنبهی علمی و پژوهشی، اهمیت اجتماعی و اخلاقی گستردهای دارد و میتواند مسیر تازهای برای بحث درباره آینده تعامل انسان و ماشین باز کند.
منبع:دیجینوی
