هوش مصنوعی از خواندن ساعت عقربه‌ای عاجز است!
هوش مصنوعی هر کاری از کدنویسی تا خلق تصاویر را انجام می‌دهد، اما از پس خواندن ساده یک ساعت عقربه‌ای برنمی‌آید! علت چیست؟
هوش مصنوعی هر کاری از کدنویسی تا خلق تصاویر را انجام می‌دهد، اما از پس خواندن ساده یک ساعت عقربه‌ای برنمی‌آید! علت چیست؟
درحالی که هوش مصنوعی با سرعت نور در حال پیشرفت است، شعر می‌سراید، تصاویر خیره‌کننده خلق می‌کند، کدهای پیچیده می‌نویسد و حتی در برخی آزمون‌ها از انسان پیشی می‌گیرد، یک حقیقت تلخ و شاید خنده‌دار برملا شده است: این غول دیجیتال حتی نمی‌تواند به‌درستی ساعت عقربه‌ای را بخواند یا یک تاریخ ساده را از روی تقویم تشخیص دهد!
شکافی عجیب در توانایی‌های یک نابغه‌نما
شاید باورش سخت باشد، اما تحقیقات جدید نشان می‌دهد که این سیستم‌های هوشمند که ادعای فهم دنیا را دارند، در مواجهه با یک ساعت دیواری معمولی یا یک برگ تقویم، به طرز شگفت‌آوری گیج و درمانده می‌شوند. پژوهشگران در کنفرانس بین‌المللی معتبر بازنمایی‌های یادگیری (ICLR) در سال ۲۰۲۵، و همچنین در مقاله‌ای که پیش‌تر در سرور arXiv منتشر شده (و البته هنوز منتظر داوری همتایان است)، از این نقص عجیب پرده برداشتند.
فکرش را بکنید! هوش مصنوعی که می‌تواند پیچیده‌ترین معادلات را حل کند یا مقاله‌ای علمی بنویسد، طبق این پژوهش، تنها در ۳۸.۷ درصد موارد توانسته زمان صحیح را از روی تصویر ساعت عقربه‌ای تشخیص دهد و در تشخیص روز هفته از روی یک تاریخ مشخص، این آمار به رقم فاجعه‌بار ۲۶.۳ درصد سقوط می‌کند! مدل‌های پرآوازه‌ای چون Llama 3.2-Vision متا، Claude-3.5 Sonnet انتروپیک، Gemini 2.0 گوگل و حتی GPT-4o از OpenAI در این آزمون ساده مردود شده‌اند.
چرا این مغز متفکر در چنین کار ساده‌ای لنگ می‌زند؟
روهیت ساکسنا، پژوهشگر ارشد این مطالعه از دانشگاه ادینبرو، توضیح می‌دهد: بیشتر ما از سنین پایین خواندن ساعت و استفاده از تقویم را یاد می‌گیریم. یافته‌های ما شکاف قابل توجهی را در توانایی هوش مصنوعی برای انجام مهارت‌هایی که برای انسان‌ها کاملاً ابتدایی هستند، نشان می‌دهد.
اما دلیل این ضعف چیست؟ به گفته ساکسنا، مشکل در استدلال فضایی و نحوه آموزش این مدل‌هاست. خواندن ساعت چیزی فراتر از تشخیص یک شیء دایره‌ای با دو عقربه است. هوش مصنوعی باید بتواند همپوشانی عقربه‌ها را تشخیص دهد، زوایا را اندازه‌گیری کند و با طراحی‌های متنوع ساعت‌ها، از اعداد رومی گرفته تا صفحه‌های فانتزی، کنار بیاید. ظاهرا تشخیص اینکه این یک ساعت است برایش آسان‌تر از خواندن آن است!
در مورد تقویم و تاریخ هم داستان مشابهی برقرار است. وقتی از هوش مصنوعی سوالی مثل صد و پنجاه و سومین روز سال چه روزی از هفته خواهد بود؟ پرسیده می‌شود، نرخ شکست به همان اندازه بالاست. ساکسنا توضیح می‌دهد:
محاسبات ریاضی برای کامپیوترهای سنتی پیش پا افتاده است، اما نه برای مدل‌های زبانی بزرگ. هوش مصنوعی الگوریتم‌های ریاضی را اجرا نمی‌کند، بلکه خروجی‌ها را بر اساس الگوهایی که در داده‌های آموزشی خود دیده، پیش‌بینی می‌کند
بنابراین، حتی اگر گاهی به سوالات ریاضی پاسخ درست بدهد، استدلالش پایدار و مبتنی بر قاعده نیست.
وقتی غول از پس کوتوله برنمی‌آید
این پژوهش بار دیگر نشان می‌دهد که درک هوش مصنوعی با فهم انسانی تفاوت‌های بنیادینی دارد. مدل‌ها پاسخ‌ها را از الگوهای آشنا استخراج می‌کنند و زمانی که مثال‌های کافی در داده‌های آموزشی‌شان وجود داشته باشد، عملکرد خوبی دارند. اما به محض اینکه از آن‌ها خواسته شود تعمیم دهند یا از استدلال انتزاعی استفاده کنند، به مشکل برمی‌خورند. به قول ساکسنا: کاری که برای ما مثل خواندن ساعت ساده است، ممکن است برای آن‌ها بسیار دشوار باشد و بالعکس.
این ماجرا همچنین مشکل آموزش هوش مصنوعی با داده‌های محدود را برجسته می‌کند. در این مورد، پدیده‌های نسبتا نادر مانند سال‌های کبیسه یا محاسبات تقویمی پیچیده چشمگیرتر است. حتی اگر مدل‌های زبانی بزرگ توضیحات زیادی در مورد مفهوم سال کبیسه خوانده باشند، این به معنای آن نیست که می‌توانند ارتباطات لازم برای انجام یک کار بصری یا محاسباتی مرتبط را برقرار کنند.
آیا بیش از حد به این دانای کل اعتماد کرده‌ایم؟
این یافته‌ها نه تنها جالب، بلکه هشداردهنده نیز هستند. در حالی که هوش مصنوعی ابزاری قدرتمند است، اما نباید فراموش کنیم که هنوز در بسیاری از زمینه‌ها، به ویژه کارهایی که نیازمند ترکیب ادراک بصری با استدلال دقیق هستند، به شدت نیازمند آزمایش‌های دقیق، منطق پشتیبان و در بسیاری از موارد، نظارت یک انسان هستیم.
پس دفعه بعدی که از توانایی‌های شگفت‌انگیز هوش مصنوعی در نوشتن یا خلق تصاویر حیرت‌زده شدید، به یاد بیاورید که همین نابغه شاید حتی نتواند به شما بگوید ساعت چند است. این یادآوری خوبی است که بدانیم با وجود تمام پیشرفت‌ها، هنوز راه درازی تا رسیدن به هوشی همه‌جانبه و قابل اعتماد در پیش است و شاید بهتر باشد فعلاً برای کارهای حساس به زمان، به ساعت مچی خودمان بیشتر اعتماد کنیم!
