رابرت کاروسو مهندس شرکت Citrix، اخیراً آزمایشی غیرمنتظره انجام داد و به نتایج جالبی رسید. او با استفاده از شبیه‌ساز Stella، بازی شطرنج Atari 2600 که در سال ۱۹۷۹ منتشر شده بود را اجرا کرد و دو مدل هوش مصنوعی مدرن، یعنی ChatGPT و کوپایلت مایکروسافت را مقابل آن قرار داد. نتیجه؟ بازی ۴۶ ساله‌ی آتاری، با فقط ۴ کیلوبایت داده، هر دو رقیب را شکست داد.
شروع چالش از گفت‌وگوی کاروسو با ChatGPT درباره‌ی تفاوت موتورهای شطرنجی مانند Stockfish و AlphaZero بود؛ جایی‌که ChatGPT ادعا کرد می‌تواند به‌راحتی Video Chess آتاری را شکست دهد. اما چت‌بات معروف در عمل حتی نتوانست موقعیت مهره‌ها را در طول بازی به درستی دنبال کند. با وجود راهنمایی‌های مداوم کاروسو، این مدل در مسابقه‌ی ۹۰ دقیقه‌ای در سطح مبتدی مغلوب شد.
کاروسو همین چالش را با کوپایلت مایکروسافت تکرار کرد. این مدل با اعتمادبه‌نفس بیشتری ادعا کرد که می‌تواند تخته‌ی شطرنج را دنبال کند، اما در همان ۷ حرکت ابتدایی، دو سرباز، یک فیل و یک اسب را از دست داد و حتی پیشنهاد داد وزیرش را در مسیر مستقیم وزیر آتاری قرار دهد. درهر حال نتیجه این بازی هم چیزی جز شکست نبود.
مقاله‌های مرتبط:
آزمایش ساده‌ی کاروسو نشان داد که با وجود تبلیغات گسترده درباره‌ی توانایی‌های هوش مصنوعی، این مدل‌ها در درک مفاهیم پایه‌ای مانند وضعیت صفحه‌ی شطرنج با مشکل مواجه می‌شوند. برخلاف ادعای شرکت‌ها درباره‌ی جایگزینی انسان در مشاغل پیچیده، این مدل‌ها همچنان فاقد درک واقعی، تفکر انتزاعی و حافظه پایدار هستند. اگر مدل زبانی بزرگ قادر به تشخیص تفاوت بین رخ و فیل نیست، چطور می‌توان در زمینه‌هایی مثل داده‌های پزشکی یا انرژی به آن اعتماد کرد؟
source