سال گذشته، مایکروسافت کامپیوترهای Copilot+ را معرفی کرد که دارای یک واحد پردازش عصبی اختصاصی (NPU) با توان پردازشی بیش از ۴۰ TOPS یا بیشتر بودند. این کامپیوترهای Copilot+ به Phi-Silica مجهز شدند؛ یک مدل زبانی کوچک (SLM) که روی دستگاه اجرا می‌شود تا توانایی‌های هوشمندی زبانی را به برنامه‌های اختصاصی مایکروسافت و همچنین اپلیکیشن‌های توسعه‌دهندگان دیگر اضافه کند.
امروز مایکروسافت مدل Mu را معرفی کرد؛ یک مدل زبانی کوچک جدید که روی خود دستگاه ساخته شده و در ویندوز ۱۱ قرار گرفته است. هدف مایکروسافت این بود که یک عامل هوشمند مبتنی بر هوش مصنوعی در اپلیکیشن تنظیمات ایجاد کند که بتواند درخواست‌های کاربران را به زبان طبیعی درک کند و این قابلیت را در جعبه جستجوی موجود ادغام کند تا تجربه کاربری روان‌تری فراهم شود. به همین دلیل مایکروسافت از مدل جدید Mu برای فعال‌سازی قابلیت عامل جدید در برنامه تنظیمات استفاده می‌کند؛ قابلیتی که اخیراً برای کاربران Windows Insider در کانال Dev و روی کامپیوترهای Copilot+ ارائه شده است.
مانند Phi-Silica، مدل Mu هم به گونه‌ای طراحی شده که روی NPUها به شکل بهینه اجرا شود و هنگام اجرا به صورت محلی، بیش از ۱۰۰ توکن در ثانیه پردازش کند. مایکروسافت در وبلاگ رسمی
خود توضیح داده که چگونه مدل زبانی Mu را طراحی و آموزش داده است. در اینجا مروری بر ویژگی‌های مدل زبانی Mu آمده است:
- Mu یک مدل زبانی رمزگذار-رمزگشا (encoder-decoder) با ۳۳۰ میلیون پارامتر است.
- رویکرد رمزگذار-رمزگشا حدود ۴۷ درصد تأخیر کمتری برای اولین توکن و سرعت رمزگشایی ۴.۷ برابر بیشتر نسبت به مدل فقط رمزگشا با اندازه مشابه داشته است.
- Mu برای کاهش تعداد کل پارامترها، در برخی بخش‌ها از اشتراک وزن استفاده می‌کند.
- مایکروسافت مدل Mu را با استفاده از کارت‌های گرافیک NVIDIA A100 و سرویس Azure Machine Learning آموزش داده است.
- عملکرد Mu تقریباً با مدل Phi-3.5-mini که به طور مشابه تنظیم شده، برابری می‌کند؛ با وجود اینکه Mu فقط یک‌دهم اندازه آن است.
- این مدل برای جستجوهای چندکلمه‌ای مناسب‌تر است. بنابراین برای ورودی‌های کوتاه یا ناقص، برنامه تنظیمات همچنان نتایج جستجوی واژگانی و معنایی را در جعبه جستجو نمایش می‌دهد.
source