اجرای یک مدل زبانی باز روی رایانه ویندوزی تا امروز حوصله زیادی می‌خواست: باید نسخه درست llama.cpp را برای سخت‌افزار خود پیدا می‌کردید، سراغ یک نسخه کوانتیزه مناسب می‌رفتید و سروری با تنظیمات درست راه می‌انداختید. Hugging Face می‌خواهد این دردسر را حذف کند. این شرکت روز ۱۳ اکتبر از Llama Windows رونمایی کرد؛ برنامه‌ای رایگان که در سینی سیستم ویندوز ۱۱ جا می‌گیرد و همه این کارها را بدون نیاز به خط فرمان انجام می‌دهد.
این برنامه همتای ویندوزی Llama for Mac است، ابزاری که از طریق llama.app عرضه می‌شود. کد آن با مجوز MIT در مخزن ggml-org/Llama-Windows روی GitHub در دسترس است. بنا بر فایل README پروژه، این نسخه بازنویسی همان برنامه مک با فناوری WinUI 3 است و به شکل بسته امضاشده برای رایانه‌های x64 و ARM64 ارائه می‌شود. به گفته Hugging Face، نصب آن به دسترسی مدیر سیستم نیازی ندارد.
با کلیک روی نماد لاما، پنجره کوچکی باز می‌شود. در بخش مدل‌های پیشنهادی، نسخه‌های کوانتیزه آماده از مدل‌های باز پرطرفدار Hub فهرست شده‌اند و برای هر کدام تعداد پارامترها، حجم روی دیسک و پشتیبانی یا عدم پشتیبانی از تصویر نمایش داده می‌شود تا کاربر پیش از دانلود بداند مدل با رایانه‌اش سازگار است یا نه. بخش دیگری مدل‌های نصب‌شده را نشان می‌دهد، امکان بارگذاری یا خارج کردن آن‌ها از حافظه را می‌دهد و رابط وب llama.cpp را برای گفت‌وگو باز می‌کند. کلید میانبر Alt+Space هم از درون هر برنامه‌ای پنجره گفت‌وگو را ظاهر می‌کند.
در پشت صحنه، برنامه یا به سرور llama.cpp در حال اجرا وصل می‌شود یا سرور خودش را راه می‌اندازد و مدیریت می‌کند. اگر llama.cpp نصب نباشد، آن را با نصب‌کننده رسمی دریافت می‌کند. این سرور روی درگاه ۹۹۳۱ رایانه محلی کار می‌کند و رابط برنامه‌نویسی سازگار با OpenAI ارائه می‌دهد؛ یعنی اسکریپت‌ها، ویرایشگرها و عامل‌های برنامه‌نویسی که برای این رابط ساخته شده‌اند می‌توانند به‌جای سرویس ابری از مدل‌های محلی استفاده کنند. فایل‌ها در حافظه پنهان استاندارد Hugging Face در پوشه کاربر ذخیره می‌شوند و ابزارهای دیگر هم می‌توانند از همان نسخه‌ها استفاده کنند. برای مخزن‌های خصوصی یا محدود نیز می‌توان توکن دسترسی افزود.
سخت‌افزار هم بخشی از این عرضه است. برنامه به‌صورت بومی روی Windows on Arm اجرا می‌شود و Hugging Face می‌گوید با NVIDIA همکاری کرده تا Llama Windows از روز نخست برای RTX Spark، سکوی تازه NVIDIA برای هوش مصنوعی محلی روی رایانه‌های ویندوزی، آماده باشد. به ادعای این شرکت، llama.cpp بدون تنظیم دستی از توان پردازشی و حافظه این سخت‌افزار به‌طور کامل بهره می‌برد؛ ادعایی که هنوز با آزمون مستقل سنجیده نشده است.
حریم خصوصی برگ برنده دیگر است. طبق README، برنامه هیچ داده تله‌متری نمی‌فرستد و پرسش‌ها و پردازش مدل روی خود رایانه می‌ماند؛ ارتباط با بیرون فقط برای دانلود مدل، بررسی به‌روزرسانی و تماس با سرور محلی برقرار می‌شود. این ویژگی برای توسعه‌دهندگان و شرکت‌هایی که می‌خواهند مدل‌های باز را روی داده‌های حساس آزمایش کنند و نمی‌خواهند اطلاعات را به یک سرویس ابری بسپارند اهمیت دارد.
با این حال باید این عرضه را در بستر خودش دید. مخزن پروژه در ماه ژوئن ساخته شده و از اوت نسخه‌های شماره‌دار منتشر کرده است؛ تازه‌ترین آن‌ها v0.12.0 در ۱۰ اکتبر بوده. پس این اعلام بیشتر رونمایی رسمی از نرم‌افزاری است که پیش‌تر به‌صورت علنی در حال ساخت بود. برنامه فقط روی ویندوز ۱۱ کار می‌کند، کیفیت پاسخ‌ها به مدلی که کاربر انتخاب می‌کند بستگی دارد و در متن اعلام، از عملکرد آن روی لپ‌تاپ‌های معمولی بدون RTX Spark چیزی گفته نشده است.