آزمایشگاه چینی MemTensor از MemT-1.0 رونمایی کرده است؛ دو مدل زبانی که می‌توانند گفت‌وگوهای گذشته را به خاطر بسپارند، بی‌آنکه متن کامل آن‌ها را در هر درخواست همراه خود ببرند. گزارش فنی این پروژه با عنوان MemT-1.0: Towards Memory-Native Evolution روز ۱۹ اکتبر ۲۰۲۶ با نام ۷۴ پژوهشگر در arXiv قرار گرفت و شرکت یک روز بعد انتشار متن‌باز آن را رسماً اعلام کرد. کد در GitHub و وزن‌ها در Hugging Face در دسترس است.

بیشتر دستیارهای هوش مصنوعی امروز حافظه را به یکی از دو روش مدیریت می‌کنند: یا پیام‌های قدیمی را مدام در پنجره زمینه انباشته می‌کنند که با بلندتر شدن تاریخچه، هر فراخوانی را کندتر و گران‌تر می‌کند، یا به یک انباره بیرونی تکیه می‌کنند و هر بار تکه‌هایی از آن بیرون می‌کشند. MemT-1.0 راه سومی را برگزیده است. هر مدل یک وضعیت حافظه با اندازه ثابت دارد که در پایان هر نوبت به‌روز می‌شود؛ بنابراین گفت‌وگوهای پیشین را می‌توان از پرامپت حذف کرد، بی‌آنکه محتوای آن‌ها از دسترس شبکه خارج شود.

این خانواده دو عضو دارد. MemT-1.0-Nano بر پایه Qwen3.6-35B-A3B ساخته شده و در مجموع ۳۶ میلیارد پارامتر دارد که ۳ میلیارد از آن‌ها برای هر توکن فعال می‌شوند؛ ۴۵۱ میلیون پارامتر حافظه آموزش‌پذیر و یک وضعیت پویای حافظه که اندازه آن در README برابر 10M ذکر شده نیز به آن افزوده شده است. MemT-1.0-Flash بر DeepSeek-V4-Flash تکیه دارد و به ۲۸۸ میلیارد پارامتر می‌رسد که ۱۷ میلیارد از آن‌ها فعال‌اند، ۳٫۶۱ میلیارد به حافظه اختصاص دارد و اندازه وضعیت پویای حافظه‌اش 336M است. در هر دو مدل، بلوکی به نام Native Memory Block در کنار سازوکار توجه مدل پایه کار می‌کند. بخش Local Memory Block یک ماتریس چندکاناله را نگه می‌دارد که گام‌به‌گام تغییر می‌کند و بخش Hyper Memory Block افکنش‌های آموخته‌شده و دروازه‌هایی برای پاک کردن، نوشتن، فراموش کردن و خروجی فراهم می‌آورد. به‌روزرسانی‌ها توکن‌به‌توکن و با نسخه‌ای پایدارشده از Gated DeltaNet-2 انجام می‌شود. طرحی که MemTensor آن را Mixture-of-Storage می‌نامد، این حافظه را میان چند متخصص تقسیم می‌کند تا ظرفیت بالاتر برود.

آموزش در دو مرحله انجام شد، یعنی ادامه پیش‌آموزش و سپس پس‌آموزش، و در مجموع ۳۴ میلیارد توکن داده به کار رفت. به گفته MemTensor، در ۱۱ آزمون سنجش حافظه، Flash و Nano با میانگین ۵۰٫۶ و ۴۷٫۰ رتبه‌های اول و دوم را در میان روش‌های حافظه پارامتری مقایسه‌شده به دست آوردند. خود مخزن پروژه هم محدودیت را پنهان نمی‌کند: سامانه‌های قوی حافظه متنی که شواهد اصلی را بازیابی می‌کنند، در مجموع همچنان بهترند، به‌ویژه در تاریخچه‌های طولانی که دقت در جزئیات اهمیت دارد.

چشمگیرترین ارقام کارایی از گزارش فنی می‌آید. با تاریخچه‌ای ۱۲۸ هزار توکنی، Nano از ابتدا تا انتها حدود ۱٫۸۶ برابر سریع‌تر از یک مدل مرجع با زمینه کامل کار می‌کند و تقریباً ۶۶ برابر فضای ذخیره‌سازی ماندگار کمتری نسبت به نگهداری حافظه نهان KV لازم دارد. داده‌هایی که همراه با عرضه منتشر شد و NetEase آن را بازتاب داد، از افزایش سرعتی نزدیک به ۳٫۹۹ برابر در ۲۵۶ هزار توکن و وضعیت حافظه‌ای حدود ۴۰ مگابایت برای هر نشست حکایت دارد.

MemTensor این ایده را روی عامل‌های برنامه‌نویسی هم آزموده است. به جای چسباندن درس‌های تلاش‌های قبلی در پرامپت، چارچوب این شرکت هر وقت عامل گیر کند، آن تجربه را مستقیماً در حافظه می‌نویسد. به گزارش شرکت، میانگین موفقیت Nano در SWE-bench Verified با این روش از ۶۶٫۰۷ درصد به ۶۹٫۷۳ درصد رسید که اندکی بالاتر از نسخه‌ای است که همان تجربه را به شکل متن دریافت کرده بود؛ در SWE-bench Multilingual نیز این رقم از ۶۰٫۰۰ به ۶۳٫۵۶ درصد افزایش یافت.

وضعیت مجوزها یکدست نیست. وزن‌های Flash با مجوز MIT و وزن‌های Nano با Apache 2.0 منتشر شده‌اند، اما کد مخزن، از جمله بخش یکپارچه‌سازی با SGLang برای اجرای مدل‌ها، تحت مجوز PolyForm Noncommercial قرار دارد و استفاده تجاری از این نرم‌افزار به اجازه جداگانه نیاز دارد. همه اعداد مربوط به عملکرد و کارایی تاکنون از سوی خود شرکت اعلام شده و هیچ گروه مستقلی آن‌ها را بازتولید نکرده است.

منابع