PrismML امیدوار است LLM کوچک آن نحوه استفاده همه ما از هوش مصنوعی را تغییر دهد

اگر آزمایشگاه هوش مصنوعی PrismML هنوز در رادار شما قرار نگرفته است، باید باشد – نه به این دلیل که انبوهی از پول جمع آوری کرده است (هنوز 22.25 میلیون دلار سرمایه جمع آوری نکرده است)، بلکه به دلیل ذهن فنی درگیر و فناوری بالقوه در حال تغییر صنعت که در حال توسعه است.

PrismML شرط بندی می کند که مدل های زبان بزرگ توانا، با کارایی بالا و استدلال، در واقع، نباید بزرگ باشند.

این مدل‌های استدلال را آنقدر کوچک می‌کند که می‌توانند روی رایانه‌های شخصی و تلفن‌های هوشمند جا شوند. (حتی شایعه شده است برای مذاکره با اپل، اگرچه بابک حسیبی مدیر عامل شرکت از اظهار نظر در مورد آن به TechCrunch خودداری کرد.)

روز پنجشنبه، PrismML Bonsai 2 27B منتشر شدجدیدترین آن در یک خانواده از مدل‌ها است که Qwen3.8 27B، یک مدل منبع باز پرکاربرد علی‌بابا را تا 5.9 گیگابایت فشرده می‌کند. این به اندازه کافی کوچک است تا روی رایانه شخصی و احتمالاً یک تلفن هوشمند رده بالا قرار بگیرد. این یک کاهش 9 برابری تا 10 برابری در حافظه نسبت به نسخه اصلی است.

PrismML توسط گروهی از محققان Caltech تاسیس شد و توسط Hassibi، استاد Caltech و متخصص در فناوری های فشرده سازی هدایت می شود. این استارتاپ همچنین یون استویکا را به عنوان مشاور در نظر می گیرد. Stoica یکی از بنیان‌گذاران Databricks (و سایر شرکت‌ها) و مدیر آزمایشگاه مشهور محاسبات آسمان برکلی است که فناوری‌ها و استارت‌آپ‌های بسیاری را از Letta گرفته تا SGLang را به وجود آورده است.

PrismML همچنین توسط سرمایه گذاران Khosla Ventures، Cerberus Capital و Caltech حمایت می شود.

این استارت آپ مطمئنا تنها شرکتی نیست که روی فناوری فشرده سازی LLM کار می کند. محاسبات چند وجهی که توسط یک پروفسور مشهور از مرکز بین المللی فیزیک دونوستیا اسپانیا تأسیس شده است، یکی دیگر از این موارد است. (و Multiverse Computing مقدار زیادی پول به دست آورده است.)

اما حسیبی می‌گوید که فناوری فشرده‌سازی PrismML منحصربه‌فرد است زیرا LLM‌های آن در مقایسه با نسخه‌های اصلی عملاً هیچ کارایی را از دست نداده‌اند. Bonsai 2 با 98% امتیازات معیار کل Qwen مطابقت دارد. این بیشتر از اولین بونسای است که چند ماه پیش در ماه مارس منتشر شد و 95% مطابقت داشت. این شرکت می‌گوید که مدل اصلی تاکنون بیش از 11 میلیون بار دانلود شده است و مدل‌های کوچک‌تر PrismML نیز 2.6 میلیون بار دیگر دانلود شده‌اند.

بنابراین این نشان می دهد که نتایج فشرده سازی PrismML از یک نسخه به نسخه دیگر بهبود یافته است. اینکه آیا هرگز می تواند به برابری عملکرد معیار 100% برسد یا خیر، سوالی است که باید دید. فشرده سازی به احتمال زیاد همیشه وجود خواهد داشت برخی حسیبی می گوید تاثیر.

با این حال، برابری معیار کامل به هر حال نسبتاً آکادمیک است. LLM ها در شکل فشرده نشده خود آنقدر دقیق نیستند و معیارها آنقدر منعکس کننده وظایف واقعی نیستند که کاهش 2 درصدی احتمالاً به طور معناداری بر نحوه عملکرد یک مدل در استفاده واقعی تأثیر می گذارد. (به علاوه، نرم افزار اطراف – مهاری که یک مدل در داخل آن اجرا می شود – در مورد دقت نیز اهمیت زیادی دارد.)

PrismML می‌گوید که با کوچک کردن «وزن‌هایی» که یک مدل را می‌سازد به این مهم دست می‌یابد – وزن‌ها اساساً اطلاعاتی هستند که یک مدل در طول آموزش یاد می‌گیرد و ذخیره می‌کند. به طور معمول، هر وزن به 16 بیت نیاز دارد. رویکرد PrismML که وزن‌های “سه تایی” نامیده می‌شود، آن را تا سه مورد ساده می‌کند: 1+، 1- یا 0. با مقادیر بسیار کوچک‌تری برای ذخیره برای هر وزن، مدل فضای بسیار کمتری را اشغال می‌کند. (برای غواصی عمیق تر در مورد تکنیک فشرده سازی، در اینجا پروژه آمده است صفحه صورت در آغوش گرفتن.)

هدف بعدی این استارت‌آپ استفاده از این تکنیک فشرده‌سازی در مدل‌های بزرگ‌تر است. حسیبی به تک‌کرانچ گفت: «مدل‌های بعدی که ما عرضه می‌کنیم، امیدواریم در چند ماه آینده، در محدوده چند صد میلیارد پارامتری باشند و من انتظار دارم که حفظ هوشمندی در آنجا آسان‌تر باشد».

با افزایش اندازه مدل، او افزود: “جای بیشتری برای فشرده سازی آنها بدون از دست دادن هوش وجود دارد. بنابراین من فقط می گویم، به عنوان یک روند کلی، برای مدل های بزرگتر، رسیدن به 100٪ آسان تر است.”

Stoica به ما می گوید که او برای این فناوری هیجان زده است زیرا این امکان را برای مدل های پیشرفته در دستگاه های کاربران فراهم می کند. “شما قرار است هوشمندی را در دستان خود داشته باشید، و رایگان خواهد بود زیرا روی دستگاهی که قبلا خریداری کرده اید اجرا می شود. همچنین خصوصی خواهد بود، زیرا قرار نیست آن را به ابر ارسال کنید.”