Pruna AI Open Sources چارچوب بهینه سازی مدل AI آن
Pruna Ai، یک استارتاپ اروپایی که در حال کار بر روی الگوریتم های فشرده سازی برای مدل های AI است ، در حال ساخت چارچوب بهینه سازی آن است منبع باز پنجشنبه
Pruna AI چارچوبی را ایجاد کرده است که چندین روش کارآیی مانند ذخیره سازی ، هرس ، کمیت و تقطیر را به یک مدل هوش مصنوعی داده شده اعمال می کند.
Pruna AI Co-Bonder و CTO John Rachwan به TechCrunch گفت: “ما همچنین صرفه جویی و بارگیری مدلهای فشرده شده ، استفاده از ترکیب این روشهای فشرده سازی و همچنین ارزیابی مدل فشرده شده شما را پس از فشرده سازی آن ، استاندارد می کنیم.”
به طور خاص ، چارچوب Pruna AI می تواند ارزیابی کند که آیا از دست دادن کیفیت قابل توجهی پس از فشرده سازی یک مدل و سود عملکردی که به دست می آورید ، وجود دارد.
وی افزود: “اگر من از استعاره استفاده می کردم ، ما شبیه به چگونگی بغل کردن ترانسفورماتورها و دیفیوزرهای استاندارد شده با چهره هستیم – نحوه تماس با آنها ، نحوه ذخیره آنها ، بارگذاری آنها و غیره. ما همین کار را می کنیم ، اما برای روش های کارآیی.”
آزمایشگاه های بزرگ AI قبلاً از روشهای مختلف فشرده سازی استفاده کرده اند. به عنوان مثال ، OpenAi برای ایجاد نسخه های سریعتر از مدل های پرچمدار خود به تقطیر متکی است.
این به احتمال زیاد چگونه OpenAI GPT-4 Turbo ، نسخه سریعتر GPT-4 را توسعه داد. به همین ترتیب ، شار مدل تولید تصویر یک نسخه مقطر از مدل Flux.1 از آزمایشگاه های جنگل سیاه است.
تقطیر تکنیکی است که برای استخراج دانش از یک مدل بزرگ هوش مصنوعی با یک مدل “معلم و دانش آموز” استفاده می شود. توسعه دهندگان درخواست ها را به یک مدل معلم ارسال می کنند و خروجی ها را ضبط می کنند. پاسخ ها گاهی اوقات با یک مجموعه داده مقایسه می شوند تا ببینند آنها چقدر دقیق هستند. این خروجی ها سپس برای آموزش مدل دانشجویی استفاده می شوند که برای تقریب رفتار معلم آموزش دیده است.
راچوان گفت: “برای شرکت های بزرگ ، کاری که آنها معمولاً انجام می دهند این است که آنها این مواد را در خانه می سازند. و آنچه می توانید در دنیای منبع باز پیدا کنید ، معمولاً بر اساس روشهای واحد است. به عنوان مثال ، بیایید بگوییم یک روش کمیت برای LLM ها یا یک روش ذخیره سازی برای مدل های انتشار است.” “اما شما نمی توانید ابزاری پیدا کنید که همه آنها را جمع کند ، همه آنها را برای استفاده و ترکیب آنها آسان می کند. و این مقدار بزرگی است که Pruna در حال حاضر به ارمغان می آورد.”
در حالی که Pruna AI از هر نوع مدل پشتیبانی می کند ، از مدل های بزرگ زبان گرفته تا مدل های انتشار ، مدل های گفتار به متن و مدل های دید رایانه ای ، این شرکت در حال حاضر به طور خاص روی مدل های تولید تصویر و فیلم تمرکز دارد.
برخی از کاربران موجود Pruna AI شامل سناریو وت عکسبرداریبشر علاوه بر نسخه منبع باز ، Pruna AI دارای یک شرکت با ویژگی های بهینه سازی پیشرفته ، از جمله یک عامل بهینه سازی است.
راچوان گفت: “هیجان انگیزترین ویژگی ای که به زودی منتشر می کنیم یک عامل فشرده سازی خواهد بود.” “اساساً ، شما به آن مدل خود را می دهید ، می گویید:” من سرعت بیشتری می خواهم اما دقت خود را بیش از 2 ٪ کاهش ندهید. ” و پس از آن ، مأمور جادوی خود را انجام می دهد.
Pruna AI برای نسخه حرفه ای خود ساعت را شارژ می کند. راچوان گفت: “این شبیه به نحوه فکر کردن به GPU هنگام اجاره GPU در AWS یا هر سرویس ابری است.”
و اگر مدل شما بخش مهمی از زیرساخت های هوش مصنوعی شما است ، در نهایت پس انداز زیادی را برای استنتاج با مدل بهینه شده پس انداز خواهید کرد. به عنوان مثال ، Pruna AI با استفاده از چارچوب فشرده سازی خود ، هشت برابر مدل Llama را هشت برابر کوچکتر ساخته است. Pruna AI امیدوار است که مشتریان خود در مورد چارچوب فشرده سازی خود به عنوان سرمایه گذاری که برای خود می پردازد فکر کنند.
Pruna AI چند ماه پیش 6.5 میلیون دلار بودجه بذر جمع آوری کرد. سرمایه گذاران در این راه اندازی شامل EQT Ventures ، Daphni ، Motier Ventures و Kima Ventures هستند.