چرا رهبر سابق تحقیقات هوش مصنوعی Cohere علیه مسابقه مقیاس بندی شرط بندی می کند

آزمایشگاه‌های هوش مصنوعی در حال رقابت برای ساخت مراکز داده هستند به بزرگی منهتن، هر کدام میلیاردها دلار هزینه دارند و به اندازه یک شهر کوچک انرژی مصرف می کنند. این تلاش با اعتقاد عمیق به «مقیاس‌سازی» هدایت می‌شود – این ایده که افزودن قدرت محاسباتی بیشتر به روش‌های آموزشی موجود هوش مصنوعی در نهایت سیستم‌های فوق‌هوشمندی را به همراه خواهد داشت که قادر به انجام انواع کارها هستند.

اما گروه رو به رشدی از محققان هوش مصنوعی می‌گویند که مقیاس‌بندی مدل‌های زبان بزرگ ممکن است به محدودیت‌های خود رسیده باشد و ممکن است برای بهبود عملکرد هوش مصنوعی به پیشرفت‌های دیگری نیاز باشد.

این شرطی است که سارا هوکر، معاون سابق تحقیقات هوش مصنوعی کوهر و یکی از فارغ التحصیلان مغز گوگل، با استارت آپ جدید خود می پذیرد. آزمایشگاه های سازگاری. او با همکاری Cohere و کهنه کار گوگل، Sudip Roy، این شرکت را تأسیس کرد، و این بر اساس این ایده است که افزایش مقیاس LLM به روشی ناکارآمد برای کاهش عملکرد بیشتر از مدل‌های هوش مصنوعی تبدیل شده است. هوکر که در ماه اوت کوهره را ترک کرد، بی سر و صدا اعلام کرد استارت آپ در این ماه شروع به استخدام گسترده تر می کند.

هوکر در مصاحبه‌ای با TechCrunch می‌گوید Adaption Labs در حال ساخت سیستم‌های هوش مصنوعی است که می‌توانند به طور مداوم تجارب دنیای واقعی خود را تطبیق دهند و از آنها بیاموزند و این کار را بسیار کارآمد انجام دهند. او از به اشتراک گذاشتن جزئیات در مورد روش های پشت این رویکرد یا اینکه آیا شرکت به LLM ها یا معماری دیگری متکی است، خودداری کرد.

هوکر می‌گوید: «اکنون نقطه عطفی وجود دارد که کاملاً واضح است که فرمول صرفاً مقیاس‌پذیری این مدل‌ها – رویکردهای مقیاس‌بندی شده، که جذاب اما بسیار خسته‌کننده هستند – هوشمندی ایجاد نکرده است که بتواند با جهان حرکت کند یا با آن تعامل داشته باشد.

به گفته هوکر، سازگاری «قلب یادگیری» است. به عنوان مثال، وقتی از کنار میز ناهارخوری خود عبور می کنید، انگشت پای خود را بکوبید و یاد خواهید گرفت که دفعه بعد با دقت بیشتری دور آن قدم بردارید. آزمایشگاه‌های هوش مصنوعی سعی کرده‌اند این ایده را از طریق یادگیری تقویتی (RL) دریافت کنند، که به مدل‌های هوش مصنوعی اجازه می‌دهد از اشتباهات خود در تنظیمات کنترل‌شده درس بگیرند. با این حال، روش‌های RL امروزی به مدل‌های هوش مصنوعی در تولید کمک نمی‌کنند – به این معنی که سیستم‌هایی که قبلاً توسط مشتریان استفاده می‌شوند – در زمان واقعی از اشتباهات خود درس بگیرند. آنها فقط به انگشتان پای خود ضربه می زنند.

برخی از آزمایشگاه‌های هوش مصنوعی خدمات مشاوره‌ای را برای کمک به شرکت‌ها ارائه می‌دهند تا مدل‌های هوش مصنوعی خود را مطابق با نیازهای سفارشی خود تنظیم کنند، اما این کار قیمتی دارد. گزارش شده است که OpenAI مشتریان را ملزم می کند بیش از 10 میلیون دلار خرج کنید با شرکت برای ارائه خدمات مشاوره ای خود در زمینه تنظیم دقیق.

هوکر می‌گوید: «ما تعدادی آزمایشگاه مرزی داریم که مجموعه‌ای از مدل‌های هوش مصنوعی را تعیین می‌کنند که به روشی یکسان به همه ارائه می‌شوند، و سازگاری با آنها بسیار گران است. و در واقع، من فکر می‌کنم دیگر نیازی نیست که این موضوع درست باشد، و سیستم‌های هوش مصنوعی می‌توانند بسیار کارآمد از یک محیط بیاموزند. اثبات آن پویایی افرادی را که می‌توانند هوش مصنوعی را کنترل و شکل دهند، و واقعاً این مدل‌ها در پایان به چه کسانی خدمت می‌کنند، کاملاً تغییر می‌دهد.»

Adaption Labs آخرین نشانه ای است که نشان می دهد ایمان صنعت به مقیاس پذیری LLM در حال تزلزل است. یک مقاله اخیر از محققان MIT نشان می دهد که بزرگترین مدل های هوش مصنوعی در جهان است ممکن است به زودی بازدهی کاهشی را نشان دهد. به نظر می رسد حال و هوای سانفرانسیسکو نیز در حال تغییر است. پادکست مورد علاقه دنیای هوش مصنوعی، دوارکش پاتل، اخیراً میزبان چند مکالمه غیرعادی شک و تردید با محققان مشهور هوش مصنوعی بود.

ریچارد ساتون، برنده جایزه تورینگ که به عنوان “پدر RL” شناخته می شود، در سپتامبر به پاتل گفت که LLM ها واقعا نمی توانند مقیاس شوند زیرا آنها از تجربه دنیای واقعی یاد نمی گیرند. در این ماه، آندری کارپاتی، کارمند اولیه OpenAI به پاتل گفت رزرو داشت در مورد پتانسیل بلند مدت RL برای بهبود مدل های هوش مصنوعی.

این نوع ترس ها بی سابقه نیستند. در اواخر سال 2024، برخی از محققان هوش مصنوعی این نگرانی را مطرح کردند که مقیاس‌بندی مدل‌های هوش مصنوعی از طریق پیش‌آموزش – که در آن مدل‌های هوش مصنوعی الگوها را از انبوهی از مجموعه‌های داده یاد می‌گیرند – بازدهی رو به کاهشی دارد. تا آن زمان، پیش‌آموزش، سس مخفی OpenAI و Google برای بهبود مدل‌های خود بود.

نگرانی‌های مربوط به مقیاس‌بندی پیش‌آموزش اکنون در داده‌ها نمایان می‌شود، اما صنعت هوش مصنوعی راه‌های دیگری برای بهبود مدل‌ها پیدا کرده است. در سال 2025، پیشرفت‌هایی در مورد مدل‌های استدلال هوش مصنوعی، که زمان و منابع محاسباتی بیشتری را برای حل مشکلات قبل از پاسخ گرفتن نیاز دارند، قابلیت‌های مدل‌های هوش مصنوعی را حتی بیشتر کرده است.

به نظر می‌رسد آزمایشگاه‌های هوش مصنوعی متقاعد شده‌اند که ارتقای مدل‌های استدلال RL و AI مرز جدید هستند. محققان OpenAI قبلاً به TechCrunch گفته‌اند که اولین مدل استدلال هوش مصنوعی خود، o1 را توسعه داده‌اند، زیرا فکر می‌کردند که به خوبی مقیاس‌پذیر خواهد شد. اخیراً محققان Meta و Periodic Labs یک کاغذ منتشر کرد بررسی اینکه چگونه RL می تواند عملکرد را بیشتر مقیاس کند – مطالعه ای که گزارش شده است هزینه بیش از 4 میلیون دلار تاکید بر اینکه رویکردهای فعلی چقدر گران هستند.

در مقابل، Adaption Labs قصد دارد پیشرفت بعدی را بیابد و ثابت کند که یادگیری از تجربه می تواند بسیار ارزان تر باشد. به گفته سه سرمایه‌گذار که مراحل اولیه آن را بررسی کردند، این استارت‌آپ در حال مذاکره برای جمع‌آوری 20 تا 40 میلیون دلاری در اوایل پاییز بود. آنها می گویند که دور از آن زمان بسته شده است، اگرچه مبلغ نهایی نامشخص است. هوکر از اظهار نظر خودداری کرد.

هوکر در پاسخ به سوالی درباره سرمایه گذارانش گفت: «ما طوری تنظیم شده ایم که بسیار جاه طلب باشیم.

هوکر قبلاً Cohere Labs را رهبری می کرد، جایی که او مدل های کوچک هوش مصنوعی را برای موارد استفاده سازمانی آموزش می داد. سیستم‌های هوش مصنوعی فشرده اکنون به طور معمول از همتایان بزرگ‌تر خود در معیارهای کدنویسی، ریاضی و استدلال بهتر عمل می‌کنند – روندی که هوکر می‌خواهد به آن ادامه دهد.

او همچنین به دلیل گسترش دسترسی به تحقیقات هوش مصنوعی در سطح جهان، با استخدام استعدادهای پژوهشی از مناطق کم نمایندگی مانند آفریقا، شهرتی به دست آورد. در حالی که آزمایشگاه های انطباق به زودی دفتری در سانفرانسیسکو افتتاح خواهند کرد، هوکر می گوید که قصد دارد در سراسر جهان استخدام کند.

اگر Hooker و Adaption Labs در مورد محدودیت‌های مقیاس‌بندی درست بگویند، پیامدهای آن می‌تواند بسیار زیاد باشد. در حال حاضر میلیاردها دلار در مقیاس‌بندی LLM سرمایه‌گذاری شده است، با این فرض که مدل‌های بزرگ‌تر به هوش عمومی منجر می‌شوند. اما این امکان وجود دارد که یادگیری انطباقی واقعی نه تنها قدرتمندتر بلکه کارآمدتر باشد.

مارینا تمکین در ارائه گزارش مشارکت کرد.