Vals با پشتیبانی آندرسن هوروویتز به دنبال تبدیل شدن به استاندارد طلایی برای محک زدن هوش مصنوعی است.

بنچمارک کردن به معیار صنعت تبدیل شده است که چگونه شرکتهای هوش مصنوعی قابلیتهای مدلهای خود را اعتبار میبخشند و وقتی معیارها به نفع آنها تغییر میکند، از رقبا متمایز میشوند و برتری خود را تبلیغ میکنند. به عبارت دیگر، معیارهای خوب تقریباً همیشه به معنای روابط عمومی خوب هستند.
متأسفانه، شرکتها همچنین متوجه شدهاند که چگونه میتوانند از سیستمهای بنچمارک قدیمی غلبه کنند – بسیاری از آنها بزرگتر هستندو برای اندازه گیری قابلیت های مدل های مدرن ساخته نشده است.
Vals، یک استارتاپ در سال 2024 تشکیل شد، می گوید که ماموریت دارد این سیستم بسیار ناقص را تعمیر کند. در بازه زمانی کمتر از دو سال، این شرکت خود را به عنوان یک حضور قابل توجه در صنعت فناوری تثبیت کرده است و در سال گذشته، موفق به کسب یک دور اولیه به رهبری 8VC و بلومبرگ بتا شد. سپس، ماه گذشته، پس از یک دوره رشد سریع، آن را 40 میلیون دلار جمع آوری کرد در سریال A به رهبری آندریسن هوروویتز.
رایان کریشنان، بنیانگذار 25 ساله این شرکت، قبلاً در Palantir کارآموزی کرده بود، و به عنوان یک دانشجوی کارشناسی در استنفورد، برای مایکروسافت و آزمایشگاه هوش مصنوعی بسیار تحسین شده مدرسه کار می کرد. کریشنان میگوید که والس از مشاهدات خودش در مورد اینکه چگونه معیارسازی از پیشرفتهای صنعتی که برای اندازهگیری طراحی شده بود عقب میماند، متولد شد.
ما شاهد آمدن یکسری مدلهای جدید و بسیار توانا بودیم که به سرعت به بازار آمدند و معیارهای آکادمیک [were] کریشنان میگوید با ادغام هوش مصنوعی در هر بخش از جامعه، معیارهایی باید برای تأیید اینکه مدلها میتوانند کاری را که شرکتها تبلیغ میکنند انجام دهند، انجام دهند.
هفته گذشته، بنیانگذار جوان دفتر دو طبقه شرکتش را در خیابان فولسوم سانفرانسیسکو به من نشان داد – یک ساختمان آجری قدیمی که یک قرن پیش، به عنوان محل یک آبجوسازی بزرگ خدمت می کرد. این ساختار تاریخی به جای تولید آبجو صنعتی، اکنون میزبان تعدادی استارتاپ مختلف است که به دنبال عرضه آینده صنعت فناوری هستند.
کریشن به من می گوید: «از لحاظ تاریخی، فکر می کنم ارزیابی برای ارزیابی هوش به روشی بسیار انتزاعی انجام شده است. “مثلا، آیا مدل ها اطلاعات کافی برای شرکت در آزمون نوع آزمون وکالت را می دانند؟”
در اینجا، والس به دنبال متمایز ساختن خود است. در حالی که بسیاری از سیستم های بنچمارک تست هایی را ارائه می دهند که به صورت عمومی در دسترس هستند (این می تواند به یک شرکت اجازه دهد تا مدل خود را در برابر آن تست ها آموزش دهد، بنابراین مسلما تقلب در امتحانشان)، Vals مواد آزمایشی خاص خود را به طور عمومی فاش نمی کند. به جای اندازهگیری دانش عمومی یک مدل هوش مصنوعی، Vals همچنین مدلها را بر اساس توانایی آنها در تکمیل وظایف پیچیده مرتبط با صنایع خاص مانند قانون، امور مالی و کدنویسی ارزیابی میکند.
کریشنان گفت: “کاری که ما انجام می دهیم در واقع بررسی تاثیرات واقعی مدل ها است.” “آیا آنها می توانند کاری انجام دهند که محصولی با کیفیتی مشابه انسان در هر حوزه ای تولید کند؟”
او می گوید، ایده این است که نه تنها نتایج مثبت، بلکه برای نتایج منفی نیز بررسی شود. امید این است که تجزیه و تحلیل شود که «اگر این مدلها در جهان بیحرمت باشند، پیامدهای منفی آن چه خواهد بود».
قابلیت هایی که Vals در حال اندازه گیری است در حال رشد است. علاوه بر صنایع سنتی تر، این استارتاپ همچنان به سمت زمین های منحصر به فرد تر حرکت می کند. کریشن به اشتراک میگذارد: “ما معیاری برای بهبود خود بازگشتی داریم. ما در حال انجام برخی کارها در زمینه سلامت روان، امنیت سایبری، امنیت زیستی و حتی قانون درگیریهای مسلحانه به مدلها برای درک نحوه اعمال کنوانسیون ژنو هستیم.”
شرکتها برای آزمایش مدلهایشان به Vals پول میدهند، که میتواند یک مفهوم عجیب و غریب باشد. چرا یک شرکت باید هزینه کند تا بفهمد مدلش خوب عمل نمی کند؟ اما داشتن یک اندازه گیری موثر به شرکت ها کمک می کند تا در طول زمان عیب یابی و بهبود پیدا کنند. کریشنان مدل درآمدی خود را با نحوه پرداخت هزینه یک دانشجو به هیئت کالج برای شرکت در SAT مقایسه می کند.
به نوبه خود، این ارزیابی ها به عوامل کلیدی تصمیم گیری برای شرکت هایی تبدیل می شوند که به دنبال دستیابی به مدل های جدید هوش مصنوعی هستند.
استارت آپ اخیرا فاش شده است که درآمد آن در حال حاضر هشت برابر سال گذشته است. کارکنان آن نیز در حال افزایش است. Vals که سال را تنها با هشت نفر آغاز کرد، در حال حاضر سه برابر شده و به یک تیم 25 نفره رسیده است. کریشنان گفت که با رشد استارتاپ، برنامه این است که به یک دفتر بسیار بزرگتر منتقل شود و همچنین 10 تا 15 نفر دیگر نیز استخدام شوند. این شرکت نیز اخیرا برنامه ای را راه اندازی کرد تمرکز حول ارائه مدل ارزیابی به آژانس های فدرال.
کریشنان سیستم محک زدن شرکتش را آینده نحوه تفکر شرکت های هوش مصنوعی در مورد رشد کسب و کار خود و ایجاد اعتماد عمومی می داند.
شرکتهای هوش مصنوعی شروع به عمومی شدن کردهاند. SpaceX عمومی شد. Anthropic برای اواخر امسال برنامه ریزی شده است. من گمان میکنم که OpenAI به زودی عمومی شود. فکر میکنم از آنجایی که مدلهای هوش مصنوعی به بخش اصلی اقتصاد تبدیل میشوند و به طور گستردهتری منتشر میشوند، انواع معیارها و ارزیابیهایی که ما انجام میدهیم، استفاده از آنها را هدایت میکنند و بخش مرکزی از صحبتهای این شرکتها برای ارائه اطلاعات عمومی در مورد این شرکتها خواهد بود. هوش مصنوعی،» او گفت.
وقتی از طریق پیوندهای موجود در مقالات ما خرید می کنید، ممکن است کمیسیون کمی کسب کنیم. این بر استقلال تحریریه ما تأثیر نمی گذارد.

