Bobidi راه اندازی شد تا به توسعه دهندگان برای آزمایش مدل های هوش مصنوعی شرکت ها پاداش دهد – TechCrunch

در عجله برای ساخت، آزمایش و استقرار سیستم‌های هوش مصنوعی، کسب‌وکارها اغلب منابع و زمان لازم برای اعتبارسنجی کامل سیستم‌های خود و اطمینان از عاری بودن آن‌ها را ندارند. در سال 2018 گزارشگارتنر پیش‌بینی کرد که 85 درصد از پروژه‌های هوش مصنوعی به دلیل سوگیری در داده‌ها، الگوریتم‌ها یا تیم‌های مسئول مدیریت آن‌ها، نتایج نادرستی را به همراه خواهند داشت. حتی شرکت‌های بزرگ فناوری نیز از این مشکلات مصون نیستند – برای یک مشتری، IBM در نهایت نتوانست یک سیستم تشخیص سرطان مبتنی بر هوش مصنوعی را ارائه دهد که هزینه آن 62 میلیون دلار طی 4 سال تمام شد.

الهام گرفته از “جایزه اشکال” برنامه هایی را که جئونگ سو چوی و سوهیون بائه تأسیس کردند ببیدیپلتفرمی با هدف کمک به شرکت‌ها برای اعتبارسنجی سیستم‌های هوش مصنوعی از طریق افشای سیستم‌ها در معرض جامعه علم داده جهانی. با Bobidi، Bae و Choi به دنبال ساخت محصولی بودند که به مشتریان اجازه می‌دهد سیستم‌های هوش مصنوعی را به روشی «ایمن» از طریق یک API با جامعه شکار اشکال مرتبط کنند.

چوی در مصاحبه ای ایمیلی توضیح داد، ایده این است که به توسعه دهندگان اجازه دهیم سیستم های هوش مصنوعی و سوگیری ها را آزمایش کنند – یعنی موارد لبه ای که سیستم ها عملکرد ضعیفی دارند – تا زمان لازم برای اعتبارسنجی را کاهش دهند. Bae قبلا یک مهندس ارشد در گوگل بود و نقشه برداری واقعیت افزوده را در Niantic رهبری می کرد، در حالی که چوی یک مدیر ارشد در eBay بود و سرپرست تیم “مهندسی مردم” در فیس بوک بود. این دو حدود 10 سال پیش در یکی از فعالیت های صنعت فناوری با هم آشنا شدند.

چوی گفت: «زمانی که سوگیری یا نقص از مدل آشکار شود، آسیب از قبل غیرقابل جبران است. به عنوان مثال، الگوریتم های پردازش زبان طبیعی [like OpenAI’s GPT-3] اغلب مشاهده می شود که نظرات مشکل ساز یا پاسخ نادرست به آن نظرات مربوط به سخنان مشوق نفرت، تبعیض و توهین را ارائه می دهند. با استفاده از Bobidi، جامعه می‌تواند الگوریتم را از قبل آزمایش کند و آن حفره‌ها را پیدا کند، که در واقع بسیار قدرتمند است زیرا می‌توانید الگوریتم را با افراد زیادی تحت شرایط خاصی آزمایش کنید که نشان‌دهنده زمینه‌های اجتماعی و سیاسی است که دائماً تغییر می‌کنند.

برای آزمایش مدل‌ها، «جامعه» توسعه‌دهندگان Bobidi یک مجموعه داده اعتبارسنجی برای یک سیستم مشخص می‌سازد. همانطور که توسعه دهندگان تلاش می کنند تا حفره های موجود در سیستم را بیابند، مشتریان تجزیه و تحلیلی دریافت می کنند که شامل الگوهای منفی و مثبت کاذب و ابرداده های مرتبط با آنها (به عنوان مثال، تعداد موارد لبه) است.

قرار دادن سیستم‌ها و مدل‌های حساس در معرض دنیای خارج ممکن است باعث توقف برخی از شرکت‌ها شود، اما چوی ادعا می‌کند که Bobidi مدل‌ها را پس از چند روز «منقضی خودکار» می‌کند تا نتوان آنها را مهندسی معکوس کرد. مشتریان هزینه خدمات را بر اساس تعداد تلاش‌های «مشروع» انجام شده توسط جامعه پرداخت می‌کنند، که به ازای هر 10 تلاش یک دلار (0.99 دلار) است.

چوی خاطرنشان می کند که میزان پولی که توسعه دهندگان می توانند از طریق Bobidi به دست آورند – 10 تا 20 دلار در ساعت – به طور قابل توجهی بالاتر از حداقل دستمزد در بسیاری از مناطق در سراسر جهان است. با فرض اینکه تخمین‌های چوی در حقیقت ریشه دارند، بوبیدی روند صنعت علم داده را که به اعتبارسنجی‌ها و برچسب‌گذاران داده پول ضعیفی می‌پردازد، رد می‌کند. یک مطالعه نشان داد که حاشیه نویسان مجموعه داده بینایی کامپیوتری ImageNet که به طور گسترده مورد استفاده قرار می گیرد، میانگین دستمزد 2 دلار در ساعت داشتند که تنها 4 درصد آنها بیش از 7.25 دلار در ساعت درآمد داشتند.

ساختار پرداخت به کنار، اعتبارسنجی مبتنی بر جمعیت ایده جدیدی نیست. در سال 2017، آزمایشگاه زبان‌شناسی محاسباتی و پردازش اطلاعات در دانشگاه مریلند، پلتفرمی به نام Break It, Build It را راه‌اندازی کرد که به محققان اجازه می‌داد مدل‌هایی را برای کاربرانی که وظیفه دارند نمونه‌هایی برای شکست دادن آنها بیاورند، ارسال کنند. در جاهای دیگر، متا پلتفرمی به نام Dynabench دارد که از کاربران مدل‌های «احمق» طراحی شده برای تجزیه و تحلیل احساسات، پاسخ به سؤالات، تشخیص سخنان مشوق نفرت و غیره دارد.

اما بائه و چوی معتقدند رویکرد «بازی‌شده» به بوبیدی کمک می‌کند تا از این گروه متمایز شود. در حالی که این روزهای اولیه است، فروشنده ادعا می کند که در استارتاپ های واقعیت افزوده و بینایی کامپیوتر، از جمله Seerslab، Deepixel و Gunsens، مشتریانی دارد.

کشش کافی بود تا چندین سرمایه گذار را متقاعد کند که برای سرمایه گذاری پول تعهد کنند. امروز، Bobidi یک دور اولیه 5.8 میلیون دلاری را با مشارکت Y Combinator، We Ventures، Hyundai Motor Group، Scrum Ventures، New Product Experimentation (NPE) در Meta، Lotte Ventures، Atlas Pac Capital و چندین سرمایه گذار فرشته ناشناس بسته است.

شایان ذکر است، Bobidi یکی از اولین سرمایه‌گذاری‌ها برای NPE است که سال گذشته از ساخت اپلیکیشن‌های مصرف‌کننده به سرمایه‌گذاری اولیه در استارت‌آپ‌های متمرکز بر هوش مصنوعی تغییر جهت داد. هنگامی که برای اظهار نظر با وی تماس گرفته شد، Sunita Parasuraman، رئیس سرمایه گذاری NPE از طریق ایمیل گفت: “ما از حمایت از بنیانگذاران با استعداد Bobidi، که به شرکت ها کمک می کنند تا مدل های هوش مصنوعی را با راه حلی نوآورانه که توسط مردم در سراسر جهان هدایت می شود، بهتر اعتبار سنجی کنند، هیجان زده هستیم.”

چوی افزود: “Bobidi ترکیبی است بین جامعه و هوش مصنوعی، ترکیبی منحصر به فرد از تخصص که ما به اشتراک می گذاریم.” ما معتقدیم که دوران کلان داده در حال پایان است و در آستانه ورود به عصر جدید داده های با کیفیت هستیم. این بدان معناست که ما در حال حرکت از دورانی هستیم – جایی که تمرکز بر ساخت بهترین مدل ارائه شده با مجموعه داده‌ها بود – به عصر جدید، جایی که افراد وظیفه دارند بهترین مجموعه داده ارائه شده را با رویکرد کاملاً متضاد مدل پیدا کنند.

چوی گفت که درآمد حاصل از دور اولیه صرف استخدام – بوبیدی در حال حاضر 12 کارمند – و ایجاد «تجارب بینش مشتری» و «فناوری‌های اصلی یادگیری ماشین» خواهد شد. این شرکت امیدوار است تا با وجود مشکلات اقتصادی، تعداد تیم خود را تا پایان سال سه برابر کند.