ساکانا ادعا می کند که مقاله تولید شده توسط AI ، بررسی همسالان را پشت سر گذاشته است-اما کمی ظریف تر از آن است

راه اندازی هوش مصنوعی ژاپنی ساکانا گفت که هوش مصنوعی آن یکی از اولین نشریات علمی بررسی شده را ایجاد کرده است. اما در حالی که این ادعا لزوماً نادرست نیست ، احتیاط هایی وجود دارد که باید توجه داشته باشید.

بحث و گفتگو در اطراف هوش مصنوعی و نقش آن در روند علمی روز به روز شدیدتر می شود. بسیاری از محققان فکر نمی کنند هوش مصنوعی کاملاً آماده است تا به عنوان “همکار” خدمت کند ، در حالی که برخی دیگر فکر می کنند که پتانسیل وجود دارد-اما روزهای ابتدایی را تصدیق می کند.

ساکانا در اردوگاه دوم قرار می گیرد.

این شرکت گفت که از یک سیستم هوش مصنوعی به نام دانشمند AI-V2 برای تولید مقاله ای که ساکانا سپس به یک کارگاه در ICLR ، یک کنفرانس طولانی مدت و معتبر هوش مصنوعی ارسال کرده است ، استفاده کرد. ساکانا ادعا می کند که برگزارکنندگان این کارگاه و همچنین رهبری ICLR موافقت کرده اند که با این شرکت همکاری کنند تا آزمایشی را برای بررسی نسخه های دو سو کور انجام دهند.

ساکانا گفت که با محققان دانشگاه بریتیش کلمبیا و دانشگاه آکسفورد همکاری کرده است تا سه مقاله تولید شده توسط AI را به کارگاه فوق الذکر برای بررسی همسالان ارائه دهد. Sakana ادعا می کند که دانشمند AI-V2 ، مقالات “پایان به پایان” را تولید می کند ، از جمله فرضیه های علمی ، آزمایش ها و کد تجربی ، تجزیه و تحلیل داده ها ، تجسم ، متن و عناوین.

رابرت لانژ ، دانشمند تحقیقاتی و عضو موسس در ساکانا ، از طریق ایمیل به TechCrunch گفت: “ما ایده های تحقیق را با ارائه کارگاه انتزاعی و توضیحات به هوش مصنوعی ایجاد کردیم.” “این تضمین می کند که مقالات تولید شده در موضوع و ارسالی مناسب هستند.”

یک مقاله از این سه مورد در کارگاه ICLR پذیرفته شد – مقاله ای که یک لنز مهم را برای تکنیک های آموزش برای مدل های AI ارائه می دهد. ساکانا گفت که بلافاصله قبل از انتشار آن به نفع شفافیت و احترام به کنوانسیون های ICLR ، بلافاصله مقاله را پس گرفت.

لنگ گفت: “مقاله پذیرفته شده هر دو روش جدید و امیدوارکننده ای را برای آموزش شبکه های عصبی معرفی می کند و نشان می دهد که چالش های تجربی باقی مانده است.” “این یک داده جالب توجه برای ایجاد تحقیقات علمی بیشتر ارائه می دهد.”

اما دستاورد آنقدر چشمگیر نیست که در نگاه اول به نظر می رسد.

در پست وبلاگ ، ساکانا اذعان می کند که هوش مصنوعی گاهی اوقات خطاهای استناد “شرم آور” را ایجاد می کند ، به عنوان مثال نادرست به جای کار اصلی 1997 ، یک روش را به یک مقاله 2016 نسبت می دهد.

مقاله ساکانا نیز به همان اندازه برخی از نشریات مورد بررسی همکار مورد بررسی قرار نگرفت. از آنجا که این شرکت پس از بررسی اولیه همسالان ، آن را پس گرفت ، این مقاله “متا بررسی” اضافی دریافت نکرد ، که در طی آن برگزارکنندگان کارگاه می توانستند در تئوری آن را رد کنند.

سپس این واقعیت وجود دارد که نرخ پذیرش برای کارگاه های کنفرانس تمایل به بالاتر از نرخ پذیرش برای “مسیر اصلی کنفرانس” دارد – واقعیتی که ساکانا صریحاً در پست وبلاگ خود ذکر می کند. این شرکت گفت که هیچ یک از مطالعات تولید شده توسط AI ، نوار داخلی خود را برای انتشار آهنگ کنفرانس ICLR منتقل نکرده است.

متیو گوزیال ، محقق هوش مصنوعی و استادیار دانشگاه آلبرتا ، نتایج ساکانا را “کمی گمراه کننده” خواند.

وی گفت: “مردمی ساكانا مقالات را از تعدادی از تولیدات انتخاب كردند ، به این معنی كه از نظر انتخاب خروجی هایی كه فکر می كردند از طریق ایمیل استفاده می كنند ، از قضاوت انسانی استفاده می كردند.” “آنچه من فکر می کنم این نشان می دهد این است که انسان به علاوه هوش مصنوعی می تواند مؤثر باشد ، نه این که هوش مصنوعی به تنهایی می تواند پیشرفت علمی ایجاد کند.”

مایک کوک ، یکی از همکاران پژوهشی در کالج کینگ لندن که متخصص در زمینه هوش مصنوعی است ، از سختگیری داوران و کارگاه همسالان سؤال کرد.

وی به TechCrunch گفت: “کارگاه های جدید ، مانند این ، اغلب توسط محققان جوان بیشتر مورد بررسی قرار می گیرند.” “همچنین شایان ذکر است که این کارگاه در مورد نتایج و مشکلات منفی است – که بسیار عالی است ، من قبلاً یک کارگاه مشابه را اجرا کرده ام.

کوک افزود که او با توجه به اینکه هوش مصنوعی در نوشتن نثر با صدای انسان ، از AI می تواند بررسی همسالان را پشت سر بگذارد ، تعجب نکرد. تا حدی AI تولید شده مقالات کوک خاطرنشان کرد: گذر از بررسی ژورنال حتی جدید نیست ، و همچنین معضلات اخلاقی این علوم برای علوم وجود ندارد.

کاستی های فنی هوش مصنوعی – مانند تمایل به توهم – بسیاری از دانشمندان را به تأیید این کار برای کارهای جدی احتیاط می کنند. علاوه بر این ، کارشناسان می ترسند AI به سادگی می تواند در نهایت تولید سر و صدا در ادبیات علمی ، پیشرفت را بالا نمی برد.

“ما باید از خود بپرسیم که آیا [Sakana’s] نتیجه در مورد چگونگی طراحی خوب هوش مصنوعی در طراحی و انجام آزمایشات است ، یا اینکه آیا در فروش ایده ها به انسان چقدر خوب است – که می دانیم هوش مصنوعی در حال حاضر عالی است. ” “بین گذر از بررسی همسالان و کمک به دانش در یک زمینه تفاوت وجود دارد.”

ساکانا ، به اعتبار خود ، هیچ ادعایی را نمی دهد که هوش مصنوعی آن می تواند کارهای علمی پیشگامانه – یا حتی به ویژه جدید – تولید کند. در عوض ، هدف از این آزمایش “مطالعه کیفیت تحقیقات تولید شده توسط AI” بود ، و این نیاز فوری به “هنجارهای مربوط به علم تولید شده توسط AI” را برجسته می کند.

“[T]در اینجا سوالات دشوار در مورد اینکه آیا [AI-generated] برای جلوگیری از تعصب در برابر آن ، ابتدا باید در مورد شایستگی های خود قضاوت شود. ” “با پیشروی ، ما به تبادل نظر با جامعه تحقیقاتی در مورد وضعیت این فناوری ادامه خواهیم داد تا اطمینان حاصل شود که در آینده به وضعیتی تبدیل نمی شود که تنها هدف آن تصویب بررسی همسالان باشد ، از این طریق به طور قابل توجهی معنای فرآیند بررسی همسالان را تضعیف می کند.”