Character.AI به تجربه ربات چت خود برای کودکان پایان می دهد

نوجوانان در تلاشند تا بفهمند در دنیایی که سریعتر از هر نسل قبل از آنها در حال تغییر است، کجا قرار می گیرند. آنها سرشار از احساسات، تحریک بیش از حد، و به طور مزمن آنلاین هستند. و اکنون، شرکت‌های هوش مصنوعی به آنها چت‌بات‌هایی داده‌اند که به گونه‌ای طراحی شده‌اند که هرگز از صحبت کردن دست نکشند. نتایج فاجعه بار بوده است.

یکی از شرکت‌هایی که این پیامدها را درک می‌کند Character.AI است، یک استارت‌آپ نقش‌آفرینی هوش مصنوعی که حداقل پس از آن با شکایت‌های قضایی و اعتراض عمومی مواجه شده است. دو نوجوان با خودکشی درگذشت به دنبال مکالمات طولانی مدت با چت ربات های هوش مصنوعی در پلتفرم خود. اکنون Character.AI در حال ایجاد تغییراتی در پلتفرم خود برای محافظت از نوجوانان و کودکان است، تغییراتی که می‌تواند بر نتایج نهایی استارت‌آپ تأثیر بگذارد.

کاراندیپ آناند، مدیر عامل Character.AI، به TechCrunch گفت: «اولین چیزی که ما به عنوان Character.AI تصمیم گرفتیم این است که توانایی کاربران زیر 18 سال برای شرکت در هر گونه چت باز با هوش مصنوعی را در پلتفرم خود حذف کنیم.

مکالمه پایان باز به رفت و برگشت بدون محدودیتی اشاره دارد که زمانی اتفاق می افتد که کاربران به یک ربات چت اعلان می دهند و آن با سؤالات بعدی پاسخ می دهد. کارشناسان می گویند طراحی شده اند تا کاربران را درگیر خود نگه دارند. آناند معتقد است این نوع تعامل – که در آن هوش مصنوعی به جای یک ابزار خلاق به عنوان یک شریک گفتگو یا دوست عمل می کند – نه تنها برای بچه ها خطرناک است، بلکه با دیدگاه شرکت همخوانی ندارد.

این استارت‌آپ در تلاش است تا از «همراه هوش مصنوعی» به «پلتفرم نقش‌آفرینی» تبدیل شود. به جای گپ زدن با یک دوست هوش مصنوعی، نوجوانان از پیام‌ها برای ساختن داستان‌های مشترک یا تولید تصاویر بصری استفاده می‌کنند. به عبارت دیگر، هدف تغییر تعامل از مکالمه به خلقت است.

Character.AI دسترسی نوجوانان به چت بات را تا 25 نوامبر متوقف می کند و با محدودیت روزانه دو ساعته شروع می شود که به تدریج کاهش می یابد تا زمانی که به صفر برسد. برای اطمینان از باقی ماندن این ممنوعیت برای کاربران زیر 18، این پلتفرم یک ابزار تأیید سن داخلی را که رفتار کاربر و همچنین ابزارهای شخص ثالث مانند Persona را تجزیه و تحلیل می‌کند، مستقر خواهد کرد. آناند گفت، اگر این ابزارها از کار بیفتند، Character.AI از تشخیص چهره و بررسی های شناسایی برای تأیید سن استفاده می کند.

این حرکت به دنبال دیگری است حمایت های نوجوان که Character.AI پیاده‌سازی کرده است، از جمله معرفی ابزار بینش والدین، شخصیت‌های فیلتر شده، مکالمات عاشقانه محدود و اعلان‌های صرف زمان. آناند به TechCrunch گفته است که این تغییرات بسیاری از کاربران زیر 18 سال شرکت را از دست داده است، و او انتظار دارد که این تغییرات جدید به همان اندازه محبوبیت نداشته باشند.

آناند گفت: «می‌توان فرض کرد که بسیاری از کاربران نوجوان ما احتمالاً ناامید خواهند شد… بنابراین ما انتظار داریم که برخی تغییرات بیشتر اتفاق بیفتد. حدس زدن سخت است – آیا همه آنها به طور کامل از بین می روند یا برخی از آنها به سمت این تجربیات جدیدی که تقریباً در هفت ماه گذشته در حال ساخت بودیم، حرکت خواهند کرد؟

به عنوان بخشی از تلاش Character.AI برای تبدیل پلتفرم از یک برنامه چت محور به یک برنامه “پلتفرم اجتماعی تمام عیار مبتنی بر محتوا،” این استارت آپ اخیرا چندین ویژگی جدید متمرکز بر سرگرمی را راه اندازی کرده است.

در ماه ژوئن، Character.AI AvatarFX را معرفی کرد، مدلی برای تولید ویدیو که تصاویر را به ویدیوهای متحرک تبدیل می‌کند. صحنه‌ها، داستان‌های تعاملی و از پیش پرجمعیت‌شده که در آن کاربران می‌توانند با شخصیت‌های مورد علاقه خود وارد روایت شوند. و Streams، ویژگی که امکان تعامل پویا بین هر دو کاراکتر را فراهم می کند. در ماه آگوست، Character.AI فید اجتماعی را راه‌اندازی کرد، یک فید اجتماعی که در آن کاربران می‌توانند شخصیت‌ها، صحنه‌ها، ویدیوها و سایر محتوایی را که در این پلتفرم می‌سازند به اشتراک بگذارند.

Character.AI در بیانیه ای خطاب به کاربران زیر 18 سال از تغییرات عذرخواهی کرد.

ما می دانیم که بیشتر شما استفاده می کنید شخصیت.AI این بیانیه می‌گوید: «ما این گام را برای حذف چت شخصیت‌های باز به سادگی انجام نمی‌دهیم – اما با توجه به سؤالاتی که در مورد نحوه تعامل نوجوانان با این فناوری جدید مطرح شده است، فکر می‌کنیم که این کار درستی است.»

آناند گفت: “ما برنامه را برای زیر 18 سال خاموش نمی کنیم.” “ما فقط چت های باز را برای زیر 18 سال خاموش می کنیم زیرا امیدواریم کاربران زیر 18 سال به این تجربیات دیگر مهاجرت کنند و این تجربیات با گذشت زمان بهتر شوند. بنابراین دو برابر کردن بازی های هوش مصنوعی، ویدیوهای کوتاه هوش مصنوعی، به طور کلی داستان سرایی با هوش مصنوعی. این شرط بزرگی است که در صورت آسیب زدن به آن ها زیر 18 سال را بازگردانیم.”

آناند اذعان داشت که برخی از نوجوانان ممکن است به سایر پلتفرم‌های هوش مصنوعی مانند OpenAI هجوم ببرند که به آنها امکان می‌دهد با چت‌بات‌ها مکالمه‌های پایانی داشته باشند. OpenAI اخیراً پس از اینکه یک نوجوان به دنبال مکالمه طولانی با ChatGPT جان خود را از دست داد، مورد انتقاد قرار گرفته است.

آناند گفت: “من واقعاً امیدوارم که ما در این راه استانداردی را در صنعت تعیین کنیم که برای زیر 18 سال، چت های باز احتمالاً مسیر یا محصولی برای ارائه نیست.” برای ما، من فکر می‌کنم معاوضه‌ها مناسب‌ترین موارد هستند. من یک بچه شش ساله دارم و می‌خواهم مطمئن شوم که او در محیطی بسیار امن با هوش مصنوعی به شیوه‌ای مسئولانه بزرگ می‌شود.»

Character.AI این تصمیمات را قبل از اینکه رگولاتورها مجبور به انجام آن شوند، می گیرد. روز سه شنبه، سناتور جاش هاولی (R-MO) و ریچارد بلومنتال (D-CT) گفتند که قانون معرفی کند به دنبال شکایات والدینی که گفتند این محصولات فرزندانشان را به سمت مکالمات جنسی، آسیب رساندن به خود و خودکشی سوق می‌دهند، از در دسترس بودن همراهان چت بات هوش مصنوعی برای خردسالان منع می‌شود. در اوایل این ماه، کالیفرنیا اولین ایالتی بود که چت ربات‌های همراه هوش مصنوعی را تنظیم کرد و شرکت‌ها را در صورتی که چت‌بات‌هایشان استانداردهای ایمنی قانون را رعایت نکردند، پاسخگو دانست.

علاوه بر این تغییرات در پلتفرم، Character.AI گفت که آزمایشگاه ایمنی هوش مصنوعی، یک سازمان غیرانتفاعی مستقل را که به نوآوری همسویی ایمنی برای ویژگی‌های سرگرمی هوش مصنوعی در آینده اختصاص دارد، تأسیس و تأمین مالی خواهد کرد.

آناند گفت: «کارهای زیادی در صنعت روی کدنویسی و توسعه و سایر موارد استفاده در حال انجام است. ما فکر نمی‌کنیم هنوز کار کافی روی سرگرمی‌های تقویت‌کننده هوش مصنوعی در حال انجام باشد، و ایمنی برای آن بسیار حیاتی خواهد بود.»