آموزش جراحی مغز از آواتار | اخبار MIT

بنجامین وارف، جراح مغز و اعصاب مشهور در بیمارستان کودکان بوستون، در آزمایشگاه غوطه وری MIT.nano ایستاده است. بیش از 3000 مایل دورتر، آواتار مجازی او در کنار Matheus Vasconcelos در برزیل ایستاده است، در حالی که ساکن در حال انجام عمل جراحی ظریف بر روی مدل عروسکی مانند مغز یک نوزاد است.

با یک جفت عینک واقعیت مجازی، واسکونسلوس قادر است آواتار وارف را که یک عمل جراحی مغز را نشان می‌دهد، قبل از تکرار این تکنیک و در حین پرسیدن سؤالات از همزاد دیجیتالی وارف، تماشا کند.

وارف در مورد تماشای تعامل آواتار خود با ساکنان می گوید: «این یک تجربه تقریباً خارج از بدن است. “شاید داشتن یک دوقلو همسان این احساس را دارد؟”

و این هدف است: دوقلوی دیجیتالی وارف فاصله را پر کرد و به او اجازه داد تا به طور همزمان در دو مکان به صورت عملکردی باشد. Vasconcelos، دستیار جراحی مغز و اعصاب در دانشکده علوم پزشکی سانتا کاسا د سائوپائولو در سائوپائولو، برزیل می‌گوید: «این اولین تمرین من با استفاده از این مدل بود، و عملکرد عالی داشت. “به عنوان یک رزیدنت، اکنون با استفاده از این تکنیک در یک بیمار واقعی تحت هدایت یک پروفسور احساس اطمینان و راحتی بیشتری دارم.”

آواتار وارف از طریق پروژه جدیدی که توسط شرکت شبیه ساز پزشکی و واقعیت افزوده (AR) راه اندازی شد، وارد شد. EDUCSIM. این شرکت بخشی از گروه 2023 است START.nano، شتاب دهنده فناوری عمیق MIT.nano که به استارتاپ های در مراحل اولیه دسترسی با تخفیف به آزمایشگاه های MIT.nano ارائه می دهد.

در مارس 2023، ژیزل کوئلیو، مدیر علمی EDUCSIM و جراح مغز و اعصاب کودکان در بیمارستان کودکان سانتا کاسا د سائوپائولو و سابارا، کار با کارکنان فنی آزمایشگاه غوطه وری MIT.nano را برای ایجاد آواتار وارف آغاز کرد. تا نوامبر، آواتار جراحان آینده مانند واسکونسلوس را آموزش می داد.

کوئلیو می‌گوید: «من این ایده را داشتم که آواتار دکتر وارف را به‌عنوان اثبات مفهومی بسازم، و پرسیدم، جایی در جهان که روی چنین فناوری‌هایی کار می‌کنند کجاست؟» “سپس من MIT.nano را پیدا کردم.”

گرفتن یک جراح

کوئلیو به‌عنوان دستیار جراحی مغز و اعصاب، از نبود گزینه‌های آموزشی عملی برای جراحی‌های پیچیده چنان ناامید شده بود که مدل خود را از مغز نوزاد ساخت. او می‌گوید که مدل فیزیکی شامل تمام ساختارهای مغز است و حتی می‌تواند خونریزی کند و «همه مراحل یک جراحی، از برش تا بسته شدن پوست را شبیه‌سازی می‌کند».

او به زودی متوجه شد که شبیه سازها و نمایش واقعیت مجازی (VR) منحنی یادگیری را برای ساکنان خود کاهش می دهد. کوئلیو EDUCSIM را در سال 2017 راه اندازی کرد تا تنوع و دامنه آموزش را برای ساکنان و کارشناسانی که به دنبال یادگیری تکنیک های جدید هستند گسترش دهد.

این تکنیک ها شامل روشی برای درمان هیدروسفالی نوزادان است که توسط وارف، مدیر جراحی مغز و اعصاب نوزادان و مادرزادی در بیمارستان کودکان بوستون، پیشگام بود. کوئیلو این تکنیک را مستقیماً از وارف آموخته بود و فکر می کرد که آواتار او ممکن است راهی برای جراحانی باشد که نمی توانند به بوستون سفر کنند تا از تخصص او بهره ببرند.

برای ایجاد آواتار، کوئلیو با Talis Reks، AR/VR/بازی/تکنولوژیست اطلاعات بزرگ در آزمایشگاه Immersion کار کرد.

رکس توضیح می‌دهد: «دسترسی به بسیاری از فناوری‌ها و سخت‌افزارها برای استارت‌آپ‌ها هنگام شروع سفر شرکت خود می‌تواند بسیار گران باشد. START.nano یکی از راه‌هایی است که آنها را قادر می‌سازد تا از ابزارها و فناوری‌هایی که ما در آزمایشگاه غوطه‌وری MIT.nano داریم استفاده کنند و از عهده آن برآیند.

کوئلیو و همکارانش برای ثبت حرکات ماهرانه انگشتان و حالات چهره وارف به فناوری ضبط حرکت با وضوح بالا، ضبط ویدیوی حجمی و طیف وسیعی از فناوری‌های واقعیت مجازی و واقعیت افزوده دیگر نیاز داشتند. وارف چندین بار از MIT.nano بازدید کرد تا به صورت دیجیتالی «گرفته شود»، از جمله انجام یک عملیات بر روی مدل فیزیکی نوزاد در حالی که دستکش و لباس مخصوص تعبیه شده با حسگرها را پوشیده بود.

«این فناوری‌ها بیشتر برای سرگرمی یا VFX استفاده شده‌اند [visual effects] یا CGI [computer-generated imagery]Reks می‌گوید: «اما این یک پروژه منحصر به فرد است، زیرا ما اکنون آن را برای تمرین پزشکی واقعی و یادگیری واقعی به کار می‌بریم.»

رکس می‌گوید یکی از بزرگ‌ترین چالش‌ها کمک به توسعه چیزی بود که کوئلیو آن را «هولوپورتاسیون» می‌نامد – انتقال تصویر حجمی و سه بعدی از وارف در زمان واقعی از طریق اینترنت به طوری که آواتار او بتواند در آموزش پزشکی بین قاره‌ای ظاهر شود.

آواتار Warf دارای حالت های همزمان و ناهمزمان است. آموزشی که Vasconcelos دریافت کرد در حالت ناهمزمان بود، جایی که ساکنان می‌توانند نمایش‌های آواتار را مشاهده کنند و از آن سؤال بپرسند. پاسخ‌ها، که به زبان‌های مختلف ارائه می‌شوند، از الگوریتم‌های هوش مصنوعی که از تحقیقات قبلی و بانک گسترده‌ای از پرسش‌ها و پاسخ‌های ارائه‌شده توسط Warf استخراج شده‌اند.

کوئلیو می‌گوید در حالت همزمان، وارف آواتار خود را از راه دور در زمان واقعی کار می‌کند. او می‌توانست در اتاق راه برود، می‌توانست با من صحبت کند، می‌توانست مرا جهت‌دهد. این شگفت انگیز است.”

کوئلیو، وارف، رکس و سایر اعضای تیم ترکیبی از حالت ها را در جلسه دوم در اواخر دسامبر به نمایش گذاشتند. این نسخه ی نمایشی شامل فیلم برداری زنده حجمی بین آزمایشگاه غوطه وری و برزیل بود که در زمان واقعی از طریق هدست های AR قابل مشاهده بود. به طور قابل توجهی نسبت به نسخه ی نمایشی قبلی، که فقط داده های حجمی را در یک جهت از طریق یک صفحه نمایش دو بعدی پخش می کرد، گسترش یافت.

تاثیرات قدرتمند

وارف سابقه طولانی در آموزش جراحان مغز و اعصاب اطفال در سراسر جهان دارد که اخیراً از طریق غیرانتفاعی او انجام شده است. نوروکیدها. او می‌گوید که آموزش از راه دور و شبیه‌سازی‌شده از زمان شیوع بیماری همه‌گیر، بخش بزرگی از آموزش بوده است، اگرچه او احساس نمی‌کند که هرگز به طور کامل جایگزین آموزش و همکاری عملی شخصی نخواهد شد.

اما اگر در واقع روزی می‌توانستیم آواتارهایی داشته باشیم، مانند این یکی از ژیزل، در مکان‌های دوردست که به مردم نشان می‌دهد چگونه کارها را انجام دهند و به سؤالات آنها پاسخ دهند، بدون هزینه سفر، بدون هزینه زمان و غیره، فکر می‌کنم اینطور باشد. وارف می گوید که می تواند واقعا قدرتمند باشد.

کوئلیو می گوید که پروژه آواتار به ویژه برای جراحانی که در مناطق دورافتاده و محروم مانند منطقه آمازون برزیل خدمت می کنند، مهم است. “این راهی است که به آنها همان سطح تحصیلات را می دهد که در جاهای دیگر می گیرند، و همان فرصتی است که با دکتر وارف در تماس باشند.”

به گفته کوئلیو، یکی از نوزادان تحت درمان برای هیدروسفالی در یک کلینیک اخیر آمازون، 30 ساعت با قایق برای جراحی سفر کرده است.

او می‌گوید آموزش جراحان با آواتار می‌تواند واقعیت را برای این نوزاد تغییر دهد و آینده را تغییر دهد.