HiddenLayer از مخفی کاری بیرون می آید تا از مدل های هوش مصنوعی در برابر حملات محافظت کند – TechCrunch

با افزایش محبوبیت سرویس‌های مبتنی بر هوش مصنوعی مانند GPT-3 OpenAI، به یک بردار حمله جذاب تبدیل می‌شوند. حتی در پشت یک API، هکرها می توانند سعی کنند مدل های زیربنای این سرویس ها را مهندسی معکوس کنند یا از داده های “متخاصم” برای دستکاری آنها استفاده کنند. با توجه به گفته گارتنر، 30 درصد از تمام حملات سایبری هوش مصنوعی در سال 2022 از این تکنیک ها همراه با مسمومیت داده ها استفاده می کنند، که شامل تزریق داده های بد به مجموعه داده های مورد استفاده برای آموزش مدل ها برای حمله به سیستم های هوش مصنوعی است.

مانند هر صنعت دیگری، مبارزه با تهدیدات امنیتی یک کار بی پایان است. اما کریس سستیتو مدعی است که پلتفرم او، لایه پنهان، می تواند آن را برای فروشندگان AI-as-a-service با شناسایی خودکار فعالیت های مخرب در برابر مدل ها و پاسخ به حملات ساده کند.

HiddenLayer امروز از مخفی کاری با 6 میلیون دلار سرمایه اولیه از Ten Eleven Ventures، Secure Octane و سایر سرمایه گذاران بیرون آمد. سستیتو، مدیر سابق تحقیقات تهدید در Cylance و معاون مهندسی در Qualys، چندین ماه پیش با Tanner Burns و Jim Ballard این شرکت را تأسیس کرد. برنز و بالارد همچنین در Qualys و Cylance کار می‌کردند و زمانی را با هم در BlackBerry گذراندند، جایی که بالارد سرپرست تیم سرپرستی داده‌ها بود و برنز یک محقق تهدید بود.

Sestito در یک مصاحبه ایمیلی به TechCrunch گفت: «تقریباً همه سازمان‌های سازمانی کمک‌های منابع قابل‌توجهی به یادگیری ماشینی کرده‌اند تا به خود مزیت بدهند – چه این ارزش به شکل تمایز محصول، تولید درآمد، صرفه‌جویی در هزینه یا کارایی باشد. “حملات یادگیری ماشینی خصمانه می‌توانند همان آسیب‌هایی را که در حملات سایبری سنتی دیده‌ایم، از جمله افشای اطلاعات مشتری و تخریب سیستم‌های تولید، ایجاد کنند. در حقیقت، در HiddenLayer، ما معتقدیم که دور از دسترس نیستیم که مدل‌های یادگیری ماشینی را به سازمان‌هایشان بازگردانیم.

HiddenLayer ادعا می کند که فناوری آن می تواند از مدل ها در برابر حملات بدون نیاز به دسترسی به داده های خام یا الگوریتم های فروشنده دفاع کند. با تجزیه و تحلیل فعل و انفعالات مدل – به عبارت دیگر، داده های وارد شده به مدل (به عنوان مثال، تصویر گربه) و پیش بینی هایی که مدل خروجی می دهد (به عنوان مثال، عنوان “cats”) – برای شناسایی الگوهایی که ممکن است مخرب باشند، HiddenLayer می تواند سستیتو گفت: “غیر تهاجمی” و بدون دانش قبلی از داده های آموزشی کار کنید.

Sestito گفت: “حملات یادگیری ماشینی متخاصم مانند باج افزارها پر سر و صدا نیستند – شما باید به دنبال آنها باشید تا به موقع آنها را بگیرید.” “HiddenLayer بر روی یک رویکرد تحقیق اول تمرکز کرده است که به ما امکان می دهد یافته های خود را منتشر کنیم و جهان را برای آماده شدن آموزش دهیم.”

مایک کوک، محقق هوش مصنوعی که بخشی از آن است چاقو و قلم مو جمعی، گفت که مشخص نیست که HiddenLayer کاری “واقعاً پیشگامانه یا جدید” انجام می دهد. (کوک به HiddenLayer وابسته نیست.) با این حال، او خاطرنشان می کند که کاری که به نظر می رسد HiddenLayer انجام می دهد یک مزیت دارد: تلاش برای بسته بندی دانش در مورد حملات به هوش مصنوعی و دسترسی بیشتر به آنها.

رونق هوش مصنوعی همچنان در حال شکوفایی است، اما بسیاری از این دانش در مورد نحوه عملکرد یادگیری ماشینی مدرن و بهترین روش استفاده از آن هنوز در اختیار افرادی است که دانش تخصصی دارند. کوک از طریق ایمیل به TechCrunch گفت. زمانی که دانش تخصصی غیرقابل دسترسی است و به سختی به دست می‌آید، گاهی اوقات تنها چیزی که یک کسب‌وکار واقعاً به آن نیاز دارد، ارائه راه‌های مناسب برای دستیابی به آن است.»

HiddenLayer در حال حاضر پیش درآمد است و مشتری ندارد، اگرچه Sestito می‌گوید که این استارت‌آپ چندین شریک طراحی «پرمخاطب» را درگیر کرده است. در نهایت، کوک معتقد است که موفقیت آن کمتر به فناوری HiddenLayer بستگی دارد و بیشتر به این بستگی دارد که آیا تهدید ناشی از حملات به اندازه ادعای شرکت بزرگ است یا خیر.

من نمی‌دانم حملات به سیستم‌های یادگیری ماشین چقدر رایج است [at present]. کوک گفت: فریب دادن فیلتر هرزنامه برای ارسال ایمیل از نظر مقیاس و شدت با استخراج داده های اختصاصی از یک مدل زبان بزرگ بسیار متفاوت است.

به نظر او، شناسایی نمونه های واقعی از حملات علیه سیستم های هوش مصنوعی دشوار است. تحقیقات در مورد این موضوع افزایش یافته است، با بیش از 1500 مقاله در مورد امنیت هوش مصنوعی در سال 2019 در سایت انتشارات علمی Arxiv.org منتشر شده است، در مقایسه با 56 مقاله در سال 2016. مطالعه از Adversara. اما گزارش عمومی کمی در مورد تلاش‌های هکرها برای حمله به سیستم‌های تشخیص چهره تجاری وجود دارد – با فرض اینکه چنین تلاش‌هایی در وهله اول اتفاق می‌افتند.

Sestito ادعا می کند که تهدید – صرف نظر از اندازه آن امروز – با بازار هوش مصنوعی رشد خواهد کرد و به طور ضمنی به نفع HiddenLayer است. او اذعان می‌کند که چندین استارت‌آپ محصولاتی را ارائه می‌کنند که برای قوی‌تر کردن سیستم‌های هوش مصنوعی طراحی شده‌اند، از جمله Robust Intelligence، CalypsoAI و Troj.ai. اما Sestito ادعا می کند که HiddenLayer در رویکرد تشخیص و پاسخ مبتنی بر هوش مصنوعی خود به تنهایی ایستاده است.

Sestito گفت: “PwC معتقد است که هوش مصنوعی تا سال 2030 به یک بازار 15.7 تریلیون دلاری تبدیل خواهد شد. ما باید از هم اکنون دفاع از این فناوری را آغاز کنیم.” “بزرگترین هدف ما تا کنون آموزش بازار در مورد این تهدید جدید است. تعهد به هوش مصنوعی و یادگیری ماشین برای بسیاری از سازمان ها نسبتاً جدید است و تعداد کمی از آنها بر دفاع از این دارایی ها تمرکز کرده اند. با هر فن آوری جدید، بردارهای حمله جدید ارائه می شود. این همان مبارزه در یک مرز جدید است.»

HiddenLayer مستقر در آستین، تگزاس در حال حاضر 11 کارمند دارد و انتظار می رود سال 2022 را با 14 کارمند به پایان برساند.