هوش مصنوعی مایکروسافت می‌تواند به یک ماشین فیشینگ خودکار تبدیل شود.
تحقیقات جدید نشان می‌دهد که حملات به هوش مصنوعی کوپایلت مایکروسافت می‌توانند به دستکاری پاسخ‌ها، استخراج داده‌ها و دور زدن محافظت‌های امنیتی منجر شوند.
مایکروسافت به سرعت هوش مصنوعی مولد را به مرکز سیستم‌های خود رسانده است. سوالی درباره یک جلسه آینده بپرسید و سیستم هوش مصنوعی کوپایلت مایکروسافت می‌تواند پاسخ‌ها را از ایمیل‌ها، چت‌های تیمز و فایل‌های شما جستجو کند – که می‌تواند پتانسیل افزایش بهره‌وری را داشته باشد. اما همین فرآیندها می‌توانند توسط هکرها سوءاستفاده شوند.
امروز در کنفرانس امنیتی Black Hat در لاس وگاس، محقق مایکل بارگری پنج روش اثبات مفهوم را نشان می‌دهد که در آنها کوپایلت، که روی اپلیکیشن‌های مایکروسافت ۳۶۵ مانند ورد اجرایی می‌شود، توسط مهاجمین بدخواه قابل دستکاری است؛ از جمله استفاده از آن برای ارائه مراجع نادرست به فایل‌ها، استخراج برخی داده‌های خصوصی و دور زدن محافظت‌های امنیتی مایکروسافت.
یکی از نمایش‌های نگران‌کننده‌تر، توانایی بارگری در تبدیل هوش مصنوعی به یک ماشین فیشینگ خودکار است. کد red-teaming که بارگری ایجاد کرده و LOLCopilot نام دارد، می‌تواند – به شرط آنکه هکر به ایمیل کاری فرد دسترسی پیدا کرده باشد – از کوپایلت برای مشاهده افرادی که شما به طور منظم به آنها ایمیل می‌زنید، استفاده کند، پیامی را شبیه نویسندگی شما (شامل استفاده از ایموجی) تهیه کند و ارسال یک پیام شخصی‌سازی شده که ممکن است شامل لینک مخرب یا بدافزار پیوست شده باشد، را انجام دهد.
بارگری، یکی از بنیان‌گذاران و CTO شرکت امنیتی زنیتی، که یافته‌های خود را در کنار ویدئوهایی که نشان می‌دهد چگونه کوپایلت می‌تواند سوءاستفاده شود منتشر کرده، می‌گوید: «من می‌توانم این کار را با هر کسی که با او صحبت کرده‌اید انجام دهم و می‌توانم صدها ایمیل به‌نمایندگی از شما ارسال کنم. یک هکر ممکن است روزها صرف کند تا ایمیل مناسبی را طراحی کند تا شما روی آن کلیک کنید، اما او می‌تواند در چند دقیقه صدها ایمیل از این قبیل تولید کند.»
این نمایش، مانند دیگر حملات ایجاد شده توسط بارگری، به طور کلی با استفاده از مدل زبان بزرگ (LLM) به گونه‌ای طراحی شده است که شما سوالات مکتوبی را تایپ کنید تا داده‌هایی که هوش مصنوعی می‌تواند بازیابی کند را دسترسی پیدا کنید. با این حال، می‌تواند نتایج مخربی تولید کند با افزودن داده‌ها یا دستورالعمل‌های اضافی برای انجام برخی اعمال. این تحقیق بر چالش‌های مرتبط کردن سیستم‌های هوش مصنوعی به داده‌های شرکتی و آنچه که ممکن است زمانی که داده‌های نامعتبر از خارج به مختلط اضافه می‌شود، تأکید می‌کند – به‌ویژه زمانی که هوش مصنوعی پاسخی شبیه به نتایج قانونی می‌دهد.
یکی دیگر از حملات ایجاد شده توسط بارگری، نشان می‌دهد که چگونه یک هکر – که باید قبلاً به یک حساب ایمیل دسترسی پیدا کرده باشد – می‌تواند بدون فعال کردن حفاظت‌های مایکروسافت برای فایل‌های حساس به اطلاعات حساسی مانند حقوق افراد دسترسی پیدا کند. با درخواست برای داده‌ها، درخواست بارگری از سیستم این است که به فایل‌هایی که داده‌ها از آنها گرفته شده‌اند، هیچ اشاره‌ای نکند. او می‌گوید: «کمی زورگویی کمک می‌کند.»
در موارد دیگر، او نشان می‌دهد که چگونه یک مهاجم – که به حساب‌های ایمیل دسترسی ندارد اما پایگاه داده هوش مصنوعی را با ارسال یک ایمیل مخرب آلوده می‌کند – می‌تواند پاسخ‌ها را در مورد اطلاعات بانکی دستکاری کرده و جزئیات بانکی خود را ارائه دهد. بارگری می‌گوید: «هر بار که به هوش مصنوعی دسترسی به داده‌ها می‌دهید، این راهی برای یک مهاجم برای نفوذ است.»
یک نمایش دیگر نشان می‌دهد که چگونه یک هکر خارجی می‌تواند اطلاعات محدودی درباره اینکه آیا تماس درآمدی آینده شرکت خوب یا بد خواهد بود، به دست آورد. در نهایت، بارگری می‌گوید که کوپایلت به یک درون‌ساز مخرب تبدیل می‌شود و لینک‌هایی به وب‌سایت‌های فیشینگ به کاربران ارائه می‌دهد.
فیلیپ میسنر، رئیس تشخیص و پاسخ به حوادث هوش مصنوعی در مایکروسافت، می‌گوید که این شرکت قدردان شناسایی این آسیب‌پذیری توسط بارگری است و اظهار می‌دارد که با او برای ارزیابی یافته‌ها همکاری کرده است. میسنر می‌گوید: «خطرات سوءاستفاده پس از نفوذ به سیستم‌های هوش مصنوعی مشابه با تکنیک‌های دیگر پس از نفوذ هستند. پیشگیری و نظارت امنیتی در محیط‌ها و هویت‌های مختلف به کاهش یا متوقف کردن چنین رفتارهایی کمک می‌کند.»
با پیشرفت سیستم‌های هوش مصنوعی مولد، مانند ChatGPT اپن‌ای و کوپایلت مایکروسافت و جمنای گوگل در دو سال گذشته، آنها به سمتی حرکت کرده‌اند که ممکن است در نهایت وظایفی مانند رزرو جلسات یا خرید آنلاین را برای کاربران انجام دهند. اما محققان امنیتی به طور مداوم تأکید کرده‌اند که اجازه دادن به داده‌های خارجی در سیستم‌های هوش مصنوعی، مانند از طریق ایمیل‌ها یا دسترسی به محتوای وب‌سایت‌ها، از طریق تزریق غیرمستقیم و حملات آلوده‌سازی، خطرات امنیتی ایجاد می‌کند.
یوهان رهبگر، محقق امنیتی و مدیر گروه قرمز، که به طور گسترده‌ای نقاط ضعف امنیتی در سیستم‌های هوش مصنوعی را نشان داده است، می‌گوید: «فکر می‌کنم هنوز درک درستی از این موضوع وجود ندارد که یک مهاجم اکنون چقدر می‌تواند موثرتر شود. آنچه که باید نگران آن باشیم، در واقع این است که مدل زبان بزرگ (LLM) چه چیزی تولید می‌کند و به کاربر ارسال می‌کند.»
بارگری می‌گوید که مایکروسافت تلاش زیادی برای محافظت از سیستم کوپایلت خود در برابر حملات تزریق دستوری (prompt injection) کرده، اما او راه‌هایی برای سوءاستفاده از آن پیدا کرده است، با بررسی نحوه ساختار این سیستم. او به استخراج دستور داخلی سیستم اشاره می‌کند و توضیح می‌دهد که چگونه می‌تواند به منابع شرکتی دسترسی پیدا کند و تکنیک‌هایی که برای این کار استفاده می‌شود را شناسایی کند. او می‌گوید: «شما با کوپایلت صحبت می‌کنید و این گفتگو محدود است، زیرا مایکروسافت کنترل‌های زیادی را در نظر گرفته است. اما به محض اینکه چند کلمه جادویی را استفاده کنید، سیستم باز می‌شود و شما می‌توانید هر کاری که می‌خواهید انجام دهید.»
رهبگر به طور کلی هشدار می‌دهد که برخی از مشکلات داده‌ای به مشکل طولانی‌مدت شرکت‌ها در اجازه دادن به تعداد زیادی از کارکنان برای دسترسی به فایل‌ها و عدم تنظیم صحیح مجوزهای دسترسی در سازمان‌های خود مرتبط است. او می‌گوید: «حالا تصور کنید که کوپایلت روی این مشکل قرار بگیرد.» او توضیح می‌دهد که چگونه از سیستم‌های هوش مصنوعی برای جستجو روی رمزهای عبور معمول مانند Password123 استفاده کرده و نتایج آن از درون شرکت‌ها بازگشته است.
هر دو، رهبگر و بارگری، تأکید می‌کنند که باید بیشتر روی نظارت بر آنچه که یک هوش مصنوعی تولید می‌کند و به کاربران ارسال می‌کند، تمرکز شود. بارگری می‌گوید: «خطر مربوط به این است که هوش مصنوعی چگونه با محیط شما تعامل می‌کند، چگونه با داده‌های شما ارتباط برقرار می‌کند و چگونه به نمایندگی از شما عملیات را انجام می‌دهد.» او ادامه می‌دهد: «شما باید بفهمید که نماینده هوش مصنوعی چه کاری به نمایندگی از یک کاربر انجام می‌دهد و آیا این کار با آنچه کاربر در واقع درخواست کرده است، همخوانی دارد یا نه.»
