مستندات فنی منتشر شده به‌روزرسانی شماره ۲۶۲۲۰.۷۲۶۲ نشان می‌دهد که ابزار‌های جدید تحت عنوان «قابلیت‌های آزمایشی عامل‌های هوشمند» در دسترس قرار گرفته‌اند و استفاده از آن‌ها نیازمند پذیرش ریسک‌های احتمالی از سوی کاربر است. گزارش‌ها حاکی از آن است که مایکروسافت ضمن تلاش برای همگام‌سازی سیستم‌عامل خود با فناوری‌های مبتنی بر مدل‌های زبانی بزرگ، هشدار‌هایی را مبنی بر احتمال توهم سیستم و معرفی آسیب‌پذیری‌های امنیتی ناشناخته صادر کرده است که می‌تواند ثبات و امنیت داده‌های کاربران را تحت‌الشعاع قرار دهد.

تهدید اصلی شناسایی شده در این گزارش، نوعی حمله سایبری Cross Prompt Injection است که طی آن محتوای مخرب جاسازی شده در فایل‌ها می‌تواند کنترل عامل هوشمند را در دست بگیرد. مهاجمان سایبری قادر خواهند بود با پنهان کردن دستورات در عناصر رابط کاربری یا اسناد متنی، دستورالعمل‌های اصلی عامل هوشمند را بازنویسی کنند و آن را وادار به انجام اقداماتی ناخواسته نظیر استخراج داده‌های محرمانه یا نصب بدافزار نمایند، بدون آنکه کاربر متوجه تغییر در عملکرد سیستم شود.

کاربران ممکن است تنها با دانلود یک فایل، مانند یک سند پی‌دی‌اف که حاوی متن‌های مخفی و دستورات خرابکارانه است، ناخواسته به عامل هوشمند اجازه دهند تا وظایف مخربی را اجرا کند. سیستم عامل‌گرا در چنین شرایطی ممکن است دستورات پنهان موجود در فایل را بر دستورات امنیتی و استاندارد اولویت داده و فرمان‌های نفوذگر را عملیاتی کند که این مسئله نشان‌دهنده چالش‌های امنیتی موجود در تعامل میان سیستم‌عامل و مدل‌های هوش مصنوعی است.

فعال‌سازی این قابلیت‌ها به دلیل ماهیت آزمایشی و خطرات بالقوه ذکر شده، به صورت پیش‌فرض انجام نمی‌شود و کاربران باید شخصاً و به صورت دستی اقدام به روشن کردن آن کنند. فرآیند راه‌اندازی شامل نمایش پیام‌هایی است که از کاربر می‌خواهد پیش از فعال‌سازی، اطلاعات امنیتی مربوطه را مطالعه کرده و مسئولیت پیامد‌های آن را بپذیرد؛ هرچند پس از یک بار فعال‌سازی، این ویژگی‌ها برای تمامی حساب‌های کاربری موجود روی دستگاه در دسترس خواهند بود.

مایکروسافت اعلام کرده است که این هوش مصنوعی بر اساس سه اصل فعالیت می‌کند که شامل قابلیت مشاهده اقدامات توسط کاربر، رعایت استاندارد‌های حفاظت از داده‌ها و لزوم تایید کاربر برای هرگونه درخواست داده می‌شود. بررسی‌های کارشناسی نشان می‌دهد که این اصول بیشتر به عنوان اهداف طراحی مطرح شده‌اند تا ضمانت‌های اجرایی قطعی، چرا که هشدار‌های امنیتی صادر شده توسط خود شرکت سازنده، وجود احتمال نقض این اصول توسط حملات سایبری را رد نمی‌کند.