بیش از ۳۶ آسیب‌پذیری امنیتی در مدل‌های مختلف هوش مصنوعی منبع باز (AI) و یادگیری ماشین (ML) فاش شده‌اند که برخی از آن‌ها می‌توانند منجر به اجرای کد از راه دور و سرقت اطلاعات شوند.
نقص‌هایی که در ابزارهایی مانند ChuanhuChatGPT، Lunary و LocalAI شناسایی شده‌اند، به‌عنوان بخشی از پلتفرم پاداش باگ Huntr Protect AI گزارش شده‌اند[۱].
شدیدترین نقص‌ها دو نقص هستند که Lunary را تحت تأثیر قرار می‌دهد، یک جعبه‌ابزار تولید برای مدل‌های زبان بزرگ (LLM):
- CVE-2024-7474 (امتیاز ۹٫۱ در مقیاس CVSS) – یک آسیب‌پذیری ناامن مستقیم شیء مرجع (IDOR) که می‌تواند به کاربر احراز هویت شده اجازه دهد تا کاربران خارجی را مشاهده یا حذف کند و منجر به دسترسی غیرمجاز به داده‌ها و از دست رفتن احتمالی داده شود.
- CVE-2024-7475 (امتیاز ۹٫۱ در مقیاس CVSS) – یک آسیب‌پذیری کنترل دسترسی نامناسب که به مهاجم اجازه می‌دهد پیکربندی SAML را به‌روزرسانی کند، درنتیجه امکان ورود به‌عنوان کاربر غیرمجاز و دسترسی به اطلاعات حساس را فراهم می‌کند.
همچنین در Lunary یک آسیب‌پذیری IDOR دیگر کشف شد (CVE-2024-7473، امتیاز ۷٫۵ در مقیاس CVSS) که به یک بازیگر بد اجازه می‌دهد با دست‌کاری یک پارامتر کنترل‌شده توسط کاربر، درخواست‌های کاربران دیگر را به‌روزرسانی کند.
Protect AI در گزارشی توضیح داد: «یک مهاجم به‌عنوان کاربر A وارد می‌شود و درخواست به‌روزرسانی یک درخواست را ره‌گیری می‌کند. با تغییر پارامتر id در درخواست به id یک درخواست متعلق به کاربر B، مهاجم می‌تواند درخواست کاربر B را بدون مجوز به‌روز کند.»
سومین آسیب‌پذیری مهم مربوط به نقص پیمایش مسیر در ویژگی آپلود کاربر ChuanhuChatGPT (CVE-2024-5982، امتیاز ۹٫۱ در مقیاس CVSS) است که می‌تواند منجر به اجرای کد دلخواه، ایجاد دایرکتوری و قرار گرفتن در معرض داده‌های حساس شود.
دو نقص امنیتی نیز در LocalAI شناسایی شده است، یک پروژه منبع باز که به کاربران امکان می‌دهد LLM های خود میزبان را اجرا کنند، به‌طور بالقوه به عوامل مخرب اجازه می‌دهد تا کد دلخواه را با آپلود یک فایل پیکربندی مخرب اجرا کنند (CVE-2024-6983، امتیاز ۸/۸ در مقیاس CVSS) و با تجزیه‌وتحلیل زمان پاسخ سرور (CVE-2024-7010، امتیاز ۷٫۵ در مقیاس CVSS) کلیدهای API معتبر را حدس بزنید.
Protect AI گفت: «این آسیب‌پذیری به مهاجم اجازه می‌دهد تا یک حمله زمان‌بندی را انجام دهد که نوعی حمله کانال جانبی است. با اندازه‌گیری زمان پردازش درخواست‌ها با کلیدهای API مختلف، مهاجم می‌تواند کلید API صحیح را یک کاراکتر استنباط کند.»
گرد کردن لیست آسیب‌پذیری‌ها یک نقص اجرای کد از راه دور است که روی کتابخانه جاوا عمیق (DJL) تأثیر می‌گذارد که از یک اشکال بازنویسی فایل دلخواه که ریشه در تابع untar بسته دارد (CVE-2024-8396، امتیاز ۷٫۸ در مقیاس CVSS) ناشی می‌شود.
این افشاگری زمانی منتشر می‌شود که NVIDIA وصله‌هایی را برای رفع نقص پیمایش مسیر در چارچوب هوش مصنوعی NeMo (CVE-2024-0129، امتیاز ۶٫۳ در مقیاس CVSS) منتشر کرده است[۲] که ممکن است منجر به اجرای کد و دست‌کاری داده‌ها شود.
به کاربران توصیه می‌شود برای ایمن‌سازی زنجیره تأمین AI/ML خود و محافظت در برابر حملات احتمالی[۳]، نصب خود را به آخرین نسخه به‌روز کنند.
افشای این آسیب‌پذیری همچنین به دنبال انتشار Vulnhuntr توسط Protect AI، یک تحلیل‌گر کد استاتیک پایتون منبع باز است که از LLMها برای یافتن آسیب‌پذیری‌های روز صفر در پایگاه‌های کد پایتون استفاده می‌کند.
Vulnhuntr با شکستن کد به تکه‌های کوچک‌تر کار می‌کند بدون اینکه پنجره زمینه LLM را تحت تأثیر قرار دهد – مقدار اطلاعاتی که یک LLM می‌تواند در یک درخواست چت تجزیه کند – تا مشکلات امنیتی احتمالی را علامت‌گذاری کند.
Dan McInerney و Marcello Salvati می‌گویند[۴]: «این به‌طور خودکار فایل‌های پروژه را برای فایل‌هایی جستجو می‌کند که احتمالاً اولین فایل‌هایی هستند که ورودی کاربر را کنترل می‌کنند. سپس کل فایل را جذب می‌کند و با تمام آسیب‌پذیری‌های احتمالی پاسخ می‌دهد.»
با استفاده از این لیست از آسیب‌پذیری‌های بالقوه، کل زنجیره فراخوانی تابع از ورودی کاربر تا خروجی سرور برای هر آسیب‌پذیری احتمالی در سراسر پروژه در هر بار یک تابع/کلاس تکمیل می‌شود تا زمانی که راضی شود که کل زنجیره فراخوانی را برای تجزیه‌وتحلیل نهایی دارد.
گذشته از ضعف‌های امنیتی در چارچوب‌های هوش مصنوعی، یک تکنیک جدید فرار از زندان که توسط شبکه تحقیقاتی روی صفر موزیلا (۰Din) منتشر شده است، نشان می‌دهد که پیام‌های مخرب در قالب هگزادسیمال و ایموجی‌ها encode شده می‌توانند برای دور زدن حفاظت OpenAI ChatGPT و دست‌کاری بهره‌بردارها برای نقص‌های امنیتی شناخته‌شده مورداستفاده قرار گیرند.
Marco Figueroa، محقق امنیتی، گفت[۵]: «تاکتیک jailbreak با دستور دادن به مدل برای پردازش یک کار به‌ظاهر خوش‌خیم: تبدیل هگزا، از یک شکاف زبانی سوءاستفاده می‌کند. ازآنجایی‌که مدل برای پیروی از دستورالعمل‌ها به زبان طبیعی، ازجمله انجام وظایف رمزگذاری یا رمزگشایی، بهینه‌سازی شده است، به‌طور ذاتی تشخیص نمی‌دهد که تبدیل مقادیر هگزا ممکن است خروجی‌های مضر ایجاد کند.»
این ضعف به این دلیل است که مدل زبان به‌گونه‌ای طراحی شده است که دستورالعمل‌ها را گام‌به‌گام دنبال کند، اما فاقد آگاهی بافت عمیق برای ارزیابی ایمنی هر مرحله فردی در زمینه گسترده‌تر هدف نهایی آن است.
منابع
[۱] https://protectai.com/threat-research/2024-october-vulnerability-report
[۲] https://nvidia.custhelp.com/app/answers/detail/a_id/5580
[۳] https://protectai.com/threat-research/september-vulnerability-report
[۴] https://protectai.com/threat-research/vulnhuntr-first-0-day-vulnerabilities
[۵] https://0din.ai/blog/chatgpt-4o-guardrail-jailbreak-hex-encoding-for-writing-cve-exploits
[۶] https://thehackernews.com/2024/10/researchers-uncover-vulnerabilities-in.html
ثبت ديدگاه