مروری بر فهرست OWASP Top 10 برای برنامه‌های مبتنی بر مدل‌های زبانی بزرگ

با گسترش استفاده از مدل‌های زبانی بزرگ در محصولات و سامانه‌ها، پروژه OWASP فهرستی از مهم‌ترین ریسک‌های امنیتی این برنامه‌ها منتشر کرده است؛ از تزریق دستور تا افشای اطلاعات حساس و اختیارات بیش از حد.

۹ مهر ۱۴۰۵زمان مطالعه: ۱ دقیقه

برنامه‌هایی که از مدل‌های زبانی بزرگ (LLM) استفاده می‌کنند، با گونه‌های جدیدی از تهدید روبه‌رو هستند که در چارچوب‌های سنتی امنیت نرم‌افزار به‌خوبی پوشش داده نمی‌شوند. پروژه OWASP Top 10 for LLM Applications تلاشی برای شناسایی و طبقه‌بندی این ریسک‌هاست.

نمونه‌هایی از ریسک‌های مطرح‌شده

تزریق دستور (Prompt Injection): دست‌کاری رفتار مدل با ورودی‌های طراحی‌شده، به‌صورت مستقیم یا از طریق محتوای خارجی مانند صفحات وب و اسناد.
افشای اطلاعات حساس: بازگرداندن ناخواسته داده‌های محرمانه موجود در داده‌های آموزشی یا زمینه مکالمه.
ریسک‌های زنجیره تأمین: استفاده از مدل‌ها، مجموعه‌داده‌ها یا افزونه‌های نامطمئن.
مدیریت نادرست خروجی: استفاده از خروجی مدل بدون اعتبارسنجی در بخش‌های دیگر سامانه.
اختیارات بیش از حد: واگذاری دسترسی‌های گسترده به عامل‌های مبتنی بر مدل بدون کنترل کافی.

توصیه‌ها

در طراحی این برنامه‌ها، خروجی مدل را ورودی نامطمئن در نظر بگیرید، دسترسی‌های مدل و ابزارهای متصل به آن را به حداقل لازم محدود کنید، برای اقدامات حساس تأیید انسانی در نظر بگیرید و داده‌های حساس را از زمینه مدل دور نگه دارید.