حوزه مطالعاتیمحتوای نمونه
پروژه‌های پژوهشی

امنیت سامانه‌های یادگیری ماشین و مدل‌های زبانی بزرگ

مطالعه تهدیدات و سازوکارهای دفاعی سامانه‌های مبتنی بر یادگیری ماشین، از حملات تخاصمی و مسموم‌سازی داده تا امنیت عامل‌های مبتنی بر مدل‌های زبانی.

وضعیت
حوزه مطالعاتی

کاربرد روزافزون یادگیری ماشین و مدل‌های زبانی بزرگ در سامانه‌های حیاتی، سطح حمله جدیدی ایجاد کرده است. این حوزه مطالعاتی به شناخت و تحلیل تهدیدات این سامانه‌ها و راهکارهای مقابله می‌پردازد.

محورهای مطالعه

  • حملات تخاصمی و مقاوم‌سازی مدل‌ها در برابر ورودی‌های دست‌کاری‌شده
  • مسموم‌سازی داده‌های آموزشی و امنیت زنجیره تأمین مدل
  • تزریق دستور و امنیت عامل‌های مبتنی بر مدل‌های زبانی
  • حریم خصوصی و نشت اطلاعات از مدل‌ها
  • کاربرد یادگیری ماشین در تشخیص تهدیدات

جزئیات پروژه‌ها، پژوهشگران و نتایج پس از تعریف رسمی در این بخش منتشر می‌شود.

امنیت هوش مصنوعیحملات تخاصمیتزریق دستورحریم خصوصی داده‌های آموزشی