Skip to content

Экзаменационные вопросы по курсу "Атаки на системы искусственного интеллекта"

  1. Понятие атаки на модель машинного обучения. Возможные угрозы от атак на системы компьютерного зрения. Виды атак на модели компьютерного зрения. Классификация атак на модели компьютерного зрения.
  2. L-BFGS. FGSM. Basic Iterative Method (Projected Gradient Descent). Их сравнение. Iterative FGSM with momentum.
  3. DeepFool. Fast Adaptive Boundary. Универсальные по датасету атаки.
  4. Атака Карлини и Вагнера.
  5. Auto-PGD.
  6. Атаки в режиме черного ящика. One pixel attack. Атака не распознаваемыми изображениями. ZOO.
  7. Square Attack. Boundary Attack.
  8. Переносимость состязательных примеров. Атака с обучением суррогата. Улучшение переносимости целевых состязательных атак.
  9. Понятие робастности модели. Современные методы оценивания робастности модели. Виды и классификация защит от состязательных примеров.
  10. Состязательное обучение с FGSM-сэмплами.
  11. Состязательное обучение с PGD-сэмплами (Madry defense).
  12. TRADES.
  13. Улучшения состязательного обучения.
  14. Усложнение синтеза состязательных примеров. Методы обхода таких защит.
  15. Детектирование состязательных примеров. Методы обхода таких защит.
  16. Сертификация робастности на основе случайного сглаживания. Состязательное обучение сглаженных классификаторов.
  17. Определение непрерывности по Липшицу. Норма линейного оператора. Вывод константы Липшица для Fully-connected слоя. Вывод константы Липшица для Residual блоков. Ограничение подхода сертификации с константой Липшица
  18. LLM. Основные принципы обучения LLM. RLHF. Jailbreaking. Разные виды Jailbreaking. Атаки с автоматической оптимизацией промпта. Подходы на основе эмбеддингов и на основе one-hot кодирования. Универсальная и переносимая атака на LLM
  19. Формальное определение двух типов угроз при атаке отравлением. Формальное определение и сравнение атак отравлением Blended, BadNet, SSBA, WaNet, BPP.
  20. Формальное определение двух типов угроз при атаке отравлением. Основные критерии защит от атак отравлением. Формальное определение защит: Activation clustering+neural cleanse, Fine-prunning, ABL, NAD, DBD.