Атаки с инжектиране на промпта върху големи езикови модели

По време на семинара ше се говори повече за:

• Използването на различни тактики и техники и атаки за инжектиране на промпта и манипулиране на LLM (direct/indirect prompt injection, prompt leak);
• Класификация на "скритите опасности" в LLM системи (инструкция vs. данни, контекстно пренастройване, ексфилтрация);
• Настоящи тенденции: популярни jailbreak подходи и защо работят (role-play, DAN-варианти, token smuggling, opposite/sudo);
• Демо: как за минути се подготвя payload (HTML/URL/SMTP) и как изглежда „чист“ обход на филтри;
• Какво предстои: еволюция на атаките и практически защити (policy + guardrails + наблюдение + процедури за хората?

По време на семинара ще се добие ясна представа как се случват атаките, къде да се гледа за признаци и какво да се внедри веднага (контролни списъци, примерни политики и сценарии за обучение). Ще се класифицират скритите рискове в реални LLM-интеграции и ще се очертаят текущите тенденции в експлоатацията на "човешкия елемент" и моделните уязвимости. Ще се демонстрира колко лесно се изработват "на пръв поглед безобидни" материали, които заобикалят защитите и ще се говори за бъдещето: какви атаки се очакват, кои защитни модели имат шанс да издържат и как да превърнем хората от "най-слабото звено" в най-силния защитник, чрез практични процеси. Ще бъде погледнато през очите на атакуващия, но поднесено от позицията на защитниците, с образователна демонстрация на живо.