LLM Security: Injections erkennen & abwehren

Kursinhalte

• Grundlagen der LLM-Architektur und Angriffsflächen
  • Funktionsweise von Transformern und Tokenizern aus Sicherheitsperspektive
  • Unterschiede zwischen klassischer AppSec und LLM-Security
  • Überblick über die OWASP Top 10 für Large Language Models
  • Lifecycle einer KI-Anwendung und kritische Punkte
• Prompt Injection und Jailbreaking (Red Teaming)
  • Direkte Prompt Injection (DAN, Developer Mode, Obfuscation)
  • Jailbreaking-Techniken zur Umgehung von Sicherheitsrichtlinien
  • Automatisierte Angriffe auf LLM-APIs
  • Payload-Generierung und Token-Manipulation
• Indirect Prompt Injection und RAG-Security
  • Angriffsvektoren über externe Datenquellen (E-Mails, Websites)
  • Manipulation von Retrieval Augmented Generation (RAG) Systemen
  • Versteckte Instruktionen in Dokumenten und Bildern
  • Exfiltration von Unternehmensdaten durch Prompt-Hacking
• Abwehrstrategien und Defense-in-Depth
  • Implementierung von Input- und Output-Filtern
  • Einsatz von LLM-Firewalls und Guardrails (z. B. NVIDIA NeMo)
  • Prompt-Härtung und System-Prompt-Design
  • Erkennung von adversarialen Eingaben
• Governance und sicherer Betrieb
  • Monitoring und Logging von LLM-Interaktionen
  • Rate Limiting gegen Model Denial of Service
  • Richtlinien für den sicheren Einsatz von Generativer KI
  • Aufbau einer internen Red Teaming Strategie