Blog

Zero Trust für LLMs. So geht eine sichere KI-Integration

Unternehmen und Behörden integrieren Large Language Models (LLMs) zunehmend in ihre Prozesse: von der automatisierten Dokumentenanalyse über intelligente Kundeninteraktionen bis hin zu komplexen Systemen, die selbst Entscheidungen treffen oder Menschen bei Entscheidungen assistieren. Diese Integration verspricht erhebliche Effizienzgewinne, erzeugt aber gleichzeitig auch neuartige Sicherheitsrisiken, die mit speziellen IT-Security-Maßnahmen adressiert werden müssen.

Im August 2025 haben das Bundesamt für Sicherheit in der Informationstechnik (BSI) und die französische Cybersicherheitsbehörde ANSSI gemeinsam ein wegweisendes Dokument veröffentlicht: „Design Principles for LLM-based Systems with Zero Trust: Foundation for Secure Agentic Systems“. Dieses Papier überträgt das bewährte Zero-Trust-Paradigma auf die spezifischen Herausforderungen LLM-basierter Systeme und definiert konkrete Designprinzipien für deren sichere Implementierung.

Dieser Beitrag fasst die wichtigsten Erkenntnisse des BSI-ANSSI-Dokuments zusammen, ordnet sie in einen breiteren Kontext der Sicherheitsforschung ein und zeigt, wie wir von Micromata unsere Kunden bei der praktischen Umsetzung dieser Prinzipien unterstützen können.

Warum herkömmliche Sicherheitsmaßnahmen nicht genug sind

LLMs verarbeiten neben Text auch multimodale Eingaben wie Bilder und Bewegtbilder. Sie generieren Ausgaben in verschiedenen Formaten: Video- und Audiodateien, Texte in natürlicher Sprache, strukturierte Tabellen, Programmcode. Diese Vielseitigkeit macht sie wertvoll, schafft aber ganz neue und spezifische Sicherheitsrisiken.

Das BSI identifiziert drei Hauptangriffsvektoren auf KI-Modelle:

    • „Evasion Attacks“ verleiten das Modell, Sicherheitsmechanismen zu umgehen,
    • „Poisoning Attacks“ manipulieren Trainingsdaten oder das Modell selbst,
    • „Privacy Attacks“ zielen auf die Vertraulichkeit sensibler Daten ab.

Besonders gefährlich sind so genannte „Indirect Prompt Injections“. Hierbei betten Angreifende versteckte Anweisungen in Texte oder Daten ein. Das Modell verarbeitet und befolgt diese Anweisungen, ohne dass die Endnutzer:in davon weiß. In komplexen LLM-Systemen führen solche Angriffe zu Datenlecks, falschen Entscheidungen oder unbefugten Aktionen.

Zero Trust: Warum Vertrauen allein nicht reicht

Zero-Trust-Architektur beantwortet diese Bedrohungen. Das Konzept basiert auf drei Prinzipien.

    1. Jede Entität muss für jede Interaktion authentifiziert und autorisiert werden, ob Benutzer:in, Gerät oder Systemkomponente.
    2. Ressourcen werden in kleine Einheiten aufgeteilt und Berechtigungen granular vergeben.
    3. Weder externe noch interne Netzwerke gelten als sicher. Stattdessen werden potenzielle Datenschutzverletzungen und Insider-Bedrohungen als gegeben vorausgesetzt und mittels Risikobewertungen bekämpft.

Jonathan Rutschinski

Change Management und KI

Dominique Wüst

Projektmanagement IT Security

Sechs Designprinzipien für sichere LLM-Systeme

Das BSI-Dokument definiert sechs Designprinzipien, die wir bei Micromata längst in KI-Projekten umsetzen.

Authentifizierung und Autorisierung. LLM-Systeme mit RAG greifen auf sensible Datenbanken zu. Ohne strikte Zugriffskontrollen können Nutzende durch geschickte Prompts unbefugt auf Daten zugreifen.

    • Multi-Faktor-Authentifizierung, attributbasierte Zugriffskontrolle und das Least-Privilege-Prinzip verhindern das. Jede Aktion läuft im Sicherheitskontext des/der jeweiligen Nutzenden, nicht mit erweiterten Systemrechten.

Ein- und Ausgabebeschränkungen. Angreifende schleusen Prompt Injections über das Model Context Protocol oder versteckte Markdown-Bilder ein. Das System exfiltriert dann sensible Daten ungewollt und unbemerkt.

    • Unser Gegenmittel: Intelligente Gateways vermitteln zwischen dem Kern-LLM und seinen Komponenten. Sie taggen Eingabequellen, bewerten Vertrauenswürdigkeit und kontrollieren Outputs mit Guardrails. Nur vertrauenswürdige Inhalte werden dann verarbeitet. Kritische Operationen erfordern die explizite Bestätigung durch den/die Nutzer:in.

Sandboxing. Die Risiken sind real: Fehlerhafte Module können Endlosschleifen auslösen. Kompromittierte Komponenten öffnen Backdoors oder stehlen Daten. Shared Memory zwischen Sessions ermöglicht persistente Prompt Injections.

    • Was dagegen hilft? Das LLM-Memory muss strikt zwischen Sessions und Benutzern isoliert werden. Emergency-Shutdown-Mechanismen und Whitelisting beschränken Systemzugriffe. Entwicklungs-, Test- und Produktionsumgebungen bleiben getrennt.

Monitoring, Reporting und Controlling. Ohne kontinuierliche Überwachung bleiben Missbrauch, exzessive Token-Nutzung und DDoS-Angriffe unbemerkt.

    • Mithilfe von Anomalie-Erkennungssystemen, automatisierten Threat-Response-Mechanismen und Token-Limits verhindern wir das. Detaillierte Logs ermöglichen uns darüber hinaus forensische Analysen und die kontinuierliche Verbesserung unserer Security-Maßnahmen.

Threat Intelligence. Die Bedrohungslandschaft für KI-Systeme entwickelt sich schnell. Neue Angriffsvektoren entstehen täglich.

    • Eine KI-getriebene tagesaktuelle Threat Intelligence aus wissenschaftlichen Publikationen, Security-Blogs und Cybersecurity-Feeds ermöglicht uns die proaktive Anpassung von Sicherheitsmaßnahmen und frühzeitige Erkennung neuer Bedrohungen.

Awareness. Technische Sicherheitsmaßnahmen versagen, wenn Nutzende die spezifischen Risiken von LLM-Systemen nicht kennen und nicht berücksichtigen.

    • Schulungen für Entwickler:innen, Administrator:innen und Endnutzende sind notwendig. Mit einer transparenten Dokumentation und klaren Richtlinien stellen wir sicher, dass alle Beteiligten die Schutzanforderungen verstehen und umsetzen.

Die Architektur sicherer LLM-Systeme

Das Zauberwort heißt Gewaltenteilung. Ein sicheres LLM-System besteht aus mehreren Komponenten, die durch strikte Zugriffskontrollen und Autorisierungsregeln miteinander interagieren, systemseitig aber voneinander getrennt sind. 

    • Das zentrale LLM verarbeitet Eingaben und generiert Ausgaben. 
    • Der Orchestrator koordiniert Interaktionen und verteilt Aufgaben.
    • Datenbanken für RAG-Systeme haben strikte Zugangskontrollen. 
    • Plug-ins und Frontends laufen mit beschränkten Berechtigungen im Sandboxing. 

Monitoring und Logging überwachen kontinuierlich alle Interaktionen. Klassische Sicherheitselemente wie IAM, PKI und Netzwerksegmentierung bilden die Grundlage.

Wie wir von Micromata dabei unterstützen

Die Umsetzung dieser Designprinzipien erfordert Know-how in mehreren Disziplinen. Micromata gestaltet LLM-Systeme von Grund auf nach Zero-Trust-Prinzipien. Unsere Spezialisten verstehen die spezifischen Schwachstellen von LLMs und adressieren diese.

Außerdem setzen wir folgende technischen Sicherheitsmaßnahmen um: Gateways, Guardrails, Monitoring-Systeme. Die Systeme sind nicht nur nach unseren eigenen Kriterien sicher, sondern orientieren sich an international geltenden Standards wie etwa dem EU AI Act. Micromata schult Teams in der sicheren Entwicklung, Administration und Nutzung von LLM-Systemen.

Die Forschung gibt uns Recht

Die Zero-Trust-Prinzipien des BSI basieren auf jahrzehntelanger Forschung darüber, wie Menschen technische Systeme in der Praxis nutzen und auch missbrauchen.

Ein zentrales Problem beim Design von LLM-Systemen ist die Tendenz, diesen Systemen menschenähnliche Eigenschaften zuzuschreiben. Forscher wie Lucy Suchman warnen vor der Annahme, dass KI-Systeme „verstehen“, „entscheiden“ oder „autonom handeln“ können. Diese Anthropomorphisierung führe dazu, dass Sicherheitsmechanismen vernachlässigt würden. Das Motto laute dann: „Das System wird schon richtig entscheiden.“

Auch wir sagen: Kritische Entscheidungen sollten niemals vollständig an LLMs delegiert werden. Statt darauf zu vertrauen, dass das LLM „schon das Richtige tut“, müssen Ausgaben regelbasiert überprüft werden. Nutzende müssen verstehen, dass sie mit einem statistischen Sprachmodell interagieren, nicht mit einer intelligenten Entität.

Die Actor-Network-Theory sagt: Vertrauen in komplexe technische Systeme ist kein statischer Zustand. Es muss durch kontinuierliche Interaktionen zwischen allen Akteuren aktiv aufrechterhalten werden: Menschen, Software, Daten, Infrastruktur.

Ein einmaliges Security-Audit reicht da nicht. Denn LLM-Systeme verändern sich durch Updates, neue Daten und veränderte Nutzungsmuster. Sicherheit kann nicht einmalig“implementiert“ werden. Sie muss in jeder Interaktion zwischen Systemkomponenten neu etabliert werden. Selbst interne Systemkomponenten müssen sich gegenseitig authentifizieren und autorisieren.

Ethnomethodologische Studien zeigen zudem: Menschen nutzen Technologie anders als Designer es sich vorstellen. Für LLM-Systeme bedeutet das: Nutzende finden kreative Wege, Systeme auch zu missbrauchen. Prompt Injections, unerwartete Input-Kombinationen, die Verkettung scheinbar harmloser Funktionen.

Sicherheitsanalysen müssen also vom tatsächlichen Nutzungsverhalten ausgehen, nicht von idealisierten Anwendungsszenarien. Jede Input-Quelle ist potenziell kompromittiert, jede Output-Verwendung potenziell gefährlich.

Nur durch systematisches Austesten unkonventioneller Nutzungsszenarien lassen sich Schwachstellen identifizieren.

Diese Erkenntnisse zeigen, warum viele KI-Projekte an security-spezifischen Herausforderungen scheitern, die in der Designphase nicht antizipiert wurden.

Wir von Micromata integrieren diese Perspektiven von Anfang an in die Architektur Ihrer LLM-Systeme.

Fazit

Die Integration von LLMs in Geschäftsprozesse steht nicht im Widerspruch zu deren Sicherheit. Die BSI-Designprinzipien schaffen die Grundlage für vertrauenswürdige KI-Systeme, die sicher, leistungsfähig und zuverlässig sind. Für uns sind sie von Haus aus gängige und tägliche Praxis.

Wir von Micromata begleiten Sie auf diesem Weg: strategische Planung, sichere Implementierung, laufender Betrieb. Unsere Expertise kombiniert technisches Know-how mit fachlichem Verständnis der Bedrohungslandschaft und aktuellen Standards.

Kontaktieren Sie uns für eine Beratung. Wir entwickeln gemeinsam eine Sicherheitsstrategie, die Ihren Anforderungen entspricht und die Innovationskraft von KI-Technologien in Ihrem Unternehmen nutzt.

Literaturverzeichnis:

  • Bundesamt für Sicherheit in der Informationstechnik (BSI) & Agence nationale de la sécurité des systèmes d’information (ANSSI). (2025).
  • Design Principles for LLM-based Systems with Zero Trust: Foundation for Secure Agentic Systems. Bonn/Paris.
  • Garfinkel, H. (2018). Studies in Ethnomethodology (Reprinted). Polity Press.
  • Latour, B. (2005). Reassembling the social: an introduction to actor-network-theory. Oxford University Press.
  • OWASP. (2025). Top 10 for LLM Applications 2025. OWASP Foundation. https://owasp.org/www-project-top-10-for-large-language-model-applications/
  • Suchman, L. (2023). The uncontroversial ‚thingness‘ of AI. Big Data & Society, 10(2), 20539517231206794. https://doi.org/10.1177/20539517231206794