Blog

Die KI läuft Amok. Eine kurze Einordnung

Momentan vergeht keine Woche, in der nicht eine der großen KI-Firmen berichtet, dass ihre KI-Agenten unbeabsichtigt eine fremde Seite gehackt haben. Dies führt verständlicherweise zu Fragen, lebhaften Diskussionen und berechtigten Sorgen.

Dabei ist eines klar: Die KI ist nicht einfach mal eben “böse” geworden. Wir haben noch kein Skynet wie in Terminator, das nun anfängt, auf eigene Faust zu rebellieren. Es gibt im Gegenteil handfeste und nachvollziehbare Ursachen, warum diese Ereignisse passieren, die nichts mit Böswilligkeit zu tun haben.

Zunächst einmal sind diese Meldungen für besagte Unternehmen eine wunderbare Publicity. Es ist sicherlich kein Zufall, dass bereits kurz nach Anthropic auch OpenAI einen solchen Vorfall hatte. Zuletzt sogar Meta.

Klappern gehört zum Geschäft

Alle diese Firmen haben eine Sache gemeinsam: Sie entwickeln leistungsfähige Modelle und Agentensysteme und haben dafür aus unserer Perspektive nahezu unendliche Ressourcen. Und natürlich möchten diese Firmen wissen, wie gut ihre Systeme sind, sie ausreizen und forschen, wie sie noch leistungsfähiger werden können. Ein Schelm, der auf den Gedanken kommt, dass Verantwortungsgefühl und Sicherheitsbewusstsein dabei in den Hintergrund treten könnten.

Ein Beispiel liefert der kürzlich gehaltene Vortrag auf der Fachkonferenz Black Hat USA über den KI-Angriff auf  die Plattform “Hugging Face”. Wenn man sich den öffentlich bekannten Hergang ansieht, werden mehrere Rahmenpunkte klar:

André Stehl

Pentesting & IT Security

  • Die Agenten wurden bewusst “beauftragt“ im Rahmen interner Challenges zu hacken. Die Agenten liefen offenbar wochenlang ohne sachgemäße Beaufsichtigung (aufgefallen ist das durch Nebenwirkungen wie Systemausfälle).
  • Dem System wurden offenbar mehr Berechtigungen gegeben, als zur Erfüllung der Aufgabe nötig gewesen wären (z. B. Zugriff auf die Artifactory, welche die KI dann als gemeinsame Wissensdatenbank missbrauchte).
  • Es gab scheinbar keine (wirksamen) Alarmsysteme, die Mitarbeitende darauf hätten hinweisen können, dass Netzwerkverkehr vom KI-System ausgehend in ungewollter Richtung stattfand.
  • Die eingesetzten Ressourcen bzw. Token dürften ohne jedes Limit gewesen sein.

Es musste also vieles schief laufen (je nachdem, wie man es sieht), damit es zu dem Angriff kommen konnte. Das ist jedoch nicht auf die Allgemeinheit übertragbar und darum muss man zumindest aus heutiger Sicht auch nicht generell in Panik verfallen.

Better safe than sorry

Nun wäre es auch naiv, diese Entwicklungen völlig zu ignorieren. Cybersecurity wird für uns alle immer wichtiger. Auch und gerade für KMUs, die Ausfallzeiten oftmals weniger kompensieren können als große Konzerne mit entsprechenden Redundanzen. Cybersecurity ist kein Luxusgut, sondern ein Must-have!

Auch wir entwickeln mit INVAIDER eine agentische Pentesting-Plattform. Entsprechend sind wir sensibel, verfolgen die aktuellen Entwicklungen sorgfältig und bewerten unsere Sicherheitsmaßnahmen vor diesem Hintergrund kontinuierlich. Ein kleiner Einblick:

  • Die eigentlichen KI-Agenten laufen auf isolierten Maschinen ohne Root-Rechte. Dies ist eine Grundvoraussetzung, denn sonst ist die KI in der Lage, alles mögliche zu tun und aus ihren Systemgrenzen auszubrechen. Sollten Funktionalitäten mit elevierten Berechtigungen ausgeführt werden müssen, so laufen diese in separaten Maschinen und sind nur über dedizierte Schnittstellen ansprechbar.
  • Die KI selbst kann dort nur einen API Call durchführen, aber nicht auf der Maschine tätig werden. Sie selbst ist in ihrem Netzwerkzugriff streng limitiert. Der Ansatz lautet hier: “Alles ist erst einmal verboten, außer das, was tatsächlich benötigt wird.”
  • Sobald die Agenten mit ihrem Auftrag fertig sind, werden sie komplett abgeschaltet, statt über Wochen autonom zu laufen. Nicht zuletzt wird das System streng überwacht, um ungewolltes Verhalten schnell aufzudecken. Sollten Probleme auffallen, steht jederzeit ein “Notfall-Aus” zur Verfügung.

Dies ist nur ein kleiner Ausschnitt aus unserem Werkzeugkasten. Haben wir damit 100-prozentige Sicherheit? Wir alle wissen: Die gibt es nicht. Doch sehen wir uns in Sachen Datensicherheit und IT Security sehr gut aufgestellt.

Wollen auch Sie Ihre KI-Systeme besser steuern und absichern? Wir beraten und begleiten Sie gern: von der Architektur und der Implementierung über Hosting und Cloud Security bis hin zu Pentests und AI Red Teamings. Mehr dazu erfahren Sie hier.