Der Einsatz von KI wird zum neuen Normal

Die Gefahr von Cyberangriffen nimmt immer mehr zu. Für den Schutz spielt Künstliche Intelligenz eine wichtige Rolle, birgt aber auch Gefahren. Cybersicherheitsexperte Daniel Gille zeigt, worauf es für Unternehmen zu achten gilt.

Wie hat sich die Landschaft der Cybersicherheit in den letzten Jahren verändert?

Daniel Gille: Allgemein lässt sich sagen, dass die Bedrohungslage so ernst ist wie nie zuvor. Das unterstreichen auch die jüngsten Lageberichte und Aktivitäten des Bundesamt für Sicherheit in der Informationstechnik (BSI). Der Professionalisierungsgrad seitens der Angreifer steigt, Angriffstools werden immer ausgefeilter und schwerer abwehrbar. In der Konsequenz gewinnen Sicherheitskonzepte wie „Zero Trust“ an Bedeutung, wo nicht mehr zwischen einem sicheren „Innen“ und einem unsicheren „Außen“ unterschieden wird. Als KI-Fachverantwortliche bei der Cyberagentur haben wir aber in erster Linie Sicherheitsaspekte der Künstlichen Intelligenz im Fokus und können keinen Anspruch auf Vollständigkeit hinsichtlich der gesamten Cybersicherheitslandschaft erheben.

Und wie sieht es im KI-Umfeld aus?

Gille: Im KI-Umfeld sehen wir neue Schwachstellenarten, die angesichts der zunehmenden Verbreitung von KI-Elementen in Softwareapplikationen an Bedeutung gewinnen. Beispiele sind „vergiftete“ Daten beim Training, erzwungene Fehlklassifikationen im laufenden Einsatz oder die indirekte Befehlsausführung in großen Sprachmodellen. Die systematische Ausnutzung dieser Schwachstellen erfordert aber (noch) einiges an Knowhow und die Verbreitung von KI in Anwendungen ist dafür noch recht gering. Demnächst erscheint ein Papier des Bitkom (Branchenverband der deutschen Informations- und Telekommunikationsbranche) zu diesem Themenkomplex, an dem wir mitgewirkt haben. Zukünftig gehen wir von einem stark verbreiteten Einsatz von KI-basierten Tools für maliziöse Zwecke aus, sehen gleichzeitig in KI aber auch ein hilfreiches Tool zur Entdeckung und Abwehr neuartiger und komplexer Angriffsmuster.

Inwiefern können KI-Technologien dazu beitragen, die Effektivität von Sicherheitsmaßnahmen zu verbessern?

Gille: Prinzipiell kann durch KI-basierte, lernende Schutzmechanismen eine höhere Resilienz von komplexen Systemen erreicht werden, beispielsweise durch hoch effektive Intrusion Detection und automatisierte Mitigations- und Abwehrmaßnahmen. Grundlage dafür sind KI-Lernmechanismen wie unüberwachtes und bestärkendes Lernen, die eine adaptive Mustererkennung und passgenaue Reaktionen auf ungewöhnliche und potenziell bedrohliche Ereignisse ermöglichen. Eine Herausforderung ist dabei die adäquate Sensibilisierung des Schutzmechanismus bei gleichzeitiger Eindämmung von „False Positives“, also Fehlalarmen, die bei großer Häufigkeit die Funktionsfähigkeit des Systems beeinträchtigen können.

Und welche Sicherheitsaspekte sind bei der Implementierung von KI in Sicherheitslösungen besonders zu beachten?

Gille: KI, insbesondere datenbasiertes maschinelles Lernen, kann Sicherheitslösungen besser machen, ist aber weder Allheilmittel noch unverwundbar. Die spezifischen Einfallstore auf Daten-, Trainings- wie Ausführungsebene sollten immer berücksichtigt werden. Exemplarisch sei der Aspekt der Robustheit genannt: Je sprunghafter ein Modell auf Inputschwankungen reagiert, desto mehr Spielraum entsteht für bösartige Aktionen. Dieses und andere verwandte Probleme adressieren wir im Wettbewerb „Robustes und sicheres Maschinelles Lernen“ der Cyberagentur. Generell gilt: Die Datenherkunft bei verwendeten Modellen sollte transparent sein, die ML-Pipeline stets nachvollziehbar, und die Exponiertheit der Modelle und Applikationen sorgfältig abgewogen. Vom Grundsatz her ist zudem ein KI-System nicht anders zu behandeln als andere IT-Systeme. Durch den Einsatz von KI verschieben sich die Schutzziele der IT-Sicherheit nicht. Wird ein KI-System beispielweise über externe Cloud-Anbieter genutzt, erfordert dies nach wie vor die Berücksichtigung klassischer Cloud-Verwundbarkeiten, wie sie im C5-Kriterienkatalog des BSI aufgeführt sind.

Welche neuen Bedrohungen ergeben sich für Unternehmen durch den Einsatz von KI in Cybersicherheitslösungen?

Gille: Prinzipiell sollen KI-Komponenten in Cybersicherheitslösungen erst einmal ein Plus an Cybersicherheit gewährleisten – und tun dies auch in den meisten Fällen. Die Möglichkeiten im Kontext von Hochsicherheitssystemen und Kritischen Infrastrukturen erforschen wir beispielsweise im Projekt Hochsicherheit-KRITIS (HSK). Aber es gibt in der Tat potenzielle neue Bedrohungen: So hat das in der Sicherheitslösung verwendete ML-Modell möglicherweise Schwachstellen, die unter Umständen eine Umgehung der Firewall und damit den Zugang zu bisher verschlossenen Systembereichen ermöglichen. Angreifer können zudem ihr Verhalten anpassen, wenn ihnen die KI-Abhängigkeit von Sicherheitssystemen bekannt ist, beispielsweise wenn von einzelnen „Honeypots“ bekannt wird, dass sie zum Anlernen von Angriffsmustern verwendet werden. Zudem ist zu erwarten, dass automatisierte Angreifersysteme zunehmend mit KI-Abwehrmustern trainiert werden, gewissermaßen ein Rüstungswettlauf.

Welche präventiven Maßnahmen empfehlen Sie, um sich gegen fortgeschrittene, KI-gestützte Angriffe zu verteidigen?

Gille: Gille: Vollautomatisierte, fortgeschrittene KI-Angriffe auf Systeme werden bislang noch eher selten beobachtet. Derzeit dominieren eher Manipulationsversuche an der Schnittstelle zum Menschen, beispielsweise Deepfake-Bilder, Stimmenimitation, Phishing mit generativer KI oder KI-unterstütztes Passwort-Erraten. Sprachmodelle werden auch vermehrt als „Co-Programmierer“ zur niedrigschwelligen Erzeugung neuer, noch effektiverer Ransomware-Schadprogramme genutzt. Angesichts der relativen Seltenheit fortgeschrittener automatisierter KI-Angriffe sind spezifische Präventivmaßnahmen daher schwer zu benennen. Allgemein ist eine IT-Risikoanalyse bzw. ein IT-Risikomanagement ratsam, das auch solche Angriffsarten einbeziehen kann, beispielsweise über eine Szenarioentwicklung mit Betrachtung realistischer Anreize auf Angreiferseite. Darüber hinaus gibt es allgemeine Schutzmaßnahmen, die immer ergriffen werden sollten, beispielsweise Systeme aktuell halten, Sicherheitspatches zeitnah installieren, vertrauenswürdige Security Provider beauftragen und die Awareness der Mitarbeitenden für Betrugs- und Täuschungsversuche erhöhen.

Welche Rolle spielt das Bewusstsein für Sicherheit bei den Endnutzern in einer zunehmend von KI geprägten Umgebung?

Gille: Eine sehr große – das Sicherheitsbewusstsein beeinflusst direkt das Nutzerverhalten. IT-Systeme sind noch nicht so sicher konzipiert, dass der Faktor Mensch keine Rolle spielt. Das gilt in demselben Maß für IT-Systeme, die KI einsetzen. Hier ist insbesondere gesunder Menschenverstand und kritisches Hinterfragen von Ausgaben und Entscheidungen hilfreich, um mögliche Gefahren und Einfallstore abzuschwächen. KI-Systeme sind immer so gut wie es ihre Trainingsdatenbasis zulässt und können daher fehlerhafte Entscheidungen treffen oder manipuliert werden. Da ist es von Vorteil – insbesondere in dieser immer noch recht frühen Entwicklungshase -, der Technologie kein blindes Vertrauen entgegenzubringen.

Welche ethischen Überlegungen sind bei der Anwendung von KI in der Cybersicherheit besonders wichtig?

Gille: Generell ist ein verantwortungsbewusster Umgang beim KI-Einsatz erforderlich („Responsible AI“), wie er auch im jüngst verabschiedeten AI Act der EU mit seinem risikobasierten Ansatz in den Mittelpunkt gestellt wird. Wichtig ist, dass der Mensch die letztgültige Entscheidungshoheit bei schwerwiegenden Entscheidungen behält oder zumindest ein Veto einlegen kann – sofern dies die Dynamik der Situation zulässt. Ein Vorteil KI-basierter Sicherheitssysteme ist ja unter anderem deren Reaktionsschnelligkeit, hier besteht aus ethischer Sicht möglicherweise ein Zielkonflikt. Davon abgesehen sollten KI-generierte Inhalte immer als solche erkennbar sein, und Entscheidungen sollten transparent und erklärbar hinsichtlich Automatisierungslevel und Entscheidungsgrundlagen gemacht werden.

Welche Entwicklungen erwarten Sie in Bezug auf die Kombination von KI und Cybersicherheit in den kommenden Jahren?

Gille: Allgemein sind die Entwicklungsschritte im Bereich KI und Cybersicherheit – die sich teilweise gegenseitig beeinflussen, teilweise auch parallel verlaufen – derzeit so groß, dass eine belastbare Vorhersage über einen längeren Zeitraum kaum möglich ist. Was absehbar ist: Zentrale Aufgaben der Cybersicherheit wie Wissensmanagement und Angriffsanalysen werden mithilfe von KI wesentlich schneller und einfacher realisierbar. Der Einsatz von KI wird sowohl für Angreifer wie Verteidiger zum neuen „Normal“, mit großen Fortschritten und gegenseitigen Lerneffekten auf beiden Seiten. Möglicherweise wird die gefühlte Cybersicherheit und menschliche Realitätswahrnehmung aber noch stärker betroffen sein als die faktische Systemsicherheit, wenn man beispielsweise den möglichen hochskalierten Einsatz von großen Sprachmodellen und Bild-/ Video-/ Soundgeneratoren für maßgeschneiderte Individual-Fakenews betrachtet. Diese Problematik ist aktuell Gegenstand etlicher Forschungsprojekte zur Fake News- und Deepfake-Detektion.

Und wie können Unternehmen sich proaktiv auf zukünftige Herausforderungen im Bereich Cybersicherheit mit KI vorbereiten?

Gille: Prinzipiell gelten die Einschätzungen zur präventiven Abwehr von KI-Angriffen. Zudem sollten Unternehmen die “AI Literacy” in ihrem Haus fördern, indem sowohl Nutzen- wie auch Bedrohungspotenziale in Erprobungsräumen exploriert und das Bewusstsein der Mitarbeitenden für KI-basierte Täuschungsversuche erhöht werden. Zudem empfiehlt es sich, bestehende Förder- und Wissensvermittlungsangebote im Themenfeld KI spezifisch für die Wirtschaft von beispielsweise EU und Bundesministerium für Wirtschaft und Klimaschutz (BMWK) zu nutzen. Eine Bedrohungs- und Risikoanalyse der eigenen Systeme mit Identifikation des Mehrwerts potenzieller KI-Sicherheitstools kann ebenfalls empfohlen werden.

Interview: Teresa Zwirner