Nachdem die CrowdStrike Sicherheitssoftware Millionen von Windows-PCs unbrauchbar machte, veröffentlicht der Konzern einen Bericht. Er soll aufklären, wie es dazu kommen konnte. An manchen Stellen schweigt dieser, an anderen werden erhebliche Mängel bei der Qualitätssicherung aufgezeigt. Erste Schätzungen von Versicherungen bestätigen, dass der Schaden im Bereich mehrere Milliarden liegt. Statt den zu zahlen, zieht der Konzern es allerdings offensichtlich vor, seine Partner mit 10$ Essensgutscheinen zu vertrösten. Selbst der Gutschein funktioniert nicht – passend zu ihrem Update.
Ursache: Der Test der kaputten Komponente war auch kaputt
In einem längeren Post Incident Review Bericht beschreibt das Unternehmen, dass ihre Software aus zwei Komponenten besteht:12
- Sensor-Content ist die Kernkomponente der Erkennung. Sie enthält Code, der langfristig genutzt werden soll. „Künstliche Intelligenz“ darf dabei natürlich nicht fehlen. Eine Aktualisierung findet laut Hersteller nur zusammen mit dem Antivirenscanner selbst statt. Kunden können wählen, ob sie die aktuellste oder maximal zwei Versionen davor nutzen möchten.
- Rapid Response Content bezeichnen sie Muster, welche vom Sensor zur Erkennung verwendet werden. Es handelt sich um das grundlegende Muster, wie Antivirensoftware schon seit Jahrzehnten funktioniert: Signaturen kennzeichnen aus Sicht des Herstellers verdächtige bis schadhafte Programme oder Verhaltensweisen. Erkennt die Software sie wieder, folgt eine Meldung oder Aktion. Im Unterschied zu Sensor Content haben die Kunden keine Kontrolle über Rapid Response Content – dies wird von der Software eigenmächtig aus der Herstellercloud nachgeladen. Das soll mehrmals täglich passieren.
Auf mehreren Seiten Text führt CrowdStrike aus, wie viel sie testen würden: Automatisiert, Unit-Tests, Integrationsstests, Leistungstests und Belastungstests. Das klingt auf den ersten Blick gar nicht so schlecht. Der entscheidende Punkt steckt im Detail: All das machen sie nur mit dem Sensor Content Teil. Für die Rapid Response genannten Muster fehlt all das. Dort prüft bloß ein Parser (Content Validator), ob das Syntax stimmt. Danach werden Änderungen sofort verteilt, ohne Tests. Sie werden nicht mal Schrittweise ausgerollt, um im Falle von Problemen den Schaden einzugrenzen. Auch der Sensor Agent führt keine Prüfung durch, weswegen er die fehlerhafte Datei lädt – und Windows mit einem Bluescreen zerstört. Warum, beantwortet der Konzern trotz der langen Erklärung nicht.
Nun wird angeblich aufgeholt
Stattdessen verspricht CrowdStrike, zukünftig Rapid Response Content Aktualisierungen ebenfalls zu testen: Man möchte den Fehler beheben, der den ursächlichen Fehler nicht erkannt hat. Dazu „verbessern“ der angeblich bestehenden Fehlerbehebung beim Interpreter. Sowie Lokale Tests von Entwicklern, das Verhalten der Aktualisierung sowie ein Plan B zum rückgängig machen, Stresstests, Fuzzing, Stabilitätstests, Fehlerinjektionen, Testen der Schnittstelle.
Außerdem canary deployment, also einer Verteilung an zunächst wenige Nutzer. Man möchte zukünftig in die Telemetriedaten, von denen heutige Software massig sammelt, auch rein schauen. Kunden sollen mehr Kontrolle darüber erhalten, wann sich die Software wie aktualisiert. Den Kunden möchte man sogar Versionshinweise bereitstellen, damit sie wissen, was in den Aktualisierungen enthalten ist. Schlussendlich soll es mehrere unabhängige Prüfungen ihres Codes durch Dritte geben (Code-Audits).
Die Softwareentwickler werden staunen: All das sind Selbstverständlichkeiten für ein größeres Unternehmen, welches behauptet, professionelle Software zu entwickeln. Insbesondere, wenn sie auch noch in der Sicherheitsbranche unterwegs sein wollen. Nachdem sie das neu einführen, gab es das bisher nicht.
Erste Schätzungen: 5,4 Milliarden Euro Schaden – alleine für 500 Konzerne
Derartige Nachlässigkeit hat zu Schäden in Milliardenhöhe geführt. Das war vorab bereits durch das umfangreiche, weltweite Ausmaß der Ausfälle schnell absehbar. Konkretere Zahlen gab es bisher keine, doch das ändert sich langsam. Bereits in Teil 2 hatte ich Microsoft zitiert, die vorläufig von 8,5 Millionen betroffener Windows-PCs ausgehen. Wie viel das den Opfern kostet, ist deutlich komplexer. Neben den Kosten für die Reparatur – teils muss auf tausenden PCs der Bitlocker Recovery-Schlüssel händisch eingegeben und das kaputte CrowdStrike entfernt werden – kommt es zu weiteren Schäden: Etwa Arbeitsausfälle oder entgangenen Gewinnen sowie ggf. sogar Entschädigungen gegenüber deren Kunden (z.B. Buchung eines abgesagten Fluges).
Für die Höhe des finanziellen Schadens gibt es erste Schätzungen von Versicherungsunternehmen: Alleine die Fortune 500 Unternehmen der USA3 soll CrowdStrike 5,4 Milliarden US-Dollar gekostet haben. Microsoft wurde hierbei ausgenommen.4 Eben so fehlen natürlich viele deutsche Unternehmen, wie etwa der Mittelstand. Die Menge lässt sich erahnen, wenn man nach SAP sucht: Die stehen in der 2023er Rangliste auf Platz 472 – wohlgemerkt mit einem Umsatz von 31,2 Milliarden Euro im gleichen Jahr.
Statt Millionen für den Schaden: Ein kaputter 10$ Gutschein reicht
Der CEO hat ja bereits früh betont, wie sehr ihm das Fiasko leid tut.5 Also wird man sicherlich nun alle betroffenen Kunden großzügig entschädigen. Wie so oft sind Worte das eine und die Taten zeichnen ein ganz anderes Bild: Die CrowdStrike-Partner haben eine E-Mail erhalten, in denen man sich für die „zusätzliche Arbeit“ des 19. Juli noch mal entschuldige. Statt Millionen für den verursachten Schaden bekommen sie einen 10$ UberEats Gutschein für die Lieferung von Lebensmitteln.6
Spätestens hier dürften sich Betroffene über den Tisch gezogen fühlen. Wer sich nun denkt: Den Schaden haben wir eh schon und zahlen wird ihn CrowdStrike wahrscheinlich nicht, dann holen wir uns wenigstens ein paar Kaffee auf deren Kosten – besser als gar nichts. Der wird erneut enttäuscht sein, weil dieser Gutschein ebenfalls kaputt ist7 – passend zur Antivirensoftware von CrowdStrike.
Das Uniklinikum Schleswig-Holstein möchte auch nicht dazu lernen
Im Uniklinikum Schleswig-Holstein möchte man offensichtlich etwas mehr als 10$ Entschädigung und verklagt daher CrowdStrike auf Schadensersatz. An zwei Standorten waren ca. 9.000 Windows-PCs betroffen. Rund 140 Operationen mussten abgesagt werden, dazu standen diverse Funktionen im Krankenhaus nicht zur Verfügung: Informationstafeln, Ein- und Ausschecken usw.8
Ansonsten wolle man keine Konsequenzen aus der Sache ziehen und die Software weiter einsetzen – schließlich habe sie das BSI empfohlen. Das ist beachtlich, weil CrowdStrike direkte und indirekte lebenserhaltende Systeme explizit ausschließt. Auch Anwendungen, bei denen Ausfälle zu Mensch- oder Sachschäden führen können. Der Konzern dürfte daran interessiert sein, diese AGB zur Not in mehreren Instanzen durch zu setzen. Schließlich wäre eine Verurteilung ein Präzedenzfall und erleichtert anderen Kunden das Durchsetzen von Ansprüchen.
Schlecht gealtert: CrowdStrike verändert stillschweigend seine Webseite
Dieser Absatz wurde am 28.07.2024 ergänzt, da CrowdStrike offensichtlich mehrere Änderungen auf ihrer Webseite vorgenommen hat. So warben sie zusammen mit böse aussehenden Fabelgestalten davor, dass ein Angreifer das eigene Geschäft in 62 Minuten offline nehmen kann.9 Einen Screenshot davon hatte ich im vorherigen Teil gezeigt. Diese Aussage von CrowdStrike wurde zum Meme.
Auf einer Archivseite vom 19. Juli 2024 vergleicht sich das Sicherheitsunternehmen mit Microsoft. Darin werden zwar einerseits valide Argumente genannt, nach denen Microsoft die eigene Sicherheit vernachlässigt – entsprechende erfolgreiche Angriffe auf z.B. deren Cloud waren die Folge. Diese sind inzwischen von der Webseite verschwunden. Das gilt auch für Details wie z.B. den provokanten Untertitel auf der Seite, der übersetzt bedeutet: „Die Sicherheitsprodukte von Microsoft können nicht einmal Microsoft schützen. Wie können sie Sie schützen?“.1011
Fazit
Wie bereits Vermutet, hat auch CrowdStrike an grundlegenden Test- und Kontrollmechanismen gespart. Aus Profitgier hat man seine Kunden ins offene Messer laufen lassen – gehandelt wird höchstens dann, wenn es richtig geknallt hat. Kunden dürften das blinde Vertrauen bitter bereuen, sollte man meinen. Um so erschreckender ist es zu sehen, wie insbesondere Krankenhäuser als kritische Infrastruktur ihre Verantwortung ebenfalls nicht ernst zu nehmen scheinen – sondern auf andere schieben.
Man möchte sich kaum vorstellen, was für schlimme Dinge ein Unternehmen tun muss, damit zumindest deren Produkte nicht mehr gekauft werden. Schließlich geht es nicht nur um das übliche Amokläufen diverser Antivirenprogramme, wovon ein Teil der Kunden betroffen ist. Sondern um den wohl größten IT-Ausfall in der Geschichte – zumindest bisher. Unter den Umständen lässt sich wohl nur hoffen, dass diese Klagen Erfolg haben und damit eine Ära einleiten, in der kommerzielle Software langsam aber sicher weniger schlecht werden muss.
Quellen
- https://www.crowdstrike.com/falcon-content-update-remediation-and-guidance-hub/ ↩︎
- https://www.heise.de/news/CrowdStrike-veroeffentlicht-Untersuchungsbericht-und-bleibt-Antworten-schuldig-9811796.html ↩︎
- https://fortune.com/ranking/global500/2023/search/ ↩︎
- https://www.theguardian.com/technology/article/2024/jul/24/crowdstrike-outage-companies-cost ↩︎
- https://www.crn.de/news/4338657/crowdstrike-chief-security-officer-zu-sagen-dass-wir-boden-zerstort-sind-ist-eine-riesige-untertreibung ↩︎
- https://techcrunch.com/2024/07/24/crowdstrike-offers-a-10-apology-gift-card-to-say-sorry-for-outage/ ↩︎
- https://x.com/christappin/status/1816039053357375720 ↩︎
- https://winfuture.de/news,144087.html ↩︎
- https://web.archive.org/web/20240629081623/https://www.crowdstrike.com/en-us/ ↩︎
- https://archive.li/w3ai6 ↩︎
- https://www.crowdstrike.com/compare/crowdstrike-vs-microsoft-defender/ ↩︎