CrowdStrike Bericht zum Großausfall: Grundlegende Mängel verursachten ihn

[DMW007]

Crowdstrike hat den wohl größten globalen IT-Ausfall verursacht. Nicht nur die Kunden, sondern viele haben unangenehme Fragen an den Konzern. Dieser hat inzwischen einen Bericht veröffentlicht, der es in sich hat: Der Ausfall war durch eine fehlerhafte Definitionsdatei verursacht worden. Es fehlten Tests an allen Enden. Vor der Veröffentlichung einer neuen Definitionsdatei prüfte lediglich ein Parser das Syntax der Datei, weitere Tests gab es nicht. Weder vor der Veröffentlichung, noch beim Antivirenscanner, der auf den PCs der Kunden lief. Es existierte nicht mal ein Prozess zum stufenweise Ausrollen - daher wurden die Systeme aller Kunden unbrauchbar, die im Zeitraum bis zum Zurückziehen mit dem Internet verbunden waren.

CrowdStrike verpackt diesen Versagen in einer wohlwollend klingenden Erklärung, bei der ausdrücklich darauf hingewiesen wird, wie viel man dafür bei den anderen Komponenten testen würde. Aber auch da wo die Tests bisher gefehlt haben, soll nun alles besser werden. Die ganze Palette der gängigen Softwaretests möchte man einführen. Außerdem sollen revolutionäre Innovationen wie Rollback-Strategie und Changelogs die Kunden über Änderungen informieren folgen

Trotz alle dem ist sich das Unternehmen nicht zu schade, seinen Partnern den Mittelfinger zu zeigen: Sie sollen als Entschädigung für diesen Milliardenschweren Ausfall einen 10$ Gutschein von Uber Eats erhalten. Um die Peinlichkeit auf die Spitze zu treiben, funktionierte dieser nicht einmal. Offensichtlich kann das dem Konzern aber egal sein. Das Uniklinikum Schleswig-Holstein (einer der Betroffenen) kündigte an, man hätte gerne Schadensersatz für abgesagte Operationen, aufgewendete Ressourcen usw. Aber auf den ca. 9.000 Windows-PCs möchte man weiterhin deren Produkte einsetzen. Zumindest diesen Kunden konnte man also nicht mal mit dem größten vermeidbaren Ausfall in der Geschichte verschrecken. Wenn genügend ähnlich denken, wird meine Prognose aus den vorherigen Beiträgen aufgehen: In ein paar Monaten ist Gras über die Sache gewachsen und Crowdstrike macht genau so weiter, wie bisher.

Zum kompletten Beitrag im U-Labs Portal

[U-Labs YouTube]

Antwort von @andreabc1469:
Der Gutschein ist ein Tritt in den Hintern von den Betroffenen

[U-Labs YouTube]

Antwort von @Aurin1507:
Wenn der Gutschein funktioniert hätte, hätte das Unternehmen noch den geldwerten Vorteil versteuern dürfen. Wenn ich den Stundenlohn der IT rechne und Sekretariat und Steuerberatungskosten, mal überlegen, wie hoch hätte der Gutschein dann sein dürfen ach: Du hast ja ne Liste gezeigt. Super.

[U-Labs YouTube]

Antwort von @PSXman9:
Was hält einen davon ab einfach vom fertigen Update einen Hash zu generieren und den mit dem Uploadserver direkt vor dem Upload abzugleichen?

[DMW007]

Crowdstrike als Entwickler ihrer proprietären Software: Nichts. Generell werden solche Entscheidungen in Konzernen üblicherweise nie von Technikern getroffen, sondern von BWLern. Meist Führungskräften, die hinterfragen, ob das wirklich sein muss, oder es nicht auch günstiger/ohne geht. Wenn es ganz dumm läuft, Streichen die Entwickler "freiwillig" alles was nicht zwingend für die Kernfunktionalität nötig ist, weil sie derart überlastet sind, dass sie schon für die Kernfunktionen zu wenige Ressourcen haben. Oder jemand hatte das mal eingebaut, aber dann gab es Probleme, weil man an den Updates nachträglich herum murksen wollte. Vielleicht ist für Sicherheitsthemen auch eine andere Abteilung zuständig und die haben sich gegenseitig auf den Schlips getreten.

Mir fallen noch zig weitere realistische alltägliche Gründe ein, die zu so was geführt haben könnten. All das ist ja keine Seltenheit, sondern recht gängig. In vielen Fällen haben alle Glück und es passiert (erst mal) nichts oder zumindest nichts schlimmes. Schlussendlich ist alles Murks und kein Niveau, das man von professioneller Softwareentwicklung erwarten können sollte - noch dazu wenn sie sich "Sicherheitsbranche" nennt.

[U-Labs YouTube]

Antwort von @AlteF1Games:
Erster, aber Spaß bei Seite, so etwas darf nie wieder passieren

[DMW007]

So etwas sollte nie wieder passieren. Wie ich aber schon mehrmals gesagt habe: Es deutet nichts darauf hin, dass es dort in Zukunft merklich besser wird. Antivirensoftware schafft schon vom Konzept her eine höhere Angriffsfläche. Dazu wird sie nicht mal wenigstens mit maximalen Sicherheitsanforderungen entwickelt, um die Probleme in Grenzen zu halten. Aus unternehmerischer Sicht wäre das dumm, weil es keinen Anreiz gibt. Die Leute kaufen das, obwohl alle Antivirenprogramme immer wieder Sachen kaputt machen oder gar schwere Sicherheitsmängel enthalten. Ändern wird sich erst etwas, wenn das wirtschaftliche Konsequenzen hat. Und damit meine ich nicht kurzzeitig ein bisschen weniger Umsatz & Gewinn, wie bei Crowdstrike jetzt. Das ist der Ausgleich für die geringen Investitionen in Qualitätssicherung, die sie über Jahre gespart haben.

Ich muss dabei immer wieder an die Arte-Doku "Gift auf dem Teller" denken. Die fängt in den USA zu Beginn des 20. Jahrhunderts an, als die Lebensmittelbranche wilder Westen war. Lebensmittelskandale waren an der Tagesordnung, ständig starben Menschen. Ein Chemiker legte sich mit Industrie & Politik an und schuf Lebensmittelkontrollen. Das ist die Grundlage dafür, dass Lebensmittel heutzutage bis auf wenige Ausnahmen keine Gesundheitsgefahr darstellen. In der Softwarebranche sind wir noch immer auf einem erschreckend ähnlichen Niveau, wie die Lebensmittelindustrie damals: Irgendwelchen Schrott auf den Markt bringen, egal was er für Schäden verursacht. Hauptsache man findet einen Dummen, der dafür auch noch Geld ausgibt.

Ändern wird sich daran erst etwas, wenn entweder die Kunden den Geldhahn zudrehen. Oder es klare gesetzliche Anforderungen sowie Haftungswege gibt. Das Erste was ansatzweise in die Richtung geht ist die Update-Pflicht von Smartphones in der EU, die bald kommt. Die größeren passen sich jetzt schon an, weil sie wissen: Wenn sie nach der Frist weiterhin die Leute mit Schrott über den Tisch ziehen, droht mindestens eine Strafe und ggf. sogar ein Verkaufsverbot oder eine Rückrufaktion. Dieses hohe Risiko geht so gut wie kein Unternehmen ein. Nicht weil sie ihre Kunden auf einmal respektieren, sondern weil der wirtschaftliche Schaden immens wäre. Bis irgendwas in der Richtung bei Antiviren oder am besten Software generell passiert, wird das noch öfter passieren.

[Darkfield]

Wenn man das ganze viele Geld, was man in die Abwehr von Angriffen auf die IT nutzt, in die Verfolgung dieser
Arschlöcher stecken würde .....

Aber Nein, lieber klebt man ein viel zu kleines Pflaster auf eine riesige offene Wunde, und hofft das es irgend wann von alleine heilt.

Statt dessen:
Bauen wir Software wie Kathedralen!
Erst Bauen wir,
dann Beten wir.

[DMW007]

Dazu fällt mir ein Zitat von Ellen Ullman (Entwicklerin aus den USA seit den späten 70er Jahren) ein:

We build our computers the way we build our cities—over time, without a plan, on top of ruins.

Auf Deutsch: Wir bauen unsere Computer so, wie wir unsere Städte bauen - mit der Zeit, ohne Plan, auf Ruinen.

Da steckt leider viel wahres drin. Gerade die agile Entwicklung scheint oft missbraucht zu werden, um "einfach drauf los" zu entwickeln. Ohne die Anforderungen oder Umgebung großartig zu kennen. Eine Analyse welche Technologie dafür am sinnvollsten ist, lässt man meistens auch weg. Stattdessen wird im besten Falle das genutzt, was alle einigermaßen können. Oder noch schlimmer: Was gerade hip ist. Folglich wird "etwas mit Blockchain/KI/Cloud gemacht". Wie bei einem privaten Bastelprojekt, bei dem man Samstag Mittag mal ausprobiert und schaut, wohin die Reise geht.

Im schlechtesten Falle baut man mit der falschen Technologie die falsche Software, die nicht das tut, was gebraucht wird. Reparieren kann es auch keiner, weil man den Student mit 20 Jahre Erfahrung in einer 2 Jahre alten Technologie leider nicht gefunden hat und daher die Technik bestenfalls oberflächlich verstanden wird. Also müssen noch 3 Lagen von irgendwas anderem darüber, z.B. Caching, damit die 5 Frameworks übereinander nicht ganz so langsam sind. Qualitätssicherung gibt es vielleicht Oberflächlich. Schließlich hat man dafür gar keine Zeit, der nächste Sprint steht schon vor der Tür.

Wir müssen ja nicht alle wie vor 40 Jahren nach Wasserfall entwickeln. Aber grundlegende Anforderungen sollten schon klar sein und es muss im Fokus stehen, diese zu lösen - statt Frameworks zusammen zu kleben. Das hätte die Crowdstrike-Katastrophe auch verhindert, weil man sich dann über Fehlertoleranz, Tests, Rollback usw. schon vorher Gedanken gemacht hätte. Hat man nicht, also ging Software in einem Alpha bis maximal Beta-Stadium ohne Fehlerbehandlung breitflächig in Produktion.

[U-Labs YouTube]

Antwort von @Volker-Dirr:
Mir fallen 2 Punkte ein:
1. Die Firmen werden es weiterhin einsetzen, solange sie keine bessere Alternative haben. Die gibt es offensichltich im Moment nicht. Sobald die Firmen eine bessere Alternative sehen, werden sie die schon nutzen. Firmen nehmen ja i.d.R. nicht absichtlich das "schlechteste" Produkt, wenn es auch ein besseres Produkt gibt.
2. Nur weil ein mal etwas nicht funktioniert hat oder schlecht gelaufen ist, kann man nicht immer sofort abspringen. Menschen machen Fehler und überall sind schon Fehler aufgetreten. Du könntest heute kein Auto mehr fahren/kaufen, wenn du nur Hersteller nehmen würdest, die noch nie einen Fehler gemacht haben. Du könntest keine Software und kein Betriebsystem mehr nutzen, du könntest nichts mehr zu Essen kaufen, ...