Die schlimmste Gefahr von "KI": 73% kennen sie nicht

[DMW007]

In die Richtung geht es. Sicher gibt es bei klassischer Software auch mal Fehler, die nicht nachvollziehbar erscheinen. In aller Regel liegt das daran, weil das Problem noch nicht verstanden wurde - etwa in einem komplexen Stack. Jeder Entwickler kennt das: Anfangs versteht man nicht, wieso etwas nicht funktioniert. Bei der genaueren Analyse fragt man sich, wie das jemals funktioniert hat, weil schwere Probleme entdeckt wurden. Der wesentliche Unterschied ist allerdings: Programmcode lässt sich verstehen. Es mag bei komplexeren Dingen länger dauern, aber es ist möglich. Bei "KI" sind wir in Dimensionen, die keiner mehr versteht. Und die sich auch nur schwer bis gar nicht analysieren lassen, weil sie eben nicht reproduzierbar sind. Verhält sich mein Programm falsch, debugge ich das und finde das Problem. LLMs wird 3x die gleiche Frage mit jeweils unterschiedlichen Antworten gestellt. Als Bonus merkt sich ChatGPT nun den Verlauf, d.H. noch mehr Möglichkeiten.

Bei Radikal & Extrem liegt das Problem genau darin. Daher kann ich nicht nachvollziehen, wieso das nicht im Politikunterricht zum Pflichtteil an Schulen gehört. Es macht einen essenziellen Unterschied, ob wir von radikalen sprechen, die tiefer gehende Veränderungen wollen - aber sich auf dem legalen Boden unserer rechtsstaatlich geschützten Verfassung bewegen. Oder von Extremisten, die den Staat stürzen wollen. In Zeiten zunehmender Verschiebung nach rechts ist der Unterschied um so wichtiger. Da werden teils Positionen als links bis linksradikal angesehen, die früher in der politischen Mitte lagen.

[U-Labs YouTube]

Antwort von @H-MF:
"Interessant" wird es, wenn es einen Krieg, oder "Krieg" gibt zwischen KI und Mensch. Und zwar in der Form, wenn sich KI versteckt, oder eben sich KI "versteckt" und der Mensch ständig hinterher sein muss um das Versteckte wieder ans Licht zu holen. Denn ich denke, daß die KI diesen Krieg gewinnen wird, bzw. würde.

[DMW007]

Das ist sehr abstrakt. Wie das ausgeht, kommt sehr stark darauf an, unter welchen Umständen das stattfindet. Für Szenen wie in Filmen, wo eine "KI" das Raumschiff oder gar ganze Land abschaltet, bräuchte es weitaus mehr. Da fehlen ja noch komplett die ganzen Schnittstellen, um das auch nur theoretisch derart automatisiert bedienen zu können. Bislang wird die Technik als Unterstützung genutzt, d.H. Menschen haben weiterhin die Kontrolle. Selbst wenn es da zu einem ungewollten Ergebnis kommt, haben Menschen die Hand darüber. Ein simples Beispiel wäre: Die "KI" soll Klimawandel & Umweltzerstörung lösen. Vergisst man in dem Promt, dass der Mensch auch überleben sollte, könnte sie eine Abkürzung finden und den Mensch eliminieren - schließlich macht der den Planet kaputt. Hier fehlt aber eben die Infrastruktur, damit derartige Versehen tatsächlich Menschen bedrohen könnten.

Um so was sorge ich mich weniger, als um die Auswirkungen auf die menschliche Intelligenz. Wesentlich realistischer sehe ich z.B. Deepfakes oder generell manipulative Beeinflussung. Gut klingende Phishing-Mails kann die Technik bereits ziemlich gut erstellen. Dazu relativ billig in einer hohen Masse. Wenn man sich anschaut, wie Facebook/Meta bereits Bürgerkriege und andere Konflikte entscheidend befeuert hat, ist mit "KI" weitaus mehr Schadpotenzial drin. Vor allem für Akteure, die bewusst z.B. einen Krieg provozieren will. Facebook wollte das nicht. Denen war Öl ins Feuer gießen schlicht als Kollateralschaden egal, wenn Nutzer dabei Facebook konsumieren und damit die Profite steigern. Beachtliche Schäden durch "KI" Missbrauch halte ich für weitaus wahrscheinlicher, bevor wir in irgendwelche Szenarien kommen, bei denen Menschen gegen eine mächtige "KI" kämpfen und sich die eigene Existenz sichern müssen.

[U-Labs YouTube]

Antwort von @FrankVolberg:
Sehr gut!!! Vielen Dank! Genau mein Eindruck mittlerweile über KI. Ich habe immer wieder mal Situationen gehabt, wo ich nur durch mein eigenes Know How erkennen konnte, dass die gelieferte Info, sagen wir mal vorsichtig, nicht korrekt waren.
Wissen Sie wovor ich Angst habe? Vor einem Ups des Chirurg, wenn er den von der KI vorgeschlagenen Schnitt macht und es sich herausstellt, das war die Aorta.

[U-Labs YouTube]

Antwort von @tarwod1098:
Zum Glück werden im medizinischen Bereich keine LLMs eingesetzt sondern kleine Modelle, die nur mit medizinischen Daten trainiert werden.

[DMW007]

Die hochwertigere Datenbasis macht das Problem weniger schlimm, weil zumindest kein kompletter Unsinn dabei ist - auf dem Niveau von Google, die per Reddit Daten dazu rieten, Käse mit Kleber auf die Pizza zu kleben... Trotzdem bleibt die Technik schwierig und ist kaum stabil zu bekommen, das kann leicht aus dem Ruder laufen. Eine aktuelle Studie z.B. hat festgestellt, dass Notizen auf Röntgenbild die Ergebnisse manipulieren. Das ist ein Problem, weil die Röntgenbilder oft handschriftliche Notizen enthalten. Oder ein Tumor markiert wurde. Schon hier hatte "KI" früher Abkürzungen genommen; statt auf die Tumore hat es die Markierungen der Ärzte gelernt. Es folgten Fehlerkennungen.

Das geht in Richtung Reward Hacking, was teils noch extremer werden kann. In der Softwareentwicklung z.B. haben aktuelle Studien festgestellt, dass die "KI" betrügt. Statt die Leistung des Codes zu verbessern, macht das LLM einen auf VW und schaltet die Benchmarkmessung ab, manipuliert die Werte oder führt die Messung mit einer Dummy-Funktion durch. Ähnliches bei Tests, die gar nichts testen, sondern immer Erfolg melden.

Wir kommen damit in ein Dilemma: Auf der einen Seite kann "KI" - mit transparenten Daten und unter gründlicher Menschlicher Kontrolle - durchaus helfen, vor allem bei Routinearbeit. Allerdings braucht es zwingend menschliche Kontrolle, weil die Technik nicht vertrauenswürdig oder auch nur reproduzierbar ist. Ein Arzt muss also weiterhin sowohl in der Lage sein, als auch die Zeit bekommen, einen Befund zu überprüfen, ob der plausibel ist. Hier haben wir zum einen die wirtschaftliche Gefahr, dass der Kapitalismus die Prüfung wegrationalisiert. Ohne die ist die Ersparnis durch "KI" natürlich größer, also ist eine erhebliche Versuchung da. In den USA wurden Kontrolle & Regulierung bereits reduziert. Dazu kommt die Schwierigkeit, die Kompetenz zu erhalten, wenn man sie nicht ausüben muss.

Diese Risiken sind prinzipiell überall und längst real. In den USA z.B. sind dutzende Fälle bekannt, in denen Gerichte mit erfundenen Referenzfällen über den Tisch gezogen wurden. Anwälte hatten sie von ChatGPT recherchieren lassen. Sah auf den ersten Blick plausibel aus, daher sparten sie sich die Zeit zu prüfen, ob sie stimmen. Da LLMs immer etwas antworten und auf gut klingende Sprache optimiert sind, war das völlig unzureichend. Es sind lauter erfundene Fälle gewesen. Vor Gericht fiel das nur auf, weil die Gegenseite diese Fälle geprüft hat. Ob das in allen Fällen passiert ist, bleibt unklar. Es dürfte sicher auch auf der Seite eine Dunkelziffer geben, wo man unter Zeitdruck grob auf den Fall schaut und sich denkt: Sieht alles plausibel aus, also haben wir wohl verloren.