„Habt ihr schon KI in eurem Big Data?“

„Nein, wir haben selbstreparierende serverlose Echtzeit-Microservices“

Unter uns: Nichts davon brauchen Sie!

Kontext

Diese Folien entstanden ursprünglich für einen Vortrag auf einer Messe des Innovation Hub der Sparkassen. Diese erweiterte Version hielt ich auf den Internet Security Days 2019 des eco e.V.

Zeitrahmen war 30 Minuten, daher der Schweinsgalopp.

Folien in Orange sind ein Extra in der Online-Version und ergänzen Kontext oder das gesprochene Wort.

Es gibt zwei Arten von Vorträgen

1. Was Sie gerne hören würden
2. Was Ihnen mal jemand sagen müsste

Dies ist ein Kategorie-2-Vortrag.

Sorry

• Es gibt noch Dutzende anderer Hype-Ideologien
• Z.B. Devops, Agile, Virtualisierung, NoSQL, Microservices
• Was heute so als „Datenbank“ durchgeht
• Das Cloud-Geschäftsmodell: Lock-In
• Monitoring als Selbstzweck, Metrik wichtiger als Qualität

Jetzt zum eigentlichen Thema

• Wieso stehen Firmen so auf Hypetech?
• Sehen die nicht, dass solche Projekte anderswo der Reihe nach fehlschlagen?!

Meine These: Doch. Das ist das Ergebnis einer Optimierung.

Da wurde bloß nach dem falschen Ziel optimiert.

Anmerkung

Das ist ein Muster, das ich in letzter Zeit häufiger zu erkennen glaube. Schlechte Auswirkungen sind fast nie Bösartigkeit oder Inkompetenz sondern Ergebnis einer bewussten Abwägung, eine Optimierung — aber mit dem falschen Optimierungsziel.

Das ist besonders innerhalb dieses Vortrags spannend, weil das falsche Optimierungsziel bzw. die falsche Bewertungsfunktion einer der häufigsten Fehlergründe bei neuronalen Netzen sind.

Jetzt wird es ein bisschen unangenehm

• Softwareleute werden gesucht
• Banker / Manager nicht so sehr

Softwareleute sagen sich also:
Perspektivisch bleibe ich in dem Laden hier nicht lange.
Besser schonmal den Lebenslauf optimieren!

Anmerkung

Das ist nicht als Anklage zu verstehen.

Das Ziel ist, die Mechanismen zu verstehen. Alle Seiten handeln aus ihrer Sicht heraus rational und nachvollziehbar. Wenn man ihre Motivationen kennt, kann man möglicherweise die Dinge lenken, damit das Ergebnis besser wird.

Lebenslauf aufhübschen?

• So viele aktuelle Hype-Tech wie möglich in Projekte einbauen!

• 80er: Multiuser! Unix! Rechenzentrum! Client+Server!
• 90er: CORBA! Netzwerk! Verteilt! X.400! X.500!
• 00er: Web! Web 2.0! Web Scale! CDN! LDAP! Virtualisierung!
• 10er: Cloud! Apps! Blockchain! KI! Big Data! Container! NoSQL!

Gesprochenes Wort

Hype-Tech ist nicht abwertend zu verstehen. Nur weil etwas gehyped wird, heißt das nicht, dass es automatisch Mist ist.

Manchmal hat die Mehrheit gar nicht mitgekriegt, dass eine Hype-Technologie gewonnen hat. LDAP z.B. halten viele für tot. Sie wissen nicht, dass Active Directory LDAP ist.

Was tun, sprach Zeus?

• Mein Ansatz: Bildung.

In einfachen Worten erklären, worüber da entschieden wird!

Hinterher ist man immer schlauer.
Pro-Tipp: Vorher informieren → auch vorher schlauer.

Fallstudie 1: Blockchain.

Vorbemerkung

Wenn Mathe Ihnen Angst macht: Keine Sorge!

Es geht nicht darum, was auf den nächsten zwei Folien steht.

Sondern dass es auf zwei Folien passt!

Gesprochenes Wort

Wir benutzen davon jetzt Hash und Asymmetrische Krypto.

Für das Verständnis wichtig: Wenn ich etwas mit einem öffentlichen Schlüssel an jemanden verschlüssele, kann nur der mit dem zugehören geheimen Schlüssel das entschlüsseln.

Auch ich selbst kann das nicht mehr entschlüsseln.

Krypto-Logfile

Um X zu loggen:

1. Schreibe X
2. Schreibe Hash(Zufallswert, X)
3. Das ist der neue Zufallswert (alten wegschmeißen)

Krypto-Logfile

• Ergebnis: Angreifer kann nur am Ende anhängen.
• Nötige Zufallswerte für früher sind nicht mehr da.
• Nur für den rekonstruierbar, an den wir verschlüsselt haben.

   

• Angreifer kann ändern, aber dann passen Hashes nicht mehr.
• Aber: Angreifer kann abschneiden oder alles löschen.

Gesprochenes Wort

Das ist jetzt natürlich verkürzt.

Man sollte z.B. alle 30 Sekunden oder so einen Zeitstempel loggen, damit man erkennen kann, wo abgeschnitten wurde.

Und den ersten Block am besten auf einen externen Host kopieren, der wenig Angriffsoberfläche bietet.

Blockchain

Krypto-Logfile

Das ist aber der Aspekt, den viele von Blockchain wollten:
Manipulationsevidente Logfiles

Was ist denn dann Blockchain?!

• Blockchain ist ein Konsens-Findungs-Verfahren für verteilte Datenbanken

   

• Prämisse: n Player halten Daten über den Zustand der Welt.
• Trauen sich gegenseitig nicht, haben Anreiz zum Betrug.
• Problem: Wie einigt man sich auf den „echten“ Zustand?

Blockchain-Idee: Proof of Work

• Blockchain operiert nicht auf Logzeilen sondern auf Blöcken
• Ein Block beinhaltet n Elemente
• Bei Bitcoin: Überweisungen

X ist variabel, aber beim Hash müssen die letzten Ziffern 0 sein.

Gesprochenes Wort

Es ist wichtig, dass „die Welt“ konkurriert.

Das Verfahren steht und fällt damit, dass nicht aus dem Nichts jemand kommt, der kurz in der Cloud mehr CPUs als du gemietet hat, und dann deine Buchhaltung überstimmen kann.

Daher die Annahme, der Markt werde das schon regeln, wenn man „die Welt“ konkurrieren lässt.

Proof of Work

• Zur Erinnerung: Vom Hash auf Daten schließen geht nicht!
• Daher bleibt nur: Durchprobieren.
• Wie viele Ziffern 0 sein müssen ist einstellbar.
• Wird proportional zur CPU-Power der Ausprobierer („Miner“) eingestellt.
• Je mehr konkurrieren, desto „schwerer“.
• Wer als erster einen passenden Wert findet, gewinnt.

Gesprochenes Wort

Die Überweisungen selbst sind vom Versender signiert.

Die Miner können also nicht die Beträge, Empfänger oder Absender ändern.

Aber sie könnten eine für dich wichtige Überweisung einfach nicht mit aufnehmen und dir damit Schaden zufügen.

Proof of Work

• Annahme: Niemand kontrolliert mehr als die Hälfte der Miner.
• Sonst gewinnt der zu oft und kann diktieren, was im Block steht.

   

• Aber was ist mit Kartellbildung? Zwei Miner verabreden sich?
• Riesenproblem!
• Schlimmer noch: „Private Blockchain“ geht nicht.
• Sonst: Angreifer mietet Cloud, überstimmt Ihre Buchhaltung!

Notieren Sie sich das!

Und dass Ihre Freunde zu feige sind, zuzugeben, dass sie es auch nicht verstanden haben.

Fallstudie 2: Smart Contracts.

Smart Contracts

• Idee: Maschinenlesbare Verträge
• „Wenn X passiert, überweise 500 BTC von A zu B“
• Spart Notargebühren!
• Verträge kommen in die Blockchain, damit man sie später nicht leugnen kann.

Nachteil: Das ist Code. Code ohne Bugs können wir nicht.
Siehe Patchlisten: Adobe, Apple, Microsoft, Oracle, ...

Bugs in Verträgen?!

• Haben wir schon jetzt bei analogen Verträgen ständig!
• Und dann endlose Streitereien vor Gerichten.

   

• Es gab auch schon die ersten Exploits für Smart Contracts!

Notieren Sie sich das!

Und dass Ihre Freunde zu feige sind, zuzugeben, dass sie es auch nicht verstanden haben.

Fallstudie 3: Big Data.

Big Data

• Idee: Erstmal alles wegspeichern.
• Später kann man coole Ideen entwickeln, was man damit macht

Big Data

• Problem 1: Ist unmoralisch. Die User wollen das nicht.
• Problem 2: Illegal (DSGVO erzwingt zweckgebundene Speicherung)
• Problem 3: Wo ein Trog ist, kommen die Schweine.
• Problem 4: Alle sammeln Daten. Niemand hat damit coole Dinge getan.
• Problem 5: Solche Daten kommen regelmäßig weg.

Big Data

• Fragen Sie mal herum!
• Leute, die so tun, als funktioniere Big Data für sie.
• Fragen Sie die mal nach konkretem Nutzen!

Notieren Sie sich das!

Und dass Ihre Freunde zu feige sind, zuzugeben, dass sie es auch nicht verstanden haben.

Fallstudie 4: Machine Learning.

Machine Learning

• Im Gehirn gibt es doch Neuronen, oder?
• Komm, das machen wir auch einfach!

   

• Links lauter Inputs, rechts ein Output
• Den Inputs geben wir Gewichte
• Das Neuron hat einen Schwellwert

Wenn Summe der Inputs > Schwellwert, dann Ausgabe 1. Sonst 0.

Wie programmiert man sowas?

• Gar nicht. Man trainiert es.
• Eingabe anlegen, zu der man die gewünschte Ausgabe kennt.
• Dann läuft man rückwärts und korrigiert die Gewichte.
• Wer Einfluss in die richtige Richtung hatte, kriegt Bonus.
• Wer Einfluss in die falsche Richtung hatte, kriegt Abzug.

Nebelwand-Jargon

• Feed Forward: Mehr als eine Schicht. Out(Schicht 1) = In(Schicht 2)
• Recurrent: Mehr als eine Schicht, getaktet, mit State
• Deep: Feed Forward + Wahrscheinlichkeiten

Wichtig!

• Einmal trainiert verhält sich das Netz deterministisch.
• „Verstehen“ oder „debuggen“ geht nicht. Nur mehr Training.
• Keine Programmierfehler mehr! Niemand ist Schuld!

Gesprochenes Wort

Mit Debuggen meine ich, dass man bei Software die Zeile finden kann, die den Bug hat, und dann macht man den Bug weg, und der Rest der Software ist unberührt und läuft genau wie vorher.

Das geht bei neuronalen Netzen so nicht. Man trainiert nach, das fasst aber alle Gewichte an. Minimalinvasives Debugging geht nicht.

„Verstehen“ geht bei einschichtigen Netzen so ein bisschen, in dem Sinne, dass man sehen kann, welches Gewicht wieviel Einfluss hatte. Aber richtiges verstehen ist das nicht, und bei mehrschichtigen Netzen haben die Gewichte dann immer Einfluss auf mehrere Ausgaben.

Haftung

• Bank setzt Machine Learning ein
• Machine Learning macht Mist
• Es gibt niemanden mehr, auf den die Bank zeigen kann
• Maximales Haftungsrisiko für die Bank
• Geschickt kombiniert mit „da können wir nichts machen, Chef“

Aspekt 2: Wie konnte das passieren?

Machine Learning

• Typische Anwendung: Schrifterkennung
• Jedes Pixel ein Input für das Neuron
• Ein Neuron kann eine Variante einer Glyphe erkennen (grob)
• Wir brauchen also ganz viele Neuronen

Machine Learning

• Problem: Glyphe verschoben
• Problem: Glyphe größer / kleiner
• Problem: Glyphe schräg / gedreht

Machine Learning

• Lösung: Wie bei Quacksalbern im Mittelalter.
• „Wirkt nicht? Dosis zu gering!“
• „Brauchen wir halt mehr Neuronen!“
• Natürliches Limit: Hardwaregrenzen.
• Seit dem ist die Hardware viel schneller geworden.
• Quacksalber kommen mit dem Ansatz jetzt weiter :-)

Gesprochenes Wort

Die Aussage war: Vorher Quacksalber, nachher Quacksalber.

Es gibt auch scharlataneriefreies Machine Learning. Das ist aber im Wesentlichen Forschung :-)

Forschung ist total super. Ich mag Forschung. Mehr Geld für Forschung ist immer gut. Lassen Sie sich bloß keine angeblich wunderheilenden magischen Produkte aufschwatzen! Und klären Sie vorher die Haftung!!

Aspekt 3: Macht Machine Learning Fehler?

Macht Machine Learning Fehler?

Plakatives Beispiel: Xerox-Scanner.

[Illustration: Folie 15 von diesem PDF]

Wir wissen nicht, was der gelernt hat

• Wir können keine weiterhelfende Aussagen machen, wie ein neuronales Netz auf sein Ergebnis kam
• Aber Forscher konnten aus einem Deep Learning Netz Fragmente der Trainingsdaten extrahieren

Macht Machine Learning Fehler?

• Wir haben jetzt verstanden, wie man die Gewichte trainiert
• Was, wenn wir das Verfahren umdrehen?
• Wir haben eine Ausgabe und ein Netz und trainieren die Eingabe?

Adversarial Samples

Adversarial Samples

• Eingaben sind natürlich, nicht manipuliert
• Niemand will uns ärgern
• Wir tun unser Bestes und gucken mal
• Im Fehlerfall kriegen alle eine „hat sich stets bemüht“-Urkunde.

Adversarial Samples

Wir wissen nicht, was der gelernt hat

Gesprochenes Wort

Diese Folien sind Beispiele aus einer Google-Docs-Liste von KI, die schlechte Spezifikation oder Bewertungsfunktionen „betrügt“, um das Problem zu „lösen“.

Wir wissen nicht, was der gelernt hat

An RL robot trained with three actions (turn left, turn right, move forward) that was rewarded for staying on track learned to reverse along a straight section of a path rather than following the path forward around a curve, by alternating turning left and right.

Wir wissen nicht, was der gelernt hat

When repairing a sorting program, genetic debugging algorithm GenProg made it output an empty list, which was considered a sorted list by the evaluation metric.
Evaluation metric: “the output of sort is in sorted order” Solution: “always output the empty set”

Wir wissen nicht, was der gelernt hat

[Tetris:] Agent pauses the game indefinitely to avoid losing

KI für Fraud Detection?

Haben Sie E-Mail?

Mit Spamfilter?

Das ist simple Bayes-Statistik.
Spamfilter mit KI funktionieren deutlich schlechter.
M.W. ist kein einziger „mit KI“ im Einsatz, so schlecht sind die.

KI für Fraud Detection?

Denken Sie mal darüber nach!

Wenn das für Ihre E-Mail zu schlecht ist,
sollten wir dann damit Payment Fraud Detection machen?

Anmerkung

Das ist natürlich ein unfaires Argument, weil das nicht das exakt selbe Problem ist.

Mein Hauptargument gegen Fraud Detection mit KI ist, dass Fraud Detection schon ohne KI ein gelöstes Problem ist. Das Restrisiko ist um eine Größenordnung gesunken, die Gebühren nicht.

Aus meiner Sicht ist es daher nicht zu rechtfertigen, irgendwelche zusätzlichen Risiken einzugehen. Zumal die Ausrichtung des Sicherheits-Theaters der Banken in den letzten Jahren zu einer weitgehenden Haftungsumkehr zu Lasten des Kunden geführt hat.

KI für Fraud Detection?

Aktueller Industrie-Trend: Umbenennen!
„Predictive Analytics with Machine Learning“ → Simple Bayes.
Die Leute wollen aus Hype-Gründen Machine Learning?
Verkaufen wir ihnen Statistik und schreiben ML drauf.

Vorschlag der BaFin zu KI

Auch bestimmte Verschlüsselungsverfahren, welche die Anwendung von BDAI-Methoden direkt auf verschlüsselten Daten erlauben, könnten genutzt werden, um die Resilienz gegenüber solchen Risiken zu stärken.

Nein.
Lassen Sie sich diesen Mist nicht aufschwatzen.
Das ist „homomorphe Verschlüsselung“ und ist Bullshit.
Hier wollen Akademiker ihre nächsten Papers finanziert kriegen.

Horrorszenario

• Sie setzen KI für Fraud Detection ein.
• Ihre KI weist eine Transaktion zurück.
• Der Empfänger muss Insolvenz anmelden und klagt.

   

• Sie werden als Experte vor Gericht vorgeladen.
• Sie sollen jetzt erklären, wieso die KI die Transaktion abgelehnt hat.

Randnotiz: „evolutionäre Algorithmen“

Ist dasselbe in grün.

• Tolles Beispiel: Forscher lässt Schaltkreis von evolutionärem Algorithmus „entwerfen“
• Der Schaltkreis hatte am Ende ein Logik-Gate, das mit nichts verbunden war
• Aber ohne ging es nicht
• Auflösung: Nutzte Induktivität aus.

Notieren Sie sich das!

Und dass Ihre Freunde zu feige sind, zuzugeben, dass sie es auch nicht verstanden haben.

(Und will sämtliche Haftung auf Sie abwälzen)

Fallstudie 5: Quantencomputer.

Vorsicht: Alles sehr theoretisch

• Geht zurück zur Frage der Berechenbarkeit und Komplexität
• Informatik: Turing-Maschine
• Hat sich angeguckt, was menschliche „Computer“ zu der Zeit getan haben.
• Was man so berechnen kann, nennen wir „berechenbar“. :-)

Berechenbarkeit

• Stellt sich raus: Einige Dinge sind formal berechenbar
• Aber die Berechnung würde ein paar Millionen Jahre brauchen
• Und mehr Energie brauchen als das Universum hat
• Ist das dann noch „berechenbar“?

Die Komplexität ist relevant!

Grobe Komplexitätsklassen

• O(1) = braucht immer gleich lang
• O(n) = doppelt so viel Input heißt doppelt so viel Laufzeit
• O(n²) = Aufwand steigt quadratisch mit Input
• Die beiden in der Praxis wichtigen Klassen sind P und NP.

P und NP

Bei P gibt es einen Algorithmus mit polynomieller Komplexität. Das kann immer noch unrealistisch viel sein bei großem Input.

Bei NP kann der Aufwand auch exponentiell steigen. Aber wenn wir eine Lösung sehen, können wir in polynomieller Zeit sagen, ob sie stimmt.

Probleme in P

• Arithmetik, Primzahltest
• Breiten- und Tiefensuche im Graphen (GPS-Navigation)
• So gut wie alles, das wir so machen

Probleme in NP

• Probleme, für die wir keine bessere Lösung als Durchprobieren haben
• Das Knapsack-Problem (wie füllt man unterschiedlich große Dinge optimal in einen Behälter)
• Das Traveling-Salesman-Problem (in welcher Reihenfolge bereist der Handelsvertreter diese n Orte optimal)
• Und: Public Key Krypto!! (Faktorisierung, diskreter Logarithmus)

NP: Details

• Man unterscheidet da noch NP-hard, NP-complete und den Rest von NP
• Das ist aber hier fürs Verständnis nicht wichtig

   

• NP-hard: Halteproblem
• NP-complete: Dreifarbenproblem
• NP: Faktorisierung

Quantencomputer

• Teilchen, die in zwei Zuständen sein können, sind in beiden
• Bis zur Messung, dann sind sie in einem davon
• Wahrscheinlichkeitsverteilung!
• Berühmtes Experiment: Licht und Schlitze

Quantencomputer

• OK, dann machen wir das andersherum!
• „Kodieren“ das Problem in Versuchsaufbau
• Führen Experiment durch
• Messen rechts die Verteilung
• „Die Natur" hat das Problem für uns gelöst
• Wir müssen die Lösung nur ablesen!

Frage: Ist das universell?

• Nein.
• Ihre Buchhaltung kriegen Sie nicht auf Quantencomputer abgebildet
• Aber: Die Fourier-Transformation lässt sich effizient abbilden
• Und: Multiplikation großer Ganzzahlen lässt sich auf die Fourier-Transformation abbilden
• Und: Faktorisierung geht dann in polynomieller Zeit

Praktische Umsetzung

• Man braucht genug verschränkte Quantenbits, um den Problemraum abzudecken
• Für 1024-Bit-RSA-Schlüssel bräuchte man 1024 verschränkte Qubits

   

• Das klingt jetzt nicht so schlimm, aber es ist wie „dann nehmen wir halt Analog-Computer“

Analog-Computer

• Analoge Signale rauschen und degradieren
• Wenn analoge Signale perfekte Auflösung hätten und nicht degradieren würden, könnte man mit ihnen NP-Probleme lösen
• So leider nicht.

Quanten-Computer

• Stellt sich raus: Bei Quantencomputer ist das auch so.
• Da gibt es auch rauschen („Quantum Noise“)
• Quanten können spontan entstehen und sich auslöschen

   

• ... und das Signal degradiert („Quantum decoherence“).
• z.B. bei Kontakt mit der Außenwelt oder „Messung“

Was kann man da machen?

• Temperaturen nahe dem absoluten Nullpunkt (20 mK!!)
• Vakuum!
• Supraleitung!

Aktuelle „Quantencomputer“

• ... rauschen so stark, dass man mit ihnen nichts berechnen kann, was nicht besser mit herkömmlichen Computern geht.

   

• Idee: Fehlerkorrektur!
• Ist bisher Forschungsfeld (jemand hat die Idee geäußert und jetzt schreiben alle Papers dazu)

Quanten-Fehlerkorrektur

• Ist jetzt nicht völlig absurd als Idee.
• Festplatten und Flash-Speicher basieren auch auf Fehlerkorrektur

   

• Allerdings würde man mit aktuellen Vorschlägen zur Fehlerkorrektur dann statt 1024 Qubits Millionen brauchen

Was war denn das mit Google gerade?

• Google hat einen Quantencomputer mit 53 Qubits gebaut
• Eigentlich 54 aber eines war kaputt
• Damit haben sie Zufall generiert
• ... ungleichmäßig verteilten Zufall

Googles Quantum Supremacy

• Google hat jetzt den „Seed“ konfigurierbar gemacht (Welche Quanten-Gates man „verlötet“)
• Und dann die Messwerte in ein Modell geworfen und mit herkömmlichen Computern geguckt ob die Ungleichmäßigkeit stimmt
• Tat sie

Quantencomputer

• Lösen keines Ihrer Probleme
• Machen erstmal nur neue Probleme (nämlich dass Ihre Krypto nicht mehr geht)
• Sind aber noch nicht absehbar viele Jahre davon entfernt, auch nur die Krypto kaputtzumachen

Sorgen vor Quantencomputer

• Die Sorgen um unsere Krypto sind aber berechtigt
• Glücklicherweise gibt es seit Jahren Forschungsgruppen, die neue Krypto für die Post-Quantum-Zeit entwickeln

   

• Leider sind die Verfahren bisher alle Scheiße (Schlüssel viel größer, Operationen viel teurer, ...)

Hmm!

• Wenn der Quantencomputer rauscht, kann man ihn ja einfach mehrfach laufen lassen
• Wenn die Lösung nicht stimmt, merkt man das ja.

Hmm!

• Dann fragt man den Quantencomputer halt solange, bis die Lösung stimmt!

Notieren Sie sich das!

Und dass Ihre Freunde zu feige sind, zuzugeben, dass sie es auch nicht verstanden haben.

Zusammenfassung

• Lassen Sie sich nicht von großen Begriffen verwirren
• Die kochen alle nur mit Wasser

   

• Blockchain löst keines Ihrer Probleme und schafft neue.
• Big Data löst keines Ihrer Probleme und schafft neue.
• Machine Learning löst keines Ihrer Probleme und schafft neue.
• Quantencomputer lösen keine Ihrer Probleme und schafft neue.

See Also

Aus Zeitgründen war das hier nur ein kurzer Überblick.

Mehr Details zu Blockchain: https://ptrace.fefe.de/Blockchain/

Andere schlechte Idee, von der ich dringend abrate:
https://ptrace.fefe.de/Hackback/

Danke!

Wenn Sie jemanden brauchen, der in Ihrer Firma dem Management schlechte Ideen erklärt:

Man kann mich auch anheuern!

https://www.codeblau.de/