„Habt ihr schon KI in eurem Big Data?“

„Nein, wir haben selbstreparierende serverlose Echtzeit-Microservices“

Unter uns: Nichts davon brauchen Sie!

Kontext

Diese Folien entstanden für einen Vortrag auf einer Messe des Innovation Hub der Sparkassen, in einer Messehalle beim FI-FORUM. Zielgruppe waren Banker und vielleicht einige ihrer Techies.

Zeitrahmen war 20 Minuten, daher der Schweinsgalopp.

Folien in Orange sind ein Extra in der Online-Version und ergänzen Kontext oder das gesprochene Wort.

Es gibt zwei Arten von Vorträgen

1. Was Sie gerne hören würden
2. Was Ihnen mal jemand sagen müsste

Dies ist ein Kategorie-2-Vortrag.

Jetzt zum eigentlichen Thema

• Wieso stehen Banken (und andere Firmen) so auf Hypetech?
• Sehen die nicht, dass solche Projekte anderswo der Reihe nach fehlschlagen?!

Meine These: Doch. Das ist das Ergebnis einer Optimierung.

Da wurde bloß nach dem falschen Ziel optimiert.

Anmerkung

Das ist ein Muster, das ich in letzter Zeit häufiger zu erkennen glaube. Schlechte Auswirkungen sind fast nie Bösartigkeit oder Inkompetenz sondern Ergebnis einer bewussten Abwägung, eine Optimierung — aber mit dem falschen Optimierungsziel.

Das ist besonders innerhalb dieses Vortrags spannend, weil das falsche Optimierungsziel bzw. die falsche Bewertungsfunktion einer der häufigsten Fehlergründe bei neuronalen Netzen sind.

Jetzt wird es ein bisschen unangenehm

• Softwareleute werden gesucht
• Banker nicht so sehr

Softwareleute sagen sich also:
Perspektivisch bleibe ich in dem Laden hier nicht lange.
Besser schonmal den Lebenslauf optimieren!

Anmerkung

Das ist nicht als Anklage zu verstehen.

Das Ziel ist, die Mechanismen zu verstehen. Alle Seiten handeln aus ihrer Sicht heraus rational und nachvollziehbar. Wenn man ihre Motivationen kennt, kann man möglicherweise die Dinge lenken, damit das Ergebnis besser wird.

Lebenslauf optimieren?

• So viele aktuelle Hype-Tech wie möglich in Projekte einbauen!

• 80er: Multiuser! Unix! Rechenzentrum!
• 90er: CORBA! Netzwerk! Verteilt! X.400! X.500!
• 00er: Web! Web 2.0! Web Scale! CDN! LDAP! Virtualisierung!
• 10er: Cloud! Apps! Blockchain! KI! Big Data! Container! NoSQL!

Gesprochenes Wort

Hype-Tech ist nicht abwertend zu verstehen. Nur weil etwas gehyped wird, heißt das nicht, dass es automatisch Mist ist.

Manchmal hat die Mehrheit gar nicht mitgekriegt, dass eine Hype-Technologie gewonnen hat. LDAP z.B. halten viele für tot. Sie wissen nicht, dass Active Directory LDAP ist.

Was tun, sprach Zeus?

• Mein Ansatz: Bildung.

In einfachen Worten erklären, worüber da entschieden wird!

Hinterher ist man immer schlauer.
Pro-Tipp: Vorher informieren → auch vorher schlauer.

Fallstudie 1: Blockchain.

Vorbemerkung

Wenn Mathe Ihnen Angst macht: Keine Sorge!

Es geht nicht darum, was auf den nächsten zwei Folien steht.

Sondern dass es auf zwei Folien passt!

Gesprochenes Wort

Wir benutzen davon jetzt Hash und Asymmetrische Krypto.

Für das Verständnis wichtig: Wenn ich etwas mit einem öffentlichen Schlüssel an jemanden verschlüssele, kann nur der mit dem zugehören geheimen Schlüssel das entschlüsseln.

Auch ich selbst kann das nicht mehr entschlüsseln.

Krypto-Logfile

Um X zu loggen:

1. Schreibe X
2. Schreibe Hash(Zufallswert, X)
3. Das ist der neue Zufallswert (alten wegschmeißen)

Krypto-Logfile

• Ergebnis: Angreifer kann nur am Ende anhängen.
• Nötige Zufallswerte für früher sind nicht mehr da.
• Nur für den rekonstruierbar, an den wir verschlüsselt haben.

   

• Angreifer kann ändern, aber dann passen Hashes nicht mehr.
• Aber: Angreifer kann abschneiden oder alles löschen.

Gesprochenes Wort

Das ist jetzt natürlich verkürzt.

Man sollte z.B. alle 30 Sekunden oder so einen Zeitstempel loggen, damit man erkennen kann, wo abgeschnitten wurde.

Blockchain

Krypto-Logfile

Das ist aber der Aspekt, den Banken von Blockchain wollten:
Manipulationsresistente Logfiles

Was ist denn dann Blockchain?!

• Blockchain ist ein Konsens-Findungs-Verfahren für verteilte Datenbanken

   

• Prämisse: n Player halten Daten über den Zustand der Welt.
• Trauen sich gegenseitig nicht, haben Anreiz zum Betrug.
• Problem: Wie einigt man sich auf den „echten“ Zustand?

Blockchain-Idee: Proof of Work

• Blockchain operiert nicht auf Logzeilen sondern auf Blöcken
• Ein Block beinhaltet n Elemente
• Bei Bitcoin: Überweisungen

X ist variabel, aber beim Hash müssen die letzten Ziffern 0 sein.

Gesprochenes Wort

Es ist wichtig, dass „die Welt“ konkurriert.

Das Verfahren steht und fällt damit, dass nicht aus dem Nichts jemand kommt, der kurz in der Cloud mehr CPUs als du gemietet hat, und dann deine Buchhaltung überstimmen kann.

Daher die Annahme, der Markt werde das schon regeln, wenn man „die Welt“ konkurrieren lässt.

Proof of Work

• Zur Erinnerung: Vom Hash auf Daten schließen geht nicht!
• Daher bleibt nur: Durchprobieren.
• Wie viele Ziffern 0 sein müssen ist einstellbar.
• Wird proportional zur CPU-Power der Ausprobierer („Miner“) eingestellt.
• Je mehr konkurrieren, desto „schwerer“.
• Wer als erster einen passenden Wert findet, gewinnt.

Gesprochenes Wort

Die Überweisungen selbst sind vom Versender signiert.

Die Miner können also nicht die Beträge, Empfänger oder Absender ändern.

Aber sie könnten eine für dich wichtige Überweisung einfach nicht mit aufnehmen und dir damit Schaden zufügen.

Proof of Work

• Annahme: Niemand kontrolliert mehr als die Hälfte der Miner.
• Sonst gewinnt der zu oft und kann diktieren, was im Block steht.

   

• Aber was ist mit Kartellbildung? Zwei Miner verabreden sich?
• Riesenproblem!
• Schlimmer noch: „Private Blockchain“ geht nicht.
• Sonst: Angreifer mietet Cloud, überstimmt Ihre Buchhaltung!

Notieren Sie sich das!

Und dass Ihre Freunde zu feige sind, zuzugeben, dass sie es auch nicht verstanden haben.

Fallstudie 2: Smart Contracts.

Smart Contracts

• Idee: Maschinenlesbare Verträge
• „Wenn X passiert, überweise 500 BTC von A zu B“
• Spart Notargebühren!
• Verträge kommen in die Blockchain, damit man sie später nicht leugnen kann.

Nachteil: Das ist Code. Code ohne Bugs können wir nicht.
Siehe Patchlisten: Adobe, Apple, Microsoft, Oracle, ...

Bugs in Verträgen?!

• Haben wir schon jetzt bei analogen Verträgen ständig!
• Und dann endlose Streitereien vor Gerichten.

   

• Es gab auch schon die ersten Exploits für Smart Contracts!

Notieren Sie sich das!

Und dass Ihre Freunde zu feige sind, zuzugeben, dass sie es auch nicht verstanden haben.

Fallstudie 3: Big Data.

Big Data

• Idee: Erstmal alles wegspeichern.
• Später kann man coole Ideen entwickeln, was man damit macht

Big Data

• Problem 1: Ist unmoralisch. Die User wollen das nicht.
• Problem 2: Illegal (DSGVO erzwingt zweckgebundene Speicherung)
• Problem 3: Wo ein Trog ist, kommen die Schweine.
• Problem 4: Alle sammeln Daten. Niemand hat damit coole Dinge getan.
• Problem 5: Solche Daten kommen regelmäßig weg.

Big Data

• Fragen Sie mal herum!
• Leute, die so tun, als funktioniere Big Data für sie.
• Fragen Sie die mal nach konkretem Nutzen!

Notieren Sie sich das!

Und dass Ihre Freunde zu feige sind, zuzugeben, dass sie es auch nicht verstanden haben.

Fallstudie 4: Machine Learning.

Machine Learning

• Im Gehirn gibt es doch Neuronen, oder?
• Komm, das machen wir auch einfach!

   

• Links lauter Inputs, rechts ein Output
• Den Inputs geben wir Gewichte
• Das Neuron hat einen Schwellwert

Wenn Summe der Inputs > Schwellwert, dann Ausgabe 1. Sonst 0.

Wie programmiert man sowas?

• Gar nicht. Man trainiert es.
• Eingabe anlegen, zu der man die gewünschte Ausgabe kennt.
• Dann läuft man rückwärts und korrigiert die Gewichte.
• Wer Einfluss in die richtige Richtung hatte, kriegt Bonus.
• Wer Einfluss in die falsche Richtung hatte, kriegt Abzug.

Nebelwand-Jargon

• Feed Forward: Mehr als eine Schicht. Out(Schicht 1) = In(Schicht 2)
• Recurrent: Mehr als eine Schicht, getaktet, mit State
• Deep: Feed Forward + Wahrscheinlichkeiten

Wichtig!

• Einmal trainiert verhält sich das Netz deterministisch.
• „Verstehen“ oder „debuggen“ geht nicht. Nur mehr Training.
• Keine Programmierfehler mehr! Niemand ist Schuld!

Gesprochenes Wort

Mit Debuggen meine ich, dass man bei Software die Zeile finden kann, die den Bug hat, und dann macht man den Bug weg, und der Rest der Software ist unberührt und läuft genau wie vorher.

Das geht bei neuronalen Netzen so nicht. Man trainiert nach, das fasst aber alle Gewichte an. Minimalinvasives Debugging geht nicht.

„Verstehen“ geht bei einschichtigen Netzen so ein bisschen, in dem Sinne, dass man sehen kann, welches Gewicht wieviel Einfluss hatte. Aber richtiges verstehen ist das nicht, und bei mehrschichtigen Netzen haben die Gewichte dann immer Einfluss auf mehrere Ausgaben.

Haftung

• Bank setzt Machine Learning ein
• Machine Learning macht Mist
• Es gibt niemanden mehr, auf den die Bank zeigen kann
• Maximales Haftungsrisiko für die Bank
• Geschickt kombiniert mit „da können wir nichts machen, Chef“

Aspekt 2: Wie konnte das passieren?

Machine Learning

• Typische Anwendung: Schrifterkennung
• Jedes Pixel ein Input für das Neuron
• Ein Neuron kann eine Variante einer Glyphe erkennen (grob)
• Wir brauchen also ganz viele Neuronen

Machine Learning

• Problem: Glyphe verschoben
• Problem: Glyphe größer / kleiner
• Problem: Glyphe schräg / gedreht

Machine Learning

• Lösung: Wie bei Quacksalbern im Mittelalter.
• „Wirkt nicht? Dosis zu gering!“
• „Brauchen wir halt mehr Neuronen!“
• Natürliches Limit: Hardwaregrenzen.
• Seit dem ist die Hardware viel schneller geworden.
• Quacksalber kommen mit dem Ansatz jetzt weiter :-)

Gesprochenes Wort

Die Aussage war: Vorher Quacksalber, nachher Quacksalber.

Es gibt auch scharlataneriefreies Machine Learning. Das ist aber im Wesentlichen Forschung :-)

Forschung ist total super. Ich mag Forschung. Mehr Geld für Forschung ist immer gut. Lassen Sie sich bloß keine angeblich wunderheilenden magischen Produkte aufschwatzen! Und klären Sie vorher die Haftung!!

Aspekt 3: Macht Machine Learning Fehler?

Macht Machine Learning Fehler?

Plakatives Beispiel: Xerox-Scanner.

[Illustration: Folie 15 von diesem PDF]

Macht Machine Learning Fehler?

• Wir haben jetzt verstanden, wie man die Gewichte trainiert
• Was, wenn wir das Verfahren umdrehen?
• Wir haben eine Ausgabe und ein Netz und trainieren die Eingabe?

Adversarial Samples

Adversarial Samples

• Eingaben sind natürlich, nicht manipuliert
• Niemand will uns ärgern
• Wir tun unser Bestes und gucken mal
• Im Fehlerfall kriegen alle eine „hat sich stets bemüht“-Urkunde.

Adversarial Samples

Wir wissen nicht, was der gelernt hat

Gesprochenes Wort

Diese Folien sind Beispiele aus einer Google-Docs-Liste von KI, die schlechte Spezifikation oder Bewertungsfunktionen „betrügt“, um das Problem zu „lösen“.

Wir wissen nicht, was der gelernt hat

An RL robot trained with three actions (turn left, turn right, move forward) that was rewarded for staying on track learned to reverse along a straight section of a path rather than following the path forward around a curve, by alternating turning left and right.

Wir wissen nicht, was der gelernt hat

When repairing a sorting program, genetic debugging algorithm GenProg made it output an empty list, which was considered a sorted list by the evaluation metric.
Evaluation metric: “the output of sort is in sorted order” Solution: “always output the empty set”

Wir wissen nicht, was der gelernt hat

[Tetris:] Agent pauses the game indefinitely to avoid losing

Kommen wir zur BaFin

Partner der BaFin, die augenscheinlich das Papier geschrieben haben:

• Partnerschaft Deutschland, Berater der öffentlichen Hand GmbH
• The Boston Consulting Group
• Fraunhofer IAIS

Gesprochenes Wort

PD und BCG verdienen ihr Geld damit, dass die öffentliche Hand Technologie ausrollt, die sie nicht beherrscht. Von denen ist also wenig Kritik oder Gegenwind zu erwarten bei Studien über neue Technologie-Trends.

Aber gucken wir doch mal bei diesem Fraunhofer-Institut!

Gesprochenes Wort

Von denen offensichtlich auch eher nicht.

Und so muss man bis Seite 180 in der „BaFin-Studie“ gehen, bis mal Bedenken geäußert werden.

Worum geht es?

Sorgen der BaFin

Die von BDAI unterstützte Disaggregation von Wertschöpfungsketten und das wachsende Datenvolumen vergrößern zudem die Angriffsfläche für externe Zugriffe und verringern zugleich die Möglichkeiten eines einzelnen Anbieters, die genutzten und verteilten Daten zu kontrollieren.

Ist diese Sorge gerechtfertigt? ABER HALLO!

Gesprochenes Wort

Unter „Disaggregation von Wertschöpfungsketten“ versteht die BaFin, dass Fintechs sich einen kleinen Aspekt raussuchen, in dem sie profitabel sind, und den Rest der Infrastruktur an irgendwelche Dienstleister auslagern, am besten noch in der Cloud.

Sorgen der BaFin

Zusätzlich kommt es neuerdings bei bestimmten BDAI-Algorithmen auch zu Angriffen durch Datenmanipulation – z.B. in Form von Adversarial oder Poison Attacks.

Ist diese Sorge gerechtfertigt?

Naja. Eher nicht. Der Angreifer kennt ja das Netz nicht.
Aber gut, dass sie mal von dem Begriff gehört haben!

Sorgen der BaFin

Das war alles.

Über die anderen Fragen hat die BaFin nicht nachgedacht.

Was sagt die BaFin denn sonst so?

BDAI- und Verschlüsselungsverfahren zur Mitigation von Informationssicherheitsrisiken | Durch die Nutzung von BDAI könnten Informationssicherheitsrisiken aber nicht nur zunehmen. BDAI ließe sich auch in der Abwehr dieser Risiken nutzen, beispielsweise bei der Analyse und Entdeckung von Gefahren.

Ja! Richtig gelesen!
Die verkaufen BDAI noch als Lösung oder zumindest als Chance!

Gesprochenes Wort

Hier wird natürlich gar nichts mitigiert.

Hier wird ein verstandenes Risiko in neue Risiken umgewandelt. Neue Risiken, die wir noch nicht verstehen oder einschätzen können.

Was schlägt BaFin vor?

So könnte BDAI z.B. Unregelmäßigkeiten im Verhalten von Verbrauchern beim Online-Banking feststellen und so auf eine mögliche missbräuchliche Verwendung schließen.

Das ist kein möglicher potentieller Konjunktiv.
Das ist das Heilsversprechen der ganzen Branche im Moment.
KI für Fraud Detection!

KI für Fraud Detection?

Haben Sie E-Mail?

Mit Spamfilter?

Das ist simple Bayes-Statistik.
Spamfilter mit KI funktionieren deutlich schlechter.
M.W. ist kein einziger „mit KI“ im Einsatz, so schlecht sind die.

KI für Fraud Detection?

Denken Sie mal darüber nach!

Wenn das für Ihre E-Mail zu schlecht ist,
sollten wir dann damit Payment Fraud Detection machen?

Anmerkung

Das ist natürlich ein unfaires Argument, weil das nicht das exakt selbe Problem ist.

Mein Hauptargument gegen Fraud Detection mit KI ist, dass Fraud Detection schon ohne KI ein gelöstes Problem ist. Das Restrisiko ist um eine Größenordnung gesunken, die Gebühren nicht.

Aus meiner Sicht ist es daher nicht zu rechtfertigen, irgendwelche zusätzlichen Risiken einzugehen. Zumal die Ausrichtung des Sicherheits-Theaters der Banken in den letzten Jahren zu einer weitgehenden Haftungsumkehr zu Lasten des Kunden geführt hat.

KI für Fraud Detection?

Aktueller Industrie-Trend: Umbenennen!
„Predictive Analytics with Machine Learning“ → Simple Bayes.
Die Leute wollen aus Hype-Gründen Machine Learning?
Verkaufen wir ihnen Statistik und schreiben ML drauf.

Noch ein BaFin-Vorschlag

Auch bestimmte Verschlüsselungsverfahren, welche die Anwendung von BDAI-Methoden direkt auf verschlüsselten Daten erlauben, könnten genutzt werden, um die Resilienz gegenüber solchen Risiken zu stärken.

Nein.
Lassen Sie sich diesen Mist nicht aufschwatzen.
Das ist „homomorphe Verschlüsselung“ und ist Bullshit.
Hier wollen Akademiker ihre nächsten Papers finanziert kriegen.

Zusammenfassung

• Lassen Sie sich nicht von großen Begriffen verwirren
• Die kochen alle nur mit Wasser

   

• Blockchain löst keines Ihrer Probleme und schafft neue.
• Big Data löst keines Ihrer Probleme und schafft neue.
• Machine Learning löst keines Ihrer Probleme und schafft neue.

Horrorszenario

• Sie setzen KI für Fraud Detection ein.
• Ihre KI weist eine Transaktion zurück.
• Der Empfänger muss Insolvenz anmelden und klagt.

   

• Sie werden als Experte vor Gericht vorgeladen.
• Sie sollen jetzt erklären, wieso die KI die Transaktion abgelehnt hat.

Zusammenfassung