Wenn ein Algorithmus in Broward County einen Angeklagten zu 77 Prozent als «gewalttätig wieder rückfällig» einstuft, in 80 Prozent dieser Fälle aber falsch liegt, dann ist das keine Effizienz. Es ist auch keine Software-Frage. Es ist die Frage nach dem Souverän, der nicht mehr erkennt, wo seine eigene Hand war und wo die Hand des Algorithmus. Es ist ein technischer Widerschein, in dem die Gesellschaft ihre eigenen Verzerrungen anstarrt. Wenn ein Pentagon-Projekt Drohnenbilder in Sekunden sortiert und Google nach Mitarbeiterprotesten aussteigt, dann ist das kein Software-Thema. Dann ist es eine Frage nach dem Souverän. Wenn Brüssel 23 Risikoklassen definiert und einzelne Praktiken verbietet, dann ist das ein juristischer Versuch, einer jungen Technologie ein Rückgrat einzuziehen. Elf Sätze aus diesem Bericht, jetzt der Reihe nach.
Die Maschine nimmt uns die Entscheidung nicht ab. Sie verschiebt sie nur. Wer einen Kreditantrag in 200 Millisekunden ablehnt, einen Job-Shortlist ohne menschliches Gegenlesen erstellt, einen Sozialhilfeempfänger als Risiko einstuft oder einen Drohnenangriff in der Zielerfassung priorisiert, hat eine Entscheidung getroffen. Nur eben weiter weg, weiter oben, weiter unsichtbar. Das ist die zentrale Verschiebung, die Cathy O'Neil, promovierte Mathematikerin aus Harvard, ehemalige Hedgefonds-Analystin, in ihrem Buch «Weapons of Math Destruction» (2016) als Mechanismus freigelegt hat: Modelle sind nicht neutraler als die Gesellschaft, aus deren Daten sie entstehen. Sie sind eher noch kompromissloser, weil sie keine schlechte Laune kennen, keinen Hunger, kein Mitleid und keine Reue. Sie skalieren Verzerrungen, die ein einzelner Richter oder Sachbearbeiter vielleicht in einem konkreten Fall noch hätte ausgleichen können.