Social Scoring: „Diese Systeme kriechen in unseren Alltag“
Ob Bildung, Gesundheit oder Konsum: Überall werden Daten gesammelt und bewertet. Der Soziologe Steffen Mau untersucht das und zeigt im Interview die Folgen auf.
Dieses Interview ist ein Transkript der zweiten Folge unseres neuen Podcasts „Causa – Der Ideenpodcast“. Wir senden jeden Samstag ein neues Gespräch mit einem Wissenschaftler oder Publizisten zu den großen Fragen der Zeit. Das Gespräch wurde für die Schriftfassung aus Gründen der Lesbarkeit bearbeitet und gekürzt.
Empfohlener redaktioneller Inhalt
An dieser Stelle finden Sie einen von unseren Redakteuren ausgewählten, externen Inhalt, der den Artikel für Sie mit zusätzlichen Informationen anreichert. Sie können sich hier den externen Inhalt mit einem Klick anzeigen lassen oder wieder ausblenden.
Ich bin damit einverstanden, dass mir der externe Inhalt angezeigt wird. Damit können personenbezogene Daten an Drittplattformen übermittelt werden. Mehr Informationen dazu erhalten Sie in den Datenschutz-Einstellungen. Diese finden Sie ganz unten auf unserer Seite im Footer, sodass Sie Ihre Einstellungen jederzeit verwalten oder widerrufen können.
Herr Mau, die Politik beginnt gerade, sich mit Social Scoring zu beschäftigen. Sie diskutieren darüber an diesem Mittwoch mit Bundesjustizministerin Katarina Barley – Anlass ist die Eröffnung der Ausstellung „Open Codes“ im Bundesjustizministerium. Was ist eigentlich Social Scoring?
Eine Standarddefinition gibt es nicht. Übersetzt heißt das einfach Punktwerteverfahren, also der Versuch, soziale Phänomene oder die Eigenschaften von Personen mit Hilfe von Punktwerten zu beschreiben und damit vergleichbar zu machen. Eine ganz einfache Form ist die Vergabe von Punkten bei Schönheitswettbewerben. Aber wenn wir heute vom Scoring reden, meinen wir, dass größere Datenmengen mit Hilfe von Algorithmen ausgewertet werden, um über das Verhalten von Personen Auskunft zu geben, um sie zu klassifizieren, um vorherzusagen, was sie tun werden oder um ihren Marktwert zu beschreiben.
In Deutschland bemerken viele Menschen das Social Scoring bislang bewusst ja vor allem, wenn sie ihre Kreditwürdigkeit von der Schufa prüfen lassen müssen – dann wird aus verschiedenen Daten ein Wert ermittelt. Wenn wir uns anschauen wollen, was mit den enormen Datenmengen möglich wäre, lohnt ein Blick nach China. China ist gerade dabei, ein „Social Credit System“ einzuführen. Wie sieht das aus?
Das System ist noch in der Entwicklung. Was aber heute schon klar ist, dass alle chinesischen Bürger einbezogen werden und die Daten aus sehr vielen unterschiedlichen Lebensbereichen zusammengeführt werden sollen. Große Internet-Unternehmen arbeiten dafür sehr eng mit staatlichen Stellen zusammen. Möglicherweise wird es einen einzigen „Score“ pro Bürger geben oder auch mehrere. Erfasst wird das Verhalten im öffentlichen Raum, zum Beispiel, ob man seine Bücher bei Bibliothek überzieht. Bewertungen von Vorgesetzten und Vermietern fließen ein, das Konsumverhalten im Internet, Regelverstöße und Äußerungen in Sozialen Medien.
Das alles soll zu einer Art Klassifikations- und Bewertungssystem zusammengeführt werden. Der oder die Score-Werte eines Menschen sind nicht nur informativ, sie sollen mit ganz konkreten Vor- oder Nachteilen verbunden sein. Wir wissen zum Beispiel, dass China auf dieser Basis im vergangenen Jahr schon 15 Millionen „Reiseverbote“ erteilt hat, also Leute mit einem schlechten Score von Fernreisen per Bahn oder Flugzeug ausgeschlossen hat. China ist eine Gesellschaft, wo viele Familien auf Grund der hohen Binnenmigration weit voneinander entfernt leben, daher ist das schon ein sehr starker Eingriff in die individuellen Freiheitsrechte.
81 Prozent der Chinesen finden ein Social Credit-System gut
Warum führt China das System ein?
Die chinesische Führung sagt, es sei ein Instrument, um Vertrauen in einer Gesellschaft zu stärken du eine „Mentalität der Ehrlichkeit“ herzustellen. In einer Gesellschaft, in der sich viele disruptive Veränderungen abspielen – hohe Binnenmigration, neue Ungleichheiten, Individualisierung –, scheint es dafür eine Nachfrage zu geben, von den politischen Kontrollambitionen ganz zu schweigen. Aber echtes Vertrauen wäre ja gerade, wenn es keine Kontrolle braucht. Hier wird der Machtanspruch des sozialistischen Einpaarteienstaates mit den Mitteln der digitalen Revolution verbunden.
Kürzlich hat die China-Expertin Mareike Ohlberg in einem Gespräch mit dem Magazin „Wired“ gesagt, das chinesische System sei sicherlich einzigartig. Andererseits sei es aber auch Teil eines „globalen Trends“ zum Social Scoring - auch in westlichen Demokratien. Teilen Sie diese Einschätzung?
Im Prinzip ja. Es gibt einen zentralen Unterschied: Politische Akteure in China haben die Möglichkeit, sehr zentral auf sehr viele Daten zuzugreifen. Das ist in westlichen Gesellschaften nicht der Fall, hier sind es oft privatwirtschaftliche Unternehmen, die die Daten sammeln. Und es gibt große Unterschiede in der gesellschaftlichen Sensibilität für die Verwendung und Verwertung der Daten.
Eine Kollegin von der Freien Universität hier in Berlin, Genia Kostka, hat chinesische Bürger befragt, wie sie solche Systeme finden. Etwa 81 Prozent haben gesagt, sie finden das gut. 18 Prozent waren unentschieden, nur 1,5 Prozent lehnen das ab. Die Umfragen bei uns – da gibt es jetzt zwei Studien – sagen, dass nur rund ein Fünftel bis ein Sechstel der Bevölkerung solchen Systemen etwas abgewinnen können. De facto aber kriechen diese Systeme auch in unseren Alltag.
In Großbritannien werden mit Daten Problemfamilien identifiziert
Können Sie Beispiele nennen?
Gerade ist eine Studie der Bertelsmann-Stiftung erschienen, die für Europa untersucht, wie staatliche Behörden mit den Daten der Bürger arbeiten, beispielsweise im Bereich der sozialen Dienstleistungen, bei der Polizei oder im Rechtswesen. In kommunalen Kontexten in Großbritannien werden zum Beispiel Daten über die Bibliotheksleihe und das Parkverhalten im öffentlichen Raum mit Informationen zu Steuerschulden oder Sozialleistungsbezug zusammengeführt. In manchen Fällen geht es darum, anhand von Behördendaten Problemfamilien zu erkennen.
Österreich wiederum hat ein System entwickelt, dass beurteilt, wer gute und wer schlechte Chancen auf dem Arbeitsmarkt hat, um zu entscheiden, für wen es lohnt, Fortbildungsmaßnahmen zu bezahlen. In den USA gibt es Scores, die anhand von Aufenthalten in Arztpraxen, Einreichungen bei der Krankenkasse, Verschreibungen, aber auch von Wohnortdaten bewerten, ob jemand ein erhöhtes Risiko hat, drogenabhängig zu werden: Diese Menschen werden dann mit Hilfsangeboten besonders angesprochen.
Manchmal sind die Entscheidungen der Algorithmen recht drastisch. In Kalifornien entscheidet Algorithmen anhand von „Risikoscores“, ob ein Angeklagter auf Kaution freigelassen wird oder nicht…
Ja, vieles von dem, was wir so machen, wird verwertbar – und führt dazu, dass uns Chancen offenstehen oder eben auch nicht. Auch Privatunternehmen setzen ja zunehmend auf Scoring-Daten. Ein neues Beispiel sind Vermieterplattformen in den USA: Vermieter zentralisieren Daten darüber, wer wie schnell zahlt oder anderen Aufforderungen nachkommt und diese Menschen bekommen dann Vorteile bei bestimmten Dienstleistungen, die in einem Mietshaus angeboten werden. Man orientiert sich dann bei Handwerkerterminen stärker an den Arbeitszeiten der Menschen mit guten „Scores“.
Grenzkontrollen und Sicherheitschecks werden automatisiert
In Europa fühlen wir uns noch einigermaßen geschützt durch unsere strengen Datenschutzregeln…
Ja, aber der Datenmarkt ist international. In den USA gibt es Daten-Broker, die von über der Hälfte der Deutschen mittels „Marktklassifikationsdaten“ erfasst haben und diese auch an Dritte weiterverkaufen. An vielen Stellen werden Daten von Ihnen erfasst, ohne, dass Sie einen Einfluss darauf haben. Ich beschäftige mich derzeit zum Beispiel mit „Smart Borders“, mit „intelligenten Grenzen“, Grenzen, an denen Grenzkontrollen und Sicherheitschecks automatisiert werden. Da werden biometrische Daten genommen, zum Beispiel ein Iris-Scan oder ein Fingerabdruck, das wird kombiniert mit Daten aus anderen Quellen.
Wir beobachten auch, dass Scoring-Systeme länderübergreifend eingesetzt werden. In China zum Beispiel ist ein wichtiger Kreditscore der „Zhima-Credit“, der erfasst nicht nur die finanzielle Bonität, sondern auch Lebensweisen, Aktivitäten, Konsumgewohnheiten. Kanada hat nun mit China einen Vertrag abgeschlossen, der besagt, dass Menschen, die sich um ein kanadisches Visum bewerben, nicht mehr einen Kontoauszug einreichen müssen, sondern sich mit diesem Score bewerben können. Ab einer bestimmten Höhe hat man als chinesischer Bürger erleichterten Zugang nach Kanada.
In Ihrem Buch schreiben Sie, dass Social Scores eine Art „soziale Platzanweiserfunktion“ in der Gesellschaft bekommen. Was meinen Sie damit?
Ich gebe Ihnen ein Beispiel: 2018 war ich ein halbes Jahr in den USA, dort haben wir über eine Webseite einen Babysitter gesucht. Die Babysitter konnte man natürlich einerseits bewerten – dadurch entstand ein Ranking. Man konnte zusätzlich über ein System namens „MyLife.com“ auch die Reputation der Person abfragen. Man klickt, dann rödelt das System ein bisschen und schaut alles durch: Wohnort, Aliasnamen, Social Media Accounts, Geschwindigkeitsübertretungen, ob jemand in Besitz einer Schusswaffe ist, Verschuldung, Sittlichkeitsdelikte, anhängige und frühere Gerichtsprozesse. In den USA sind das größtenteils öffentliche Daten.
Das alles wird zu einem Reputationsscore zusammengeführt – wie genau, darüber konnte man nichts erfahren. Aber eine Babysitterin mit einem Score von nur 2,3 auf einer Skala von fünf würde man wahrscheinlich nicht nehmen. So entsteht „soziales Kapital“, das heißt, dass man Reputation in andere Arten von Vorteilen umtauschen kann, materielle Vorteile, Marktvorteile.
Algorithmen sind Geschäftsgeheimnis
Diejenigen, die die Algorithmen programmieren und die die Skala festlegen erhalten so viel Macht. Sie verwenden in Ihrem Buch für diese Form der Macht den Begriff der „Benennungsmacht“, ein Begriff von Pierre Bourdieu…
Bourdieu ist immer davon ausgegangen, dass die Benennungsmacht beim Staat liegt, er dachte an die Zertifizierung, das Urkundenwesen. Jetzt geht die Benennungsmacht teilweise vom Staat auf private Unternehmen über – auch sie können wirkmächtig klassifizieren. Wer in welche Kategorie fällt – kreditwürdig oder nicht, gesund oder krank – das liegt ganz stark an den Messverfahren, an den Indikatoren und an den Apps, mit denen gemessen werden.
Sie bestimmen aber nicht nur über die Kategorie, in die ein Einzelner fällt. Sie bestimmen auch, welche Art von Welt uns als Gesellschaft insgesamt erscheint. Es werden neue „Sichtbarkeitsordnungen“ kreiert. Die Welt wird nicht einfach abgebildet – sie wird reformatiert. Diese neue Welt ist nicht völlig losgekoppelt von dem, was da draußen ist. Aber die Scores stellen doch nur ein sehr spezifisches Bild unserer Welt dar.
Welche Folgen hat das?
Die Benennungsmacht wird immer stärker privatisiert – und es entstehen neue Machtgefälle. Die Unternehmen sagen: Die Algorithmen sind unser Geschäftsgeheimnis. Wir aber werden immer gläserner. Sie sind der öffentlichen Kontrolle entzogen, wirken aber dennoch sehr stark in die Gesellschaft hinein. Das ist eine gefährliche Situation und verändert die Art und Weise, wie wir Gesellschaft denken und organisieren.
Wenn Algorithmen Entscheidungen treffen, kann es auch leicht zu Diskriminierungen kommen. Es hat sich zum Beispiel gezeigt, dass Frauen in dem österreichischen System zur automatischen Klassifizierung von Arbeitslosen, das Sie schon erwähnt haben, weniger Fortbildungsmaßnahmen erhalten als Männer. Die Arbeitslosen werden in drei Kategorien eingeteilt: Solche, die besonders gute Chancen am Arbeitsmarkt haben, solche, die besonders schlechte Chancen haben und eine Mitte. Die in der mittleren Kategorie sollen besonders gefördert werden – und in dieser Kategorie finden sich Frauen seltener.
Selbst wenn in diesen Algorithmen die Kategorien „Geschlecht“ oder „Alter“ gar keine Rolle spielen, kann es sein, dass indirekt, durch die Hintertür, sozusagen „aus Versehen“, doch danach gefiltert wird. Ob das nun Diskriminierung ist oder Differenzierung, ist gar nicht so leicht zu sagen, zunächst wird ja „nur“ unterschieden. Aber es kommt auch zu sich selbst verstärkenden Effekten – und dann kann Diskriminierung einsetzen. In den USA zum Beispiel haben Schwarze statistisch eine höhere Wahrscheinlichkeit, kriminell zu werden.
Wenn man dann Risikoscores für bestimmte Stadtviertel entwickelt, wird die Polizei aktiver in Gebieten, in denen viele Schwarze wohnen. Damit steigt wiederum die Wahrscheinlichkeit, bei einer Straftat erwischt zu werden, der Score verschlechtert sich weiter. In vielen Bereichen haben wir uns in Deutschland ja deshalb bewusst gegen Differenzierung entschieden. Bei der Krankenversicherung wird nicht zwischen Männern und Frauen unterschieden oder zwischen Rauchern und Nichtrauchern. Wir wissen, dass es Unterschiede gibt. Aber wir wollen nicht, dass sie Teil der Risikoklassifikation und der Preisberechnung werden.
Freiwillige Komplizen des Überwachungskapitalismus
Trotz aller dieser Bedenken – die Dystopie China, das Wissen über mögliche Diskriminierung – machen viele Menschen beim Social Scoring freiwillig mit. Ich selbst messe auch mit einer Laufapp, wie viel und wie weit ich gelaufen bin und teile das in meinem Freundeskreis auf Facebook. Warum mache ich das eigentlich?
Ich könnte jetzt über Sie die Nase rümpfen, aber ich mache das selbst auch. Nein, im Ernst. Ich nenne es das „kalte Charisma der Zahlen“. Zahlen haben eine gewisse Attraktivität, weil sie objektiv und neutral erscheinen. Menschen haben ein Interesse daran, auf objektive Daten zurückzugreifen, um festzustellen, wer sie sind und wo sie stehen. Das ist eine Form der Statusbestimmung, die auch beruhigend wirken kann. Viele Medizinapps sind weit davon entfernt, gute Prognosen abzugeben, versprechen aber ein längeres Leben, wenn man sich damit selbst kontrolliert.
In vielen Bereichen wären wir außerdem aus der digitalen Welt ausgeschlossen, wenn wir nicht in irgendeiner Weise als Datengeneratoren daran teilnehmen. Die Kosten des „digital detox“ sind relativ hoch, das ist eine Form der Selbstexklusion. Deshalb sind wir freiwillige Komplizen des Überwachungskapitalismus – auch, wenn uns das in ein ständiges Strampeln führt.
Muss uns die Politik deshalb helfen – brauchen wir politische Regulierung?
Die Regulierung ist schwierig. In den Unternehmen sagen die Leute: Europa ist schon so streng reguliert was die „Bewirtschaftung“ von Daten angeht, wir haben daraus Wettbewerbsnachteile. Andererseits ist die Verschiebung, die wir beobachten, extrem. Wenn man gar nicht reguliert, wird uns die Benennungsmacht vollständig entrissen werden. Sie wird in die Hände der großen Internetgiganten wandern. Wenn wir diese Entwicklung verhindern wollen, müssen wir uns emanzipieren und an der einen oder anderen Stelle harsch politisch intervenieren. Wir können nicht zulassen, dass die Lebenschancen von Algorithmen bestimmt werden.
Betroffene sollten beteiligt und repräsentiert sein
Gruselig ist ja vor allem die Vorstellung, dass ein Programm über mich entscheidet, ohne, dass ich weiß, wie die Entscheidung zustande gekommen ist – und ohne, dass ich eine Einspruchsmöglichkeit habe. Wären nicht Transparenz und verpflichtende Widerspruchsverfahren ein wichtiger erster Schritt?
Das Bundesjustizministerium hat vom Sachverständigenrat für Verbraucherfragen ein Gutachten erstellen lassen, das Ende 2018 veröffentlich wurde – und da wird genau so etwas vorgeschlagen. Die Algorithmen müssen „testbar“ sein, meinen die Gutachter. Das heißt, die Unternehmen müssten nicht unbedingt den Quellcode offenlegen – den sie ja als Betriebsgeheimnis betrachten – aber sie müssten die Merkmale, die eingehen, transparent machen und Testmöglichkeiten anbieten.
Auch eine „Digitalagentur“ wird vorgeschlagen, die überwacht, in welchen Bereichen solche Algorithmen eingesetzt werden und ob Fairness- und Gleichheitsansprüche eingehalten werden. Ich würde noch einen Schritt weitergehen. In den Unternehmen und Behörden, die solche Algorithmen entwickeln, müssen Betroffene beteiligt und repräsentiert sein. Außerdem muss es noch einfacher sein, die eigenen Daten löschen zu können und man sollte leichter die Verwendung der eigenen Daten beschränken können – zum Beispiel, um den Verkauf der Daten an Dritte verhindern.