Seit 2021 dokumentieren wir im Rahmen unserer France Control-Kampagne die in unseren Sozialverwaltungen eingesetzten sozialen Kontrollalgorithmen. In diesem Zusammenhang haben wir insbesondere den Einsatz von Scoring-Algorithmen analysiert. Nachdem wir enthüllt haben, dass der von der CAF verwendete Algorithmus insbesondere auf die am stärksten prekären Situationen abzielt, zeigen wir durch die Veröffentlichung ihres Kodex, dass die Krankenversicherung einen ähnlichen Algorithmus verwendet, der sich direkt an Frauen in prekären Situationen richtet.
Seit 2018 weist ein von der Krankenversicherung (CNAM) entwickelter Algorithmus jedem Haushalt, der von der kostenlosen Supplementary Health Solidarity (C2SG) profitiert, d. h. 6 Millionen Menschen, die zu den Ärmsten in Frankreich gehören, eine Note bzw. einen Verdachtswert zu. Dieser Hinweis dient der Auswahl der zu überwachenden Haushalte. Je höher er ist, desto größer ist die Wahrscheinlichkeit, dass ein Ausbruch unter Kontrolle gebracht wird. Aufgrund eines Fehlers des CNAM konnten wir auf den Quellcode dieses Algorithmus zugreifen, den wir mit diesem Artikel veröffentlichen. Die Beobachtung ist überwältigend.
Der Algorithmus zielt gezielt auf prekäre Mütter ab. Letzteres wird in offiziellen Dokumenten von CNAM-Beamten offen als „ am stärksten von Anomalien und Betrug bedroht », erhalten einen höheren Verdachtswert als der Rest der Versicherten. Im Gegenzug werden sie einer größeren Anzahl von Kontrollen unterzogen. Beachten Sie, dass die uns vorliegenden – zu seltenen – Zeugenaussagen zeigen, dass diese Kontrollen insbesondere zu missbräuchlichen Aussetzungen der Krankenversicherung führen können, die zu Störungen beim Zugang zur Gesundheitsversorgung mit besonders schwerwiegenden Folgen für alle Leistungsempfänger des Haushalts, einschließlich der Kinder, führen können.
Stigmatisierung prekärer Frauen
« Erstantrag, wenn es sich bei der Antragstellerin um eine Frau über 25 Jahre mit mehr als einem Erwachsenen und mindestens einem Minderjährigen im Haushalt handelt ». Hier wird es Wort für Wort auf einer Folie beschrieben Steckdosewas CNAM-Beamte als „ typisches Profil des Betrügers “. Es ist dieses „ Profiltyp » dass der Algorithmus für die Erkennung unter den Versicherten verantwortlich ist. Je näher eine Person diesem Profil kommt, desto mehr Verdachtswert ist hoch und die Wahrscheinlichkeit, kontrolliert zu werden, ist hoch.
Die Analyse des Algorithmuscodes bestätigt diese Beschreibung. Zu den Variablen, die der Algorithmus verwendet und die den Verdachtswert erhöhen, zählen insbesondere die Tatsache, dass man eine Frau ist, minderjährige Kinder hat oder über 25 Jahre alt ist..
Wenn dieser Algorithmus Kriterien im Zusammenhang mit wirtschaftlicher Prekarität nicht direkt aufdeckt, liegt das ganz einfach daran, dass dieses Kriterium bereits in der Grunddefinition der analysierten Bevölkerung vorhanden ist. Begünstigter des C2SG, dieser „ Frau über 25 Jahre alt » gehört zu den 6 Millionen ärmsten Menschen in Frankreich, von denen die meisten RSA-Empfänger sind und/oder keinen Arbeitsplatz haben.
Sollen kranke oder behinderte Menschen gezielt angesprochen werden?
Zusätzlich zum Code des seit 2018 verwendeten Algorithmus haben wir den eines experimentellen Modells erhalten, das im Hinblick auf zukünftige Entwicklungen entwickelt wurde. Dieses Modell richtet sich nicht nur an Mütter in prekären Verhältnissen, sondern erweitert auch die Kriterien zur Erhöhung der Verdachtswert einer versicherten Person die Tatsache, dass sie sich in einer Invaliditätssituation befindet („ eine Invalidenrente beziehen “), krank sein (sein ” Pflegekonsument » oder haben „ erhielten Taggelder „, das heißt, krankgeschrieben gewesen zu sein) oder sogar… zu sein“ in Kontakt mit der Krankenversicherung ».
Eine Klarstellung ist notwendig. Die Tatsache, dass dieses experimentelle Modell nicht verallgemeinert wurde, ist keineswegs mit einem Anstandsbruch seitens der CNAM verbunden. Ihr ” Effizienz » wurde im Gegenteil in Dokumenten gelobt, die während seines Vortrags in „ verteilt wurden. Ausschuss für Betrugsmanagement » Anfang 2020. Das einzige Problem, erklären die Statistikerteams des CNAM, besteht darin, dass seine Verwendung nicht legal ist, da dieses neue Modell eine „ unbefugte Datenübernahme “. Um dies umsetzen zu können, versuchen die Teams, die Leiter der CNAM anzulocken, um ihre Unterstützung für die für die Umsetzung dieses Datenaustauschs erforderlichen regulatorischen Änderungen zu gewinnen.
Undurchsichtigkeit und Unanständigkeit
Wenn die Dokumente, die wir veröffentlichen, etwas Entscheidendes zeigen, dann ist es, dass sich die Führer der CNAM der Gewalt der von ihnen validierten Instrumente vollkommen bewusst sind. Man muss kein Statistikexperte sein, um die oben transkribierten Beschreibungen zu „ typisches Profil des Betrügers » dass der Algorithmus für das Targeting verantwortlich ist.
Doch anstatt sich dagegen zu stellen, nutzten die Verantwortlichen des CNAM lieber die Undurchsichtigkeit, die seine Tätigkeit umgab, aus, um daraus Vorteile zu ziehen. Technik « auf dem neuesten Stand der Technik », « künstliche Intelligenz » Erlauben eines „ proaktive Erkennung » Betrug, Prognosetool « im Minority Report »: So wird laut offiziellen Berichten oder öffentlichen Interventionen diese Art von Werkzeug gelobt. Die mangelnde Transparenz gegenüber der Öffentlichkeit hinsichtlich der Targeting-Kriterien des Algorithmus ermöglicht es, die Realität der Kontrollpolitiken zu verschleiern. Diese Situation ermöglicht es den Krankenversicherungsmanagern dann, ihre Managementfähigkeiten und ihre Innovationsfähigkeit auf dem Rücken der Bedürftigsten unter Beweis zu stellen.
Zur Unanständigkeit einer solchen Darstellung muss hier noch hinzugefügt werden, dass sie auch irreführend ist. Denn entgegen der Darstellung ist der Algorithmus nicht nur darauf ausgelegt, Betrugssituationen zu erkennen. Die technische Dokumentation zeigt, dass es darauf trainiert ist, die Tatsache vorherzusagen, dass eine Datei das darstellt, was die Krankenversicherung als a bezeichnet „Anomalien“also die Tatsache, dass das Einkommen einer versicherten Person die C2S-Einkommensgrenze übersteigt. Allerdings ist nur ein Teil davon „ Anomalien » – wenn die Differenz zwischen Einkommen und Höchstgrenze einen bestimmten Betrag überschreitet – wird von der Krankenkasse als Betrug eingestuft. Alles deutet darauf hin, dass die Mehrheit von „ Anomalien » Die vom Algorithmus erkannten Daten resultieren vor allem aus unbeabsichtigten Fehlern, die mit der Komplexität der C2SG-Zuordnungskriterien zusammenhängen, die insbesondere das gesamte dem Haushalt zur Verfügung stehende Einkommen, einschließlich Schenkungen und Familienspenden, umfassen.
Letztendlich muss diese Kommunikation angesichts finanzieller Fragen relativiert werden. Im Jahr 2022 gab der Direktor der Krankenversicherung bekannt, dass die Betrug im gesamten C2S wurde auf 1 % der Kosten oder 25 Millionen von mehr als 2,5 Milliarden Euro geschätzt. Andererseits wurde die Nichtinanspruchnahme dieser Sozialleistung auf mehr als 30 % geschätzt, was einem „Gewinn“ von etwa einer Milliarde Euro für die CNAM entspricht. Diese Zahlen unterstreichen die politische Heuchelei hinsichtlich der Bedeutung der Bekämpfung des C2SG-Betrugs – und des Bedarfs an Werkzeugen, die auf künstlicher Intelligenz basieren – und zeigen gleichzeitig, dass der Einsatz solcher Werkzeuge vor allem eine Frage des Images und der Kommunikation im Dienste der Führer der EU ist Institution.
Technologie und Entmenschlichung
Es gibt noch eine letzte Sache, die die Dokumente, die wir veröffentlichen, hervorheben. Sie wurden von den Statistikerteams des CNAM verfasst und bieten einen besonders harten Einblick in das eklatante Fehlen ethischer Rücksichtnahme durch die technischen Teams, die digitale Werkzeuge zur sozialen Kontrolle entwickeln. In diesen Dokumenten findet sich nirgends der geringste Kommentar zu den menschlichen Konsequenzen ihrer Algorithmen. Ihre Konstruktion wird ausschließlich nach technischen Gesichtspunkten angegangen und die Modelle werden nur anhand des unantastbaren Kriteriums der Effizienz verglichen.
Wir erkennen dann das Risiko, das die Digitalisierung der Kontrollrichtlinien mit sich bringt, in der Bedeutung, die sie den Teams von gibt Datenwissenschaftler Abgeschnitten von der Realität vor Ort – sie werden nie mit der Realität der Kontrolle und ihren Folgen für den Zugang zur Gesundheitsversorgung konfrontiert – und genährt von einer rein mathematischen Sicht der Welt.
Wir verstehen auch das Interesse eines solchen Ansatzes für die Verantwortlichen der Sozialverwaltung. Sie müssen sich bei der Definition von Kontrollrichtlinien nicht mehr mit möglichen Widerständen seitens der Controller-Teams auseinandersetzen. Sie müssen den Controller-Teams nicht einmal mehr erklären, wie diese Richtlinien erstellt wurden, sondern werden lediglich gebeten, die Dateien mit der niedrigsten Bewertung mithilfe eines Black-Box-Algorithmus zu überprüfen.
Das Problem ist nicht technischer, sondern politischer Natur
Seit zwei Jahren dokumentieren wir die Verallgemeinerung von Bewertungsalgorithmen zu Kontrollzwecken in unserem sozialen System. Wie die CNAM haben wir gezeigt, dass sie heute bei der Caisse Nationale des Allocations Familiales (CNAF), der Altersversicherung oder sogar der Mutualité Sociale Agricole eingesetzt werden und bei France Travail getestet wurden.
Seit zwei Jahren warnen wir vor den Risiken, die mit der Verbreitung dieser Techniken verbunden sind, sowohl im Hinblick auf digitale Überwachung und Diskriminierung als auch auf institutionelle Gewalt. Vor allem haben wir immer wieder betont, dass diese Algorithmen unabhängig von den gesellschaftlichen Institutionen nur einem Ziel dienen: die Organisation einer Politik der Belästigung und Unterdrückung der prekärsten Menschen zu erleichtern, und dies dank der Undurchsichtigkeit und dem wissenschaftlichen Anstrich, den sie bieten Verantwortliche für die Sozialverwaltung.
Dies wurde nun für zwei Verwaltungen nachgewiesen. Für den CNAM mit diesem Artikel. Aber auch für die CNAF, deren Bewertungsalgorithmus wir erst vor einem Jahr veröffentlicht haben und der auf den persönlichen Daten von mehr als 30 Millionen Menschen basiert und die wir im vergangenen Oktober zusammen mit 14 anderen Organisationen vor dem Staatsrat wegen gezielter Angriffe auf Menschen angegriffen haben in prekären Situationen, mit Behinderungen oder auch alleinerziehende Mütter.
Wir hoffen, dass dieser Artikel, der mit den auf der CNAF veröffentlichten Artikeln in Zusammenhang steht, wird am Ende zeigen, dass es nicht notwendig ist, auf den Code aller dieser Algorithmen zuzugreifen, um ihre sozialen Konsequenzen zu kennen. Denn das Problem ist nicht technischer, sondern politischer Natur.
Verkauft im Namen des sogenannten „Kampfes gegen Sozialbetrug“, Diese Algorithmen sind in Wirklichkeit darauf ausgelegt, Überzahlungen oder ungerechtfertigte Zahlungen zu erkennen, die laut allen Studien vor allem auf Menschen in prekären Verhältnissen in sehr ernsten Schwierigkeiten anfallen. Tatsächlich sind diese Überzahlungen größtenteils das Ergebnis unbeabsichtigter Meldefehler, die auf zwei Hauptfaktoren zurückzuführen sind: die Komplexität der Regeln für die Zuweisung sozialer Mindestbeträge (RSA, AAH, C2SG usw.) und persönliche Situationen großer Instabilität (persönlicher, beruflicher oder administrativer Art). . Ein ehemaliger CNAF-Beamter erklärte: „ Die Industriewerte werden erklärt […] durch die Komplexität der Leistungen, die große Menge an Informationen, die zur Feststellung der Ansprüche herangezogen werden, und die zunehmende Instabilität der beruflichen Situation der Leistungsempfänger “, was vor allem für „ Leistungen im Zusammenhang mit Prekarität […] hängt stark von der familiären, finanziellen und beruflichen Situation der Anspruchsberechtigten ab ».
Mit anderen Worten: Diese Algorithmen können nicht verbessert werden, da sie nur die technische Übersetzung einer Politik sind, die darauf abzielt, die prekärsten Menschen unter uns zu schikanieren und zu unterdrücken.
Lutter
Die Heuchelei und Gewalt dieser Praktiken und der ihnen zugrunde liegenden Richtlinien müssen angeprangert und diese Algorithmen aufgegeben werden. Die Verantwortlichen, die ihre Wünsche einfordern, sie bestätigen und fördern, müssen sich für ihre Verantwortung verantworten.
Um uns dabei zu helfen, diesen Missbrauch weiterhin zu dokumentieren, können Sie uns eine Spende zukommen lassen. Wir rufen auch diejenigen auf, die – ob Begünstigte des C2SG oder nicht – gegen diesen Algorithmus und allgemeiner gegen die Kontrollrichtlinien des CNAM vorgehen wollen. Versicherte, Kollektive, Gewerkschaften, CNAM-Mitarbeiter, Sie können uns unter [email protected] kontaktieren, um gemeinsam über die Folgemaßnahmen zu dieser Veröffentlichung nachzudenken.
