L’impact de l’algorithme sur la communauté rom de Serbie a été dramatique. Ahmetović dit que sa sœur a également vu ses prestations sociales réduites depuis l’introduction du système, tout comme plusieurs de ses voisins. “Presque toutes les personnes vivant dans des campements roms dans certaines municipalités ont perdu leurs allocations”, explique Danilo Ćurčić, coordinateur du programme d’A11, une organisation à but non lucratif serbe qui fournit une aide juridique. A11 essaie d’aider les Ahmetović et plus de 100 autres familles roms à récupérer leurs allocations.
Mais d’abord, Ćurčić doit savoir comment fonctionne le système. Jusqu’à présent, le gouvernement a rejeté ses demandes de partage du code source pour des raisons de propriété intellectuelle, affirmant que cela violerait le contrat qu’ils ont signé avec la société qui a réellement construit le système, dit-il. Selon Ćurčić et un contrat gouvernemental, une société serbe appelée Saga, spécialisée dans l’automatisation, a participé à la construction du système de carte sociale. Ni Saga ni le ministère serbe des Affaires sociales n’ont répondu aux demandes de commentaires de WIRED.
En tant que govtech Le secteur s’est développé, tout comme le nombre d’entreprises vendant des systèmes de détection de fraude. Et toutes ne sont pas des startups locales comme Saga. Accenture, la plus grande entreprise publique d’Irlande, qui emploie plus d’un demi-million de personnes dans le monde, a travaillé sur des systèmes anti-fraude dans toute l’Europe. En 2017, Accenture a aidé la ville néerlandaise de Rotterdam à développer un système qui calcule les scores de risque pour chaque bénéficiaire de l’aide sociale. Une entreprise document décrivant le projet original, obtenu par Lighthouse Reports et WIRED, fait référence à un système d’apprentissage automatique construit par Accenture qui a passé au peigne fin des données sur des milliers de personnes pour évaluer la probabilité que chacune d’entre elles commette une fraude à l’aide sociale. “La ville pourrait alors trier les bénéficiaires de l’aide sociale par ordre de risque d’illégitimité, afin que les personnes les plus à risque puissent être étudiées en premier”, indique le document.
Les fonctionnaires de Rotterdam ont a dit Le système d’Accenture a été utilisé jusqu’en 2018, lorsqu’une équipe du département Research and Business Intelligence de Rotterdam a repris le développement de l’algorithme. Lorsque Lighthouse Reports et WIRED ont analysé une version 2021 de l’algorithme de fraude de Rotterdam, il est devenu clair que le système discrimine sur la base de la race et du sexe. Et environ 70 % des variables du système de 2021 – des catégories d’informations telles que le sexe, la langue parlée et les antécédents de santé mentale que l’algorithme a utilisées pour calculer la probabilité qu’une personne commette une fraude à l’aide sociale –semblait être identiques à ceux de la version d’Accenture.
Interrogé sur les similitudes, le porte-parole d’Accenture, Chinedu Udezue, a déclaré que le “modèle de start-up” de l’entreprise avait été transféré à la ville en 2018 à la fin du contrat. Rotterdam a cessé d’utiliser l’algorithme en 2021, après auditeurs trouvés que les données utilisées risquaient de créer des résultats biaisés.
Les cabinets de conseil mettent généralement en œuvre des modèles d’analyse prédictive, puis partent au bout de six ou huit mois, explique Sheils, responsable européen des services publics chez Accenture. Il dit que son équipe aide les gouvernements à éviter ce qu’il décrit comme la malédiction de l’industrie : les “faux positifs”, terme de Sheils désignant les occurrences ruineuses d’un algorithme signalant à tort une personne innocente pour enquête. “Cela peut sembler une façon très clinique de voir les choses, mais techniquement parlant, c’est tout ce qu’ils sont.” Sheils affirme qu’Accenture atténue ce problème en encourageant les clients à utiliser l’IA ou l’apprentissage automatique pour améliorer, plutôt que remplacer, les décideurs humains. “Cela signifie s’assurer que les citoyens ne subissent pas de conséquences négatives significatives uniquement sur la base d’une décision d’IA.”
Cependant, les travailleurs sociaux qui sont invités à enquêter sur les personnes signalées par ces systèmes avant de prendre une décision finale n’exercent pas nécessairement un jugement indépendant, déclare Eva Blum-Dumontet, consultante en politique technologique qui a étudié les algorithmes dans le système de protection sociale britannique pour le groupe de campagne Privacy International. . “Cet humain va toujours être influencé par la décision de l’IA”, dit-elle. “Avoir un humain dans la boucle ne signifie pas que l’humain a le temps, la formation ou la capacité de remettre en question la décision.”
