C’était octobre 2021, et Imane, 44 ans, mère de trois enfants, souffrait toujours de l’opération abdominale qu’elle avait subie quelques semaines plus tôt. Elle ne voulait certainement pas être là où elle se trouvait : assise dans une petite cabine dans un immeuble proche du centre de Rotterdam, pendant que deux enquêteurs l’interrogeaient. Mais elle devait prouver son innocence sous peine de perdre l’argent qu’elle utilisait pour payer son loyer et acheter de la nourriture.

Imane a émigré du Maroc aux Pays-Bas avec ses parents lorsqu’elle était enfant. Elle a commencé à recevoir des prestations à l’âge adulte, en raison de problèmes de santé, après avoir divorcé de son mari. Depuis, elle a du mal à s’en sortir utiliser les allocations sociales et des travaux de nettoyage sporadiques. Imane dit qu’elle ferait n’importe quoi pour quitter le système d’aide sociale, mais les maux de dos chroniques et les étourdissements rendent difficile la recherche et le maintien d’un emploi.

En 2019, après que ses problèmes de santé l’ont obligée à quitter un emploi de ménage, Imane a attiré pour la première fois l’attention des enquêteurs chargés des fraudes de Rotterdam. Elle a été interrogée et a perdu ses allocations pendant un mois. «Je ne pouvais payer que le loyer», dit-elle. Elle se souvient du stress ressenti lorsqu’elle empruntait de la nourriture à ses voisins et demandait à son fils de 16 ans, qui était encore à l’école, de travailler pour l’aider à payer d’autres factures.

Aujourd’hui, deux ans plus tard, elle était à nouveau soupçonnée. Dans les jours qui ont précédé cette réunion au service social de Rotterdam, Imane avait minutieusement préparé des documents : son contrat de location, des copies de ses passeports néerlandais et marocain et des mois de relevés bancaires. N’ayant pas d’imprimante à la maison, elle s’était rendue à la bibliothèque pour les imprimer.

Dans le bureau exigu, elle a regardé les enquêteurs feuilleter la pile de documents. L’un d’eux, un homme, parlait fort, dit-elle, et elle avait honte alors que ses accusations résonnaient à l’extérieur des minces murs de la cabine. Ils lui ont dit qu’elle avait apporté de mauvais relevés bancaires et ont fait pression sur elle pour qu’elle se connecte à son compte devant eux. Après son refus, ils ont suspendu ses prestations jusqu’à ce qu’elle envoie les déclarations correctes deux jours plus tard. Elle était soulagée, mais aussi effrayée. « L’ambiance lors des réunions avec la municipalité est terrible », dit-elle. Cette épreuve, ajoute-t-elle, a eu des conséquences néfastes. “Il m’a fallu deux ans pour m’en remettre. J’étais mentalement détruit.”

Imane, qui a demandé que son vrai nom ne soit pas utilisé par crainte de représailles de la part des autorités municipales, n’est pas la seule. Chaque année, des milliers de personnes à Rotterdam font l’objet d’une enquête menée par des agents chargés de la fraude sociale, qui recherchent les individus qui abusent du système. Depuis 2017, la ville utilise un algorithme d’apprentissage automatique, formé sur 12 707 enquêtes antérieures, pour l’aider à déterminer si des individus sont susceptibles de commettre une fraude à l’aide sociale.

L’algorithme d’apprentissage automatique génère un score de risque pour chacun des quelque 30 000 bénéficiaires de l’aide sociale de Rotterdam, et les autorités municipales tiennent compte de ces résultats lorsqu’elles décident sur qui enquêter. Les antécédents et l’histoire personnelle d’Imane signifiaient que le système la classait comme « à haut risque ». Mais le processus par lequel elle a été signalée fait partie d’un projet en proie à des problèmes éthiques et à des défis techniques. En 2021, la ville a suspendu son utilisation du modèle de notation des risques après des auditeurs externes soutenus par le gouvernement ont été trouvés qu’il n’était pas possible pour les citoyens de savoir s’ils avaient été signalés par l’algorithme et que certaines des données utilisées risquaient de produire des résultats biaisés.