Les technologies d’IA et les algorithmes se sont intégrés profondément dans notre quotidien. Dans un monde idéal, les algorithmes seraient des séquences logiques et mathématiques pures, sans préjugés et justes. En réalité, cependant, les systèmes algorithmiques ne sont ni neutres ni objectifs, car ils reproduisent les schémas de discrimination présents dans la société. L’utilisation d’algorithmes sans garde-fous peut amplifier les inégalités, créer des effets d’échelle et des boucles de rétroaction qui renforcent la discrimination à l’encontre des femmes et de certains groupes.
Les exemples européens montrent les risques associés aux systèmes automatisés non précautionneusement implémentés, pouvant restreindre les droits fondamentaux et l’accès aux services publics. Aux Pays-Bas, des familles ont été sanctionnées injustement pour fraude aux allocations familiales. Un simple soupçon, basé sur les indicateurs de risque biaisés, suffisait aux autorités pour sanctionner des familles pour fraude. La discrimination algorithmique peut également se produire dans le monde du travail, où des stéréotypes de genre influencent l’affichage des offres d’emploi et les décisions de promotion ou de licenciement. Dans le secteur de la santé, le « gender data gap » en est un exemple frappant, où le manque de données sur les femmes et l’utilisation de données masculines comme norme entraînent des décisions biaisées, affectant négativement le diagnostic et le traitement des patientes.
En Suisse, en particulier dans le canton de Vaud, selon l’atlas d’Algorithmwatch les algorithmes sont utilisés par les autorités publiques dans les déclarations d’impôts, les demandes d’aide sociale, la détection de fraudes, et dans l’assistance policière, notamment.
Les obligations des entités publiques pour la protection des droits fondamentaux doivent être particulièrement fines, afin que les administré-e-s soient protégé-e-s partout, notamment là où les algorithmes influencent des décisions importantes. Les administrations doivent rendre l’utilisation des algorithmes transparente pour permettre aux individus de contester les décisions prises.
Afin d’assurer que l’utilisation des algorithmes dans le secteur public soit transparente, éthique et bénéfique pour toutes et tous, le présent postulat demande au Conseil d’Etat de :
- Créer un registre public des systèmes de prise de décision algorithmique : répertorier les systèmes algorithmiques utilisés à des fins décisionnelles aux niveaux cantonal et communal. Ce registre permettrait à la société civile, à l’administration, aux chercheuses et chercheurs, et aux citoyennes et citoyens de comprendre et surveiller leur utilisation, et de garantir un débat public informé.
- Mettre en œuvre un processus d’analyse systématique de risques d’utilisation des systèmes algorithmiques à des fins décisionnelles dans le secteur public : évaluer les risques éthiques et sociaux des systèmes utilisés avant et tout au long de leur utilisation. Définit une liste de domaines dans lesquels il ne faudrait pas déléguer la décision à un système algorithmique.
- Garantir un contrôle individuel et démocratique : outre la transparence, il faut garantir un contrôle efficace de l’utilisation des systèmes algoithmiques et une obligation de rendre des comptes, avec l’instauration de procédures, de voies de recours et d’indemnisation pour les personnes affectées.
Sources :
