Les algorithmes ont-ils des préjugés ? L'histoire cachée des IA biaisées
Intelligence artificielle, recrutement, SIRH et transformation digitale des ressources humaines : quand nos erreurs d'hier deviennent les décisions automatisées de demain.
Je me souviens de cette époque où l'on croyait dur comme fer que l'intelligence artificielle serait notre alliée ultime. Une entité neutre, sans émotion, sans parti pris, qui trancherait les décisions avec une objectivité que nous, pauvres humains, étions incapables d'atteindre.
J'étais fascinée par cette promesse d'un monde plus rationnel, où les machines nous délivreraient enfin de nos biais inconscients.
Puis, j'ai découvert l'histoire d'Amazon.
Amazon et l'algorithme sexiste
L'histoire aurait pu être une révolution. Un système de recrutement capable de repérer les meilleurs talents sans fatigue, sans influence extérieure, sans discrimination.
Plus besoin de recruteurs biaisés, pensait-on. L'algorithme analyserait des milliers de CV et identifierait les profils les plus prometteurs.
Mais quelque chose ne s'est pas passé comme prévu.
À partir de 2014, Amazon développe un outil expérimental d'évaluation des candidatures. En 2015, ses équipes découvrent qu'il ne traite pas équitablement les candidatures masculines et féminines pour certains postes techniques.
Pourquoi ?
Parce que le système avait appris à partir de candidatures reçues au cours des dix années précédentes. Or, dans ces métiers, les hommes étaient largement majoritaires.
L'algorithme avait donc appris à associer certaines caractéristiques masculines aux profils recherchés. Il pénalisait notamment des CV contenant certaines références à des activités féminines.
Personne ne lui avait explicitement demandé de discriminer les femmes.
Il avait simplement appris à reproduire les régularités du passé.
Amazon a finalement abandonné ce projet expérimental. L'affaire, révélée par Reuters en 2018, ne permet pas d'affirmer que des centaines de femmes ont effectivement été écartées d'embauches par ce système. Elle démontre néanmoins quelque chose de fondamental : une machine peut apprendre une discrimination sans qu'aucune règle discriminatoire ait été volontairement programmée.
Et c'est peut-être ce qui me dérange le plus.
Nous pensions lui enseigner à reconnaître les compétences. Nous lui avions surtout appris à reconnaître nos habitudes.
La police prédictive et le jugement automatisé
J'aurais aimé croire que cette histoire était une exception.
Mais non.
Les algorithmes biaisés ne se contentent pas de trier des CV. Ils peuvent aussi contribuer à évaluer des personnes dans des situations où les conséquences sont autrement plus graves.
L'histoire qui suit n'est pas sans rappeler une nouvelle de Philip K. Dick.
Aux États-Unis, le logiciel COMPAS a été utilisé pour évaluer le risque de récidive de personnes impliquées dans des procédures judiciaires.
En 2016, une enquête de ProPublica révèle des disparités préoccupantes.
Dans les données analysées, les prévenus noirs qui ne récidivaient pas étaient plus fréquemment classés à tort comme présentant un risque élevé. À l'inverse, les prévenus blancs qui récidivaient étaient plus fréquemment classés à tort comme présentant un risque faible.
L'entreprise commercialisant COMPAS a contesté cette interprétation, invoquant notamment d'autres mesures d'équité statistique.
Et cette controverse est particulièrement intéressante : deux méthodes peuvent produire des appréciations différentes de ce qui constitue un algorithme équitable.
La question n'est donc pas seulement de savoir si un modèle est statistiquement performant.
Elle est aussi de déterminer pour qui il se trompe, à quelle fréquence et avec quelles conséquences.
Les données judiciaires ne sont pas une photographie parfaitement neutre de la société. Elles reflètent également les pratiques de contrôle, les décisions institutionnelles et les inégalités qui ont pu marquer leur constitution.
L'algorithme peut alors transformer ces traces historiques en prédictions individuelles.
Une probabilité devient un score. Un score devient une recommandation. Et une recommandation peut finir par peser sur une décision humaine.
Le danger apparaît lorsque nous oublions qu'une prédiction n'est pas une vérité.
L'IA qui ne vous reconnaît pas
Imaginez maintenant une situation beaucoup plus ordinaire.
Vous achetez un smartphone équipé d'un dispositif de reconnaissance faciale. Vous configurez votre visage. L'appareil refuse de vous reconnaître.
Vous recommencez. Vous changez l'éclairage, l'angle, la position.
Toujours rien.
Une autre personne essaie. Le système fonctionne immédiatement.
Cette scène est illustrative, mais les différences de performance selon les populations ont, elles, été documentées.
En 2018, Joy Buolamwini et Timnit Gebru publient l'étude Gender Shades, consacrée aux disparités de précision de trois systèmes commerciaux de classification du genre à partir d'images de visages.
Les résultats sont frappants.
Pour les hommes à peau claire, les taux d'erreur observés ne dépassaient pas 0,8 %. Pour les femmes à peau foncée, ils atteignaient, selon les systèmes, entre 20,8 % et 34,7 %.
Il ne s'agissait pas d'un test de déverrouillage de smartphone ni d'identification d'une personne, mais de classification du genre. Cette distinction est importante.
Elle n'enlève rien au constat : des systèmes présentés comme performants pouvaient offrir des résultats radicalement différents selon les groupes évalués.
L'étude a contribué à mettre en lumière le rôle des données d'entraînement et des protocoles d'évaluation.
Et lorsque des technologies biométriques sont utilisées pour surveiller ou cibler des populations, comme dans les dispositifs de surveillance visant les Ouïghours en Chine, la question dépasse largement la fiabilité technique.
Elle devient politique, sociale et profondément humaine.
Une technologie qui classe les êtres humains n'est jamais anodine. Elle dépend des catégories qu'on lui demande d'utiliser et des usages que l'on fait de ses résultats.
L'IA et les ressources humaines : nos biais, les siens
Revenons à l'entreprise.
À l'heure où l'intelligence artificielle s'invite dans les recrutements, la gestion des talents, la mobilité interne et les évaluations professionnelles, je voudrais que l'on parle davantage de ce qu'elle apprend réellement.
Un algorithme peut identifier des corrélations dans les données historiques.
Mais une corrélation n'est pas une compétence. Une habitude de recrutement n'est pas une preuve de performance. Et une décision managériale passée n'est pas nécessairement une décision juste.
Prenons une entreprise dans laquelle les fonctions de direction ont historiquement été occupées majoritairement par des hommes.
Si un système apprend à reconnaître les profils de dirigeants à partir de ces seules trajectoires, que va-t-il considérer comme un parcours prometteur ?
Autre exemple : une organisation valorise depuis vingt ans les salariés qui restent tard au bureau.
Elle associe implicitement la disponibilité permanente à l'engagement professionnel.
Un outil d'évaluation construit sur ces critères risque de reproduire cette association, même si elle ne mesure ni la qualité du travail ni la contribution réelle des collaborateurs.
Et que dire d'une personne introvertie, excellente dans ses missions, mais moins visible dans les réunions ?
Ou d'un salarié dont le parcours a été interrompu par un congé parental ?
Ou encore d'une collaboratrice dont les compétences n'ont jamais été reconnues parce qu'elle n'a pas bénéficié des mêmes opportunités de développement ?
Si ces situations ont été mal interprétées dans le passé, pourquoi deviendraient-elles justes simplement parce qu'un logiciel les analyse ?
L'IA ne discrimine pas par intention. Elle peut reproduire des biais présents dans les données, dans les critères choisis ou dans les objectifs qu'on lui fixe.
Et lorsqu'elle le fait à grande échelle, les conséquences peuvent être considérables.
Le piège de la transformation digitale RH : numériser trente ans d'erreurs
C'est ici que le sujet devient, à mes yeux, particulièrement important.
Car toutes les entreprises ne développent pas leur propre intelligence artificielle.
En revanche, de plus en plus d'entre elles modernisent leur système d'information des ressources humaines.
Elles abandonnent leurs anciens logiciels, centralisent leurs données, automatisent leurs workflows et déploient des outils de pilotage.
Sur le principe, c'est une excellente évolution.
Mais une question me semble trop rarement posée :
Qu'allons-nous réellement transférer dans ce nouveau système ?
Des données fiables, des pratiques cohérentes et des processus maîtrisés ?
Ou trente ans d'habitudes, d'approximations et de décisions jamais remises en question ?
Quand les erreurs historiques deviennent des données de référence
Imaginons une entreprise qui prépare la migration de son ancien système RH vers un SIRH moderne.
Elle possède des milliers de données : classifications, évaluations, rémunérations, formations, promotions, parcours professionnels, compétences déclarées.
Tout semble prêt.
Mais regardons de plus près.
Certaines compétences n'ont jamais été actualisées. Des salariés ont été classés dans des catégories devenues obsolètes. Des écarts de rémunération historiques n'ont jamais été expliqués. Des évaluations reflètent davantage les préférences de certains managers que des critères professionnels objectivables.
Et des collaborateurs n'ont jamais eu accès aux mêmes formations ou aux mêmes opportunités de mobilité.
Ces données racontent une histoire.
Mais racontent-elles une histoire juste ?
Si nous les transférons sans les interroger, le nouveau SIRH conservera les mêmes incohérences.
Et si nous utilisons ensuite ces informations pour alimenter des recommandations automatisées ou des modèles prédictifs, nous risquons de leur donner une nouvelle portée.
Digitaliser une mauvaise pratique ne la rend pas meilleure. Cela permet simplement de la reproduire plus vite, plus longtemps et à plus grande échelle.
Un exemple : la gestion prévisionnelle des compétences
Imaginons qu'une entreprise souhaite identifier automatiquement ses futurs managers.
Elle s'appuie sur les parcours de ses responsables actuels pour déterminer les caractéristiques d'un salarié à haut potentiel.
Mais historiquement, les promotions ont favorisé les collaborateurs les plus visibles, les plus disponibles ou les plus proches des décideurs.
Le système peut alors apprendre que ces caractéristiques constituent des indicateurs de potentiel.
Il risque de sous-évaluer des salariés pourtant compétents, simplement parce que leurs parcours diffèrent du modèle historique.
L'entreprise pense avoir modernisé sa gestion des talents.
Elle a peut-être simplement automatisé ses anciennes préférences.
Et le problème ne concerne pas uniquement l'intelligence artificielle.
Un SIRH parfaitement classique, sans apprentissage automatique, peut reproduire les mêmes erreurs à travers ses règles de gestion, ses critères de sélection et ses circuits de validation.
Le risque ne naît pas avec l'IA. L'IA peut l'amplifier.
Avant de migrer un SIRH, il faut parfois remettre en question l'organisation elle-même
Une transformation digitale RH ne devrait pas commencer uniquement par une question technique.
Elle devrait commencer par une interrogation sur la qualité des pratiques existantes.
Pourquoi utilisons-nous ces critères ?
Qui les a définis ?
Sont-ils encore pertinents ?
Permettent-ils réellement d'évaluer les compétences, les performances ou les besoins de développement ?
Certaines données doivent évidemment être conservées pour des raisons légales, administratives ou historiques. Il ne s'agit pas d'effacer arbitrairement le passé.
Il s'agit de distinguer les informations qui doivent être conservées, celles qui peuvent être corrigées, celles qui doivent être contextualisées et celles qui sont réellement pertinentes pour de nouveaux usages.
La migration constitue alors une occasion précieuse de revoir les référentiels métiers, les grilles d'évaluation, les classifications et les règles de décision.
Ce travail est moins spectaculaire qu'une démonstration d'intelligence artificielle.
Il est pourtant souvent bien plus déterminant.
Car la qualité d'un système ne dépend pas uniquement de ses fonctionnalités.
Elle dépend aussi de la qualité des décisions humaines qui ont présidé à sa conception.
Et le droit dans tout cela ?
La question n'est plus seulement éthique.
Le RGPD encadre déjà les traitements de données personnelles, le profilage et les décisions entièrement automatisées produisant des effets juridiques ou affectant significativement les personnes.
Son article 22 prévoit un encadrement particulièrement strict de ces décisions, avec des exceptions limitées et des garanties spécifiques.
La CNIL rappelle notamment que les outils de tri et de classement des candidatures peuvent soulever des difficultés lorsque les candidats sont effectivement écartés sans véritable intervention humaine.
Le règlement européen sur l'intelligence artificielle va également dans ce sens.
Il classe notamment certains systèmes d'IA destinés au recrutement, à l'évaluation des candidats ou à la gestion des travailleurs parmi les systèmes à haut risque, avec des obligations spécifiques et un calendrier d'application à prendre en compte.
Cela ne signifie pas que tous les SIRH sont des systèmes d'IA à haut risque.
Un logiciel de gestion administrative classique ne devient pas automatiquement un système d'intelligence artificielle parce qu'il automatise des tâches.
En revanche, dès lors qu'un outil analyse, classe, prédit ou recommande des décisions concernant des personnes, il faut examiner précisément son fonctionnement, son usage et les règles applicables.
Et surtout, une validation humaine purement formelle ne suffit pas à garantir qu'une décision soit réellement maîtrisée.
Encore faut-il que la personne chargée de la validation comprenne les critères utilisés, dispose des informations nécessaires et puisse effectivement contester ou modifier la recommandation.
Alors, que faire ? Cinq actions concrètes
Je ne crois pas qu'il faille renoncer à l'intelligence artificielle ni à la digitalisation des ressources humaines.
Je crois, au contraire, que ces transformations peuvent nous permettre de corriger des pratiques anciennes.
À condition de ne pas confondre modernisation technique et progrès organisationnel.
1. Auditer les données avant de les migrer. Vérifier leur qualité, leur exactitude, leur pertinence et leur origine. Identifier les anomalies, les critères obsolètes et les écarts qui nécessitent une analyse.
2. Réexaminer les règles de gestion RH. Ne pas reproduire automatiquement les anciens circuits de validation, les critères de promotion ou les méthodes d'évaluation sans s'interroger sur leur justification.
3. Tester les résultats des systèmes automatisés. Rechercher les différences de traitement injustifiées, comparer les résultats entre populations lorsque cela est pertinent et légalement possible, et documenter les contrôles réalisés.
4. Organiser une véritable supervision humaine. Les personnes qui utilisent les recommandations algorithmiques doivent pouvoir les comprendre, les remettre en cause et prendre des décisions différentes.
5. Associer les métiers, les RH, la DSI et les acteurs de la conformité. Une transformation SIRH n'est pas seulement un projet informatique. C'est un projet d'organisation, de gouvernance et parfois de remise en question des pratiques managériales.
Postface : un regard critique plutôt qu'un aveuglement technologique
J'aurais aimé écrire sur les miracles de l'intelligence artificielle.
Sur la manière dont elle révolutionne le monde du travail, optimise la productivité, facilite le recrutement et transforme les ressources humaines.
Mais tout cela, d'autres l'écrivent déjà. À longueur de colonnes et de publications LinkedIn.
Alors j'ai préféré parler de ce que l'on tait.
Les biais algorithmiques ne sont pas une fatalité. Ils ne sont pas non plus une particularité mystérieuse des machines.
Ils peuvent être le reflet de nos décisions, de nos organisations et de nos erreurs.
Et c'est précisément pour cette raison que nous avons le pouvoir d'agir.
Mais encore faut-il accepter de regarder le passé autrement que comme une base de données à importer.
La prochaine fois qu'une entreprise annoncera fièrement avoir modernisé son SIRH, automatisé ses évaluations ou déployé une intelligence artificielle pour identifier ses talents, j'aimerais que l'on pose une question supplémentaire.
Non pas seulement : « Que sait faire ce nouvel outil ? »
Mais aussi :
« Sommes-nous certains de ne pas lui avoir transmis toutes les erreurs que nous aurions justement dû corriger ? »
Car le véritable progrès ne consiste pas à confier nos anciennes décisions à des machines plus rapides.
Il consiste à apprendre à prendre de meilleures décisions.
Et si l'intelligence artificielle doit nous aider à construire l'avenir, évitons au moins de lui demander de reproduire aveuglément le passé.



