【Résumé】Avec l’avancement continu de la technologie algorithmique, le niveau de prise de décision automatisée prise par les plateformes Internet après la collecte des données des utilisateurs s’est également amélioré. La discrimination et les préjugés de longue date dans la société humaine sont plus intensifiés et solidifiés sur Internet, mais cette discrimination n’est pas inhérente à la technologie elle-même, mais constitue un traitement injuste après intervention humaine et jugement de valeur. En d’autres termes, cet article se concentre sur la discrimination algorithmique moderne elle-même, classe ses types, discute de l’intervention humaine derrière la prise de décision automatique et la régule.

【Mots-clés】algorithmes ; Discrimination artificielle ; Régulation

1. Définition de la connotation de la discrimination algorithmique

(1) Discrimination algorithmique dans le contexte de la société moderne

Les algorithmes proviennent de l’arithmétique et sont un terme général systématique désignant les méthodes de calcul. Plus précisément, algorithme désigne une méthode de résolution d’un problème via un programme informatique avec une méthode ou un modèle défini, limité et efficace. L’émergence des algorithmes est étroitement liée à l’informatique, et après l’entrée dans l’ère du big data, les algorithmes ont complètement transformé la manière de produire socialement, de la vie personnelle à la gestion gouvernementale au niveau social, et le système décisionnel avec des algorithmes en tant que noyau a commencé à remplacer le modèle de gouvernance traditionnel.

La société moderne a toujours cherché à faire correspondre les ressources et les demandes à faible coût et efficace, et la plateforme Internet basée sur des algorithmes permet aux ressources de répondre efficacement aux besoins, et la société se développe rapidement. Tout en apportant une grande efficacité, les algorithmes rencontrent également des problèmes complexes en raison de l’intervention humaine et des barrières techniques. Ce phénomène n’est pas causé par l’algorithme lui-même, mais par la tendance injuste à ajouter des jugements de valeur humains à l’analyse des données. La discrimination algorithmique n’est pas strictement un terme dans le système non scientifique, principalement présent dans les reportages et les commentaires sociaux, et il n’existe pas d’opinion unifiée sur son concept. La discrimination algorithmique désigne les décisions multiples, répétitives, prédictives et procédurales prises par les plateformes Internet sur des groupes spécifiques via l’analyse des données d’informations personnelles, et le « big data killing » est un phénomène de discrimination de prix.

(2) Les causes profondes et les traditions de la discrimination

La perception des algorithmes est passée de la neutralité au biais, et le processus automatique de prise de décision algorithmique était autrefois considéré comme une exécution étape par étape d’une commande de programme, dans laquelle il est difficile de voir l’ombre de l’intervention humaine, ce qui le considère objectivement neutre. L’affaire « Kuaibo » de 2016 a encore confirmé la compréhension de la neutralité des algorithmes, et les principales raisons défendues par le PDG de l’entreprise, Wang Xin, étaient des affirmations telles que la « neutralité technique » ou « l’innocence technique ». Cependant, selon la Cour, la neutralité de la technologie de lecture vidéo ne contredit pas la poursuite d’intérêts commerciaux par les entreprises utilisant cette technologie, qui est clairement un acte commercial plutôt qu’un acte technique.

Sur le marché hors ligne, la discrimination tarifaire n’est pas rare. Les modèles de vente personnalisés tels que la négociation, la tarification en temps partagé et la tarification régionale sont répandus, et les méthodes de vente diversifiées utilisées par les commerçants pour maximiser les profits sont également conformes aux lois économiques. Cependant, les consommateurs sur les plateformes en ligne ont longtemps résisté à ce modèle, notamment que les prix pour les anciens clients et les produits de haute qualité sont plus élevés que le « prix ordinaire », ce qui viole le principe de bonne foi et d’éthique commerciale, et encore plus les véritables souhaits des consommateurs.

Les décisions et analyses prises par les algorithmes sont essentiellement des répliques de la pensée du cerveau humain, et la pensée humaine est naturellement discriminatoire et indélébile par des biais indélébiles. Comme l’a dit le professeur Pasqueer : « Les algorithmes n’éliminent pas la discrimination fondamentale, et les hypothèses négatives et infondées peuvent converger vers des biais. Les algorithmes sont écrits par des humains, et les valeurs humaines sont intégrées dans ces logiciels. Ils introduisent souvent et nécessairement des biais humains dans l’utilisation des données. »^[]

2. Types et manifestations de la discrimination algorithmique

La discrimination algorithmique subie par le public est multitype et peut être classifiée, et peut être divisée en discrimination initiale et discrimination d’alimentation selon le moment où la discrimination a eu lieu^[]。

La discrimination originale fait référence au fait qu’au début du développement et de la conception de l’algorithme, le développeur intègre ses choix de valeurs biaisés dans le code ou substitue subtilement ce biais dans l’algorithme, c’est-à-dire la division du groupe par intervention humaine lors de la définition des règles. Tant qu’une telle règle est saisie dans la conception de l’algorithme, le résultat inévitable sera naturellement obtenu après l’exécution du programme de code. Par exemple, après que l’algorithme du logiciel de recrutement ait analysé que l’utilisateur est une femme, il ne favorisera pas les emplois bien rémunérés ou ceux que le développeur juge inadaptés aux femmes ; Après que le logiciel de shopping en ligne analyse que la couleur de peau de l’utilisateur est noire, il cible les publicités pour « embellir la couleur de peau », et la tendance à la valeur du développeur porte atteinte au droit de l’utilisateur à l’égalité via des algorithmes.

La discrimination liée à l’alimentation est plus courante dans la société moderne, par exemple, les logiciels de covoiturage coûtent plus cher aux utilisateurs fidèles qu’aux utilisateurs ordinaires ; Le logiciel de shopping en ligne analyse les données de commande de l’utilisateur et pousse la fourchette de prix des produits, etc. En résumé, la discrimination d’alimentation fait référence au résultat externe d’une discrimination artificielle qui expose et manifeste progressivement la discrimination humaine par le traitement des données par des algorithmes, le lien avec les paramètres ou objectifs initialement fixés, et l’auto-apprentissage. Tant que le système obtient des données, il peut s’auto-apprendre grâce à des algorithmes et analyser les caractéristiques, préférences, habitudes, tendances, etc. des utilisateurs dans une situation imperceptible, bien qu’il améliore l’efficacité dans une certaine mesure, mais approfondit aussi le modèle d’inégalités existant et crée un « cocon d’information » pour les utilisateurs.

3. La situation actuelle de la discrimination algorithmique

L’algorithme dont la « destruction par big data » est la principale manifestation viole le principe fondamental de bonne foi en droit civil et porte gravement atteinte au droit des utilisateurs de savoir et de choisir. Bien que la discrimination algorithmique soit très courante, aucun cas de compensation fondée sur la discrimination tarifaire n’a été observé dans la pratique judiciaire de notre pays. Il est clair qu’à l’heure actuelle, notre pays n’a pas formulé de législation spécifique visant la discrimination algorithmique, et la réglementation possible de la discrimination algorithmique est la Loi sur la protection des droits des consommateurs, la Loi sur le commerce électronique, la Loi anti-monopole, la Loi sur les prix et la Loi sur la protection des informations personnelles. Après recherche, il est constaté que la pratique judiciaire de notre pays ne soutient pas la revendication de contrefaçon par les commerçants fondée sur le droit des consommateurs au commerce équitable ou au droit de savoir, notamment face aux barrières techniques des algorithmes, la difficulté à présenter des preuves et l’absence de fondement pour revendiquer des droits conduisent directement à des difficultés dans la protection des droits.

Avec l’attention continue du public et des spécialistes sur cette question, l’article 21 des « Dispositions sur l’interdiction des conduites de concurrence déloyale en ligne (projet de commentaires publics) » publié par l’Administration d’État pour la régulation du marché le 17 août 2021 stipule : « Les opérateurs ne doivent pas utiliser de données, d’algorithmes et d’autres moyens techniques pour fournir de manière déraisonnable différentes informations transactionnelles aux contreparties ayant les mêmes conditions commerciales en collectant et analysant les informations transactionnelles de la contrepartie, le contenu et le nombre de navigations, ainsi que la marque et la valeur de l’équipement terminal utilisé lors de la transaction. » , portant atteinte au droit de la partie de savoir, au choix, au commerce équitable, etc., et perturbant l’ordre du commerce équitable sur le marché. Les informations transactionnelles incluent l’historique des transactions, la volonté de payer, les habitudes de consommation, les préférences individuelles, la capacité de paiement, le degré de dépendance, le statut de crédit, etc. « L’analyse et le comportement décisionnel des opérateurs utilisant les données sont strictement réglementés ; Le 27 août de la même année, l’Administration du cyberespace de Chine a publié l'« Avis sur l’administration de la recommandation algorithmique des services d’information Internet (projet de commentaires) » Article 18 de l'« Avis sur la sollicitation publique de commentaires », qui vise à stipuler : « Les prestataires de services de recommandation algorithmique qui vendent des biens ou fournissent des services aux consommateurs doivent protéger les droits et intérêts légitimes des consommateurs, et ne doivent pas utiliser d’algorithmes pour appliquer un traitement différencié déraisonnable des prix de transaction et d’autres conditions de transaction basés sur les préférences, les habitudes commerciales et autres caractéristiques des consommateurs », ce qui a une fois de plus répondu aux préoccupations du public. Article 24 de la Loi sur la protection des informations personnelles : « Les traiteurs d’informations personnelles doivent garantir la transparence de la prise de décision ainsi que l’équité et l’impartialité des résultats lors de l’utilisation des informations personnelles pour la prise de décision automatisée, et ne doivent pas imposer un traitement différencié déraisonnable aux individus en matière de prix de transaction et d’autres conditions de transaction. » La promotion de l’information et le marketing commercial auprès des individus via des méthodes automatisées de prise de décision devraient également offrir des options qui ne ciblent pas leurs caractéristiques personnelles, ou offrir aux individus des moyens pratiques de refuser. Les individus ont le droit de demander des explications aux prestataires d’informations personnelles et refusent de prendre des décisions ayant un impact significatif sur les droits et intérêts individuels via la prise de décision automatisée.

La plupart de la législation actuelle concerne des algorithmes et une discrimination algorithmique sporadique dans les dispositions, et n’a pas encore formé un système réglementaire holistique et systématique. Avec la mise en œuvre de la loi sur la protection des informations personnelles, les règles de notre pays sur la protection des informations personnelles et la gouvernance algorithmique ont progressivement progressé en général, et la discrimination algorithmique a été évitée grâce à l’utilisation illégale des informations citoyennes grâce à une législation améliorée.

4. Contre-mesures réglementaires contre la discrimination algorithmique

(1) Réglementation éthique

À l’ère du big data, la gouvernance des appareils et technologies intelligents repose sur leur propre « intelligence », si bien que la réglementation éthique est souvent adoptée comme méthode principale. Le déséquilibre de l’équité de l’information entre différents sujets dans l’application des technologies intelligentes a conduit au déséquilibre entre la justice de distribution sociale et l’injustice sociale, et l’objectif de la régulation est de briser le monopole de l’information et d’obtenir une distribution équitable de l’information. Selon la théorie de la justice distributive, les éléments fondamentaux de la société doivent être également distribués, quels que soient les sujets et les objets, et il en va de même pour les plateformes en ligne, et les citoyens devraient jouir d’égalités de droits dans l’acquisition, la transmission, l’utilisation et l’utilisation des données.

En plus de l’ajout de jugements de valeur, le conflit entre les droits individuels et les algorithmes est également causé par des obstacles techniques tels que la « boîte noire des algorithmes », la « discrimination algorithmique », le « cocon de l’information » et « l’hégémonie de l’information ». Il est difficile pour les citoyens ordinaires de reconnaître qu’une technologie aussi complexe et hautement spécialisée n’a pas un statut ou un avantage égal dans le cyberespace. Par conséquent, pour éliminer l’inégalité entre les citoyens et le pouvoir algorithmique, il est nécessaire de reconnaître pleinement les revendications des « groupes numériquement défavorisés » et de restaurer la subjectivité individuelle ainsi que leurs droits légitimes. Lorsqu’il est réglementé de manière éthique, il est nécessaire de refléter le soin de l’humanité lors de la conception des algorithmes. Sur la base des exigences de la justice algorithmique, il est nécessaire de refléter les valeurs d’égalité et de liberté à l’étape de conception de l’algorithme, d’intégrer de bonnes valeurs issues de la technologie, puis de modifier le modèle de conception traditionnel, de promouvoir une distribution équitable des données et d’éliminer la restriction ou la violation des droits des utilisateurs par les gouvernements ou les entreprises orientées par le marché utilisant des algorithmes.

(2) Réglementation technique

Comparées aux réglementations éthiques, les réglementations techniques sont plus opérationnelles et réalisables. Du mécanisme de fonctionnement des algorithmes analytiques, la régulation technique inclut principalement l’amélioration de l’infrastructure de l’information et la supervision des activités de traitement de l’information.

Une voie importante pour atteindre la gouvernance du big data est de réduire l’écart entre les zones urbaines et rurales, et l’incohérence entre le développement économique et les infrastructures est également l’un des facteurs influençant la fracture numérique. La priorité principale pour éliminer ce déséquilibre est d’améliorer les infrastructures et de construire une variété de plateformes et de bases de données afin de réduire les dommages causés aux intérêts de certaines entreprises et citoyens en conséquence des barrières d’accès à l’information et des difficultés d’utilisation. De plus, l’infraction des citoyens dans le processus algorithmique est directement liée à la définition des règles de traitement de l’information, en plus des défauts du programme de l’algorithme lui-même. En pratique, les autorités de régulation devraient exiger des entreprises qu’elles clarifient les règles techniques pertinentes, qu’elles expliquent strictement et clairement les règles aux utilisateurs, qu’elles déterminent la portée limite des droits et obligations, et qu’elles réalisent autant que possible la normalisation et l’unification des processus pour différents objets afin d’assurer une répartition équitable des ressources informationnelles.

(3) Régulation institutionnelle

À mesure que l’atteinte des algorithmes et de l’information devient progressivement un problème social, il faut prêter attention à la réflexion sur le système correspondant. Combinée à la pratique sociale, la régulation institutionnelle de la discrimination algorithmique repose principalement sur l’émission de lois pertinentes ou d’autres documents normatifs.

Les systèmes pertinents actuellement introduits stipulent que les traitements d’information doivent promouvoir l’ouverture et la transparence des algorithmes, que les citoyens doivent raisonnablement et légalement exercer le droit d’interpréter les algorithmes pour garantir le « consentement éclairé » des individus, et que la discrimination anti-algorithme ainsi que l’exercice du droit de refus algorithmique doivent être exigés au niveau institutionnel. On peut voir que la régulation des algorithmes a commencé à tenter de construire un système pour éliminer l’émergence de discrimination à la source en renforçant les obligations des traiteurs d’information, et pour résoudre les problèmes clés qui sont survenus actuellement. Cependant, il n’existe pas de réglementation correspondante sur la violation de la discrimination algorithmique, par exemple : quelle est la base de ses droits lors de la recherche de protection ? Comment les preuves correspondantes peuvent-elles être fixées pour prouver qu’elles sont traitées différemment dans la même période ? Sur la base de la législation existante, la voie de recours pour chaque entité face à la violation des big data n’a pas encore été clarifiée.

La compensation des règles doit être compensée par les systèmes concernés : dans la procédure de résolution des litiges, la charge de la preuve du traitement d’information peut être renforcée, par exemple en utilisant la méthode d’inversement des preuves pour prouver qu’il n’y a pas de discrimination dans le processus algorithmique ; Dans le processus de traitement de l’information, les procédures opérationnelles et les technologies de l’algorithme sont divulguées sans affecter les secrets commerciaux, et le pouvoir de supervision est rendu à la société et au public.

5. Conclusion

Chaque phénomène injuste a ses principales causes, et la discrimination algorithmique est essentiellement un état inégal dans le processus d’obtention, de réception et de traitement des informations par différents sujets. Bien qu’il subsiste encore dans une certaine mesure d’équité et de déséquilibre dans la société humaine, la poursuite de la justice, de l’équité et de la liberté est aussi le sens propre du fonctionnement normal de la société. Afin de mieux servir cette technologie à la société humaine, les experts techniques, juristes et même experts d’autres domaines devraient travailler ensemble pour résoudre le problème de la discrimination algorithmique et construire des solutions pour y remédier, améliorer la dignité individuelle et promouvoir conjointement la réalisation de l’équité sociale et de la justice sociale.

Auteur : Sichuan Faye Law Firm Yu Jian, Du Jinqiu

Source : Comité des professionnels juridiques en réseau et en haute technologie de l’Association des avocats de Chengdu

Cet article est l’opinion personnelle de l’auteur et ne représente pas la position de l’Association des avocats de Chengdu

Les avocats de la ville sont invités à soumettre leurs soumissions, et l’email de soumission : cdlxxc@163.com