【résumé】Avec l’avancement continu de la technologie des algorithmes, le niveau de prise de décision automatisée après la capture des données de l’utilisateur s’est également amélioré. La discrimination et les préjugés qui existent depuis longtemps dans la société humaine ont été exacerbés et solidifiés sur Internet, mais cette discrimination n’est pas inhérente à la technologie elle-même, mais un traitement injuste après intervention humaine et jugement de valeur. En d’autres termes, l’objectif de cet article est de se concentrer sur la discrimination algorithmique moderne elle-même, de classer ses types et d’explorer l’intervention humaine derrière la prise de décision automatisée et de la réglementer.

【Mots-clés】Algorithme; discrimination artificielle ; Réglementation

I. Définition de la connotation de la discrimination algorithmique

(1) La discrimination algorithmique dans le contexte de la société moderne

Les algorithmes sont issus de l’arithmétique et sont un terme générique systématique pour les méthodes de calcul. Plus précisément, un algorithme fait référence à une méthode de résolution d’un problème par le biais d’un programme informatique à l’aide d’une procédure ou d’un modèle déterministe, fini et éprouvé. L’émergence des algorithmes est étroitement liée à l’informatique, après être entrés dans l’ère du big data, les algorithmes ont complètement changé le mode de production sociale, de l’habillement, de l’alimentation, du logement et du transport de la vie personnelle à la gestion gouvernementale au niveau social, le système de prise de décision avec des algorithmes comme noyau a commencé à remplacer le modèle de gouvernance traditionnel, et les données ne sont plus un simple symbole, mais des informations avec de la valeur et des intérêts.

La société moderne a recherché une correspondance efficace et peu coûteuse des ressources et de la demande, et la plate-forme Internet basée sur la technologie des algorithmes permet aux ressources de répondre efficacement à la demande, et la société s’est développée rapidement. Tout en apportant une grande efficacité, les algorithmes entraînent également des problèmes difficiles en raison de l’intervention humaine et des obstacles techniques. Ce phénomène n’est pas causé par l’algorithme lui-même, mais par la tendance injuste à ajouter des jugements de valeur humains à l’analyse des données. À proprement parler, la discrimination algorithmique n’est pas un terme utilisé dans le système juridique, et est principalement utilisée dans les reportages et les commentaires sociaux, et il n’y a pas de consensus sur son concept. La discrimination algorithmique fait référence aux décisions multiples, répétitives, prédictives et procédurales prises par les plateformes Internet à l’égard de groupes spécifiques par le biais de l’analyse des données de renseignements personnels, ce qui conduit à un traitement différencié.

(2) Les racines et les traditions de la discrimination

La perception des algorithmes par les gens est passée de la neutralité au biais, et le processus de prise de décision automatique algorithmique était autrefois considéré comme une exécution étape par étape d’une certaine commande de programme, dans laquelle il est difficile de voir l’ombre de l’intervention humaine, elle est donc considérée comme objective et neutre. L’affaire Kuaibo de 2016 a encore confirmé la perception de la neutralité algorithmique, le PDG Wang Xin défendant des revendications telles que la « neutralité technologique » ou « l’innocence technologique ». Toutefois, de l’avis de la Cour, la neutralité de la technologie de lecture vidéo n’est pas en contradiction avec la poursuite d’intérêts commerciaux par les entreprises qui l’utilisent, qui est clairement un acte commercial plutôt qu’un acte technique.

Sur le marché hors ligne, la discrimination par les prix n’est pas rare. Les modèles de vente personnalisés tels que la négociation, la tarification à temps partagé et la tarification régionale sont répandus, et les méthodes de vente diversifiées adoptées par les commerçants afin de maximiser les profits sont également conformes aux lois économiques. Cependant, les consommateurs sur les plateformes en ligne ont longtemps résisté à ce modèle, en particulier leur prix de haute qualité pour les anciens clients est supérieur au « prix ordinaire », ce qui viole le principe de bonne foi et d’éthique des affaires, et va à l’encontre des véritables souhaits des consommateurs.

La prise de décision et l’analyse faites par les algorithmes sont essentiellement une réplique du cerveau humain, ce qui est naturellement discriminatoire et indélébile. Comme l’a dit le professeur Pasquier : « Les algorithmes n’éliminent pas les problèmes de discrimination fondamentaux, et les hypothèses négatives et non fondées peuvent converger vers des préjugés. » Les algorithmes sont écrits par des humains, et des valeurs humaines sont intégrées dans ces logiciels. Ils introduisent souvent et inévitablement des biais humains dans l’utilisation des données.^[]

2. Types et manifestations de la discrimination algorithmique

La discrimination algorithmique à l’encontre du public est de plusieurs types et peut être classifiée, et peut être divisée en discrimination primitive et discrimination alimentaire selon le moment où la discrimination s’est produite^[]。

La discrimination primitive fait référence au fait qu’au début du développement et de la conception de l’algorithme, le développeur intègre ses choix de valeurs biaisés dans le code ou substitue imperceptiblement des biais dans l’algorithme, c’est-à-dire que le groupe est divisé par l’intervention humaine lors de la définition des règles. Tant qu’une telle règle est introduite dans la conception de l’algorithme, le résultat inévitable sera obtenu après l’exécution du programme de code. Par exemple, si l’algorithme du logiciel de recrutement analyse que l’utilisateur est une femme, il ne poussera pas les emplois bien rémunérés ou les emplois que le développeur pense ne pas convenir aux femmes. Une fois que le logiciel d’achat en ligne a analysé que la couleur de la peau de l’utilisateur est noire, il ciblera les publicités pour « embellir la couleur de la peau », et la tendance de la valeur du développeur enfreint le droit de l’utilisateur à l’égalité par le biais de l’algorithme.

La discrimination alimentaire est plus répandue dans la société moderne, comme les applications de covoiturage qui fixent des prix plus élevés pour les utilisateurs fidèles que l’utilisateur moyen ; Le logiciel d’achat en ligne analyse les données de commande de l’utilisateur et pousse les produits dans la fourchette de prix d’achat, etc. En bref, la discrimination alimentaire fait référence au résultat externe de la discrimination artificielle qui est progressivement exposée et manifestée par le traitement des données par des algorithmes, en se connectant aux paramètres ou objectifs pertinents fixés au départ, et en apprenant par soi pour produire une nouvelle forme d’intelligence. Tant que le système obtient des données, il peut apprendre par lui-même grâce à des algorithmes et analyser les caractéristiques, les préférences, les habitudes, les tendances, etc. des utilisateurs dans une situation difficile, bien qu’il améliore l’efficacité dans une certaine mesure, il approfondit également le modèle d’inégalité existant et crée un « cocon d’information » pour les utilisateurs.

3. L’état actuel de la régulation de la discrimination algorithmique

La discrimination algorithmique dont la principale manifestation est le « big data killing » viole les principes de base de la bonne foi en droit civil et porte gravement atteinte au droit de savoir et au droit de choisir des utilisateurs. Bien que la discrimination algorithmique soit très courante, il n’y a eu aucun cas dans la pratique judiciaire chinoise dans lequel une discrimination par les prix a été obtenue sur la base d’une discrimination par les prix. Il est clair qu’à l’heure actuelle, la Chine n’a pas promulgué de législation ciblant spécifiquement la discrimination algorithmique, et la loi sur la protection des droits des consommateurs, la loi sur le commerce électronique, la loi anti-monopole, la loi sur les prix et la loi sur la protection des informations personnelles peuvent réglementer la discrimination algorithmique. Après une recherche, il est constaté que la pratique judiciaire de la Chine ne soutient pas l’allégation d’infraction commerciale sur la base du droit des consommateurs à un commerce équitable ou du droit de savoir, en particulier en raison des barrières techniques des algorithmes, de la difficulté d’apporter des preuves et de l’absence de fondement du droit de revendiquer directement la protection des droits.

Alors que le public et les universitaires continuent de prêter attention à cette question, l’article 21 des Dispositions sur l’interdiction de la concurrence déloyale en ligne (projet de commentaires publics) publié par l’Administration d’État pour la réglementation des marchés le 17 août 2021 propose de stipuler que « les opérateurs commerciaux ne doivent pas utiliser de données, d’algorithmes et d’autres moyens techniques pour fournir de manière déraisonnable des informations de transaction différentes aux contreparties de transaction ayant les mêmes conditions de transaction en collectant et en analysant les informations de transaction de la contrepartie de la transaction, le contenu et le nombre de vues, ainsi que la marque et la valeur de l’équipement terminal utilisé dans la transaction ». Elle porte atteinte au droit de savoir, au droit de choisir et au droit au commerce équitable de la contrepartie, et perturbe l’ordre du marché du commerce équitable. Les informations sur les transactions comprennent l’historique des transactions, la volonté de payer, les habitudes de consommation, les préférences individuelles, la capacité de paiement, le degré de dépendance, l’état de crédit, etc.", qui réglemente strictement l’analyse et le comportement décisionnel des opérateurs utilisant les données ; Le 27 août de la même année, l’Administration chinoise du cyberespace a publié l'« Avis sur la sollicitation publique d’opinions sur les dispositions relatives à l’administration des recommandations algorithmiques pour les services d’information sur Internet (projet de sollicitation de commentaires) », qui vise à stipuler que « lorsque les fournisseurs de services de recommandation algorithmique vendent des biens ou fournissent des services aux consommateurs, ils doivent protéger les droits et intérêts légitimes des consommateurs et ne doivent pas utiliser les algorithmes pour effectuer un traitement différencié déraisonnable et d’autres actes illégaux dans les prix des transactions et d’autres conditions commerciales fondées sur les préférences des consommateurs, leurs habitudes de transaction et d’autres caractéristiques », répondant une fois de plus aux préoccupations du public. Article 24 de la loi sur la protection des informations personnelles : « Lorsque les sous-traitants utilisent des informations personnelles pour prendre des décisions automatisées, ils doivent assurer la transparence de la prise de décision ainsi que l’équité et l’impartialité des résultats, et ne doivent pas imposer de traitement différencié déraisonnable aux individus en termes de prix de transaction et d’autres conditions de transaction. » Lorsque des renseignements sont diffusés ou commercialisés auprès d’individus par le biais d’une prise de décision automatisée, des options qui ne sont pas ciblées sur leurs caractéristiques personnelles doivent être proposées en même temps, ou les individus doivent se voir proposer des méthodes pratiques pour refuser. Les personnes ont le droit de demander des explications aux responsables du traitement des renseignements personnels pour prendre des décisions qui ont une incidence importante sur leurs droits et intérêts par le biais d’une prise de décision automatisée, et ont le droit de refuser aux responsables du traitement des renseignements personnels de prendre des décisions uniquement par le biais d’une prise de décision automatisée.

La plupart des lois actuelles traitent des algorithmes et de la discrimination algorithmique dans les dispositions, et n’ont pas encore formé un système réglementaire holistique et systématique. Avec la mise en œuvre de la loi sur la protection des informations personnelles, les règles chinoises de protection des informations personnelles et de gouvernance algorithmique ont progressivement progressé, et l’utilisation illégale des informations des citoyens à des fins de discrimination algorithmique a été évitée grâce à l’amélioration de la législation.

IV. Contre-mesures réglementaires en matière de discrimination algorithmique

(1) Réglementation éthique

À l’ère du big data, la gouvernance des appareils et des technologies intelligents repose sur sa propre « intelligence », de sorte que la réglementation éthique est souvent adoptée comme méthode principale. Dans l’application de la technologie intelligente, le déséquilibre de l’équité de l’information entre les différents sujets a provoqué le déséquilibre de la justice et de l’injustice sociale de la distribution, et l’objectif de la réglementation est de briser le monopole de l’information et de réaliser la distribution équitable de l’information. Selon la théorie de la justice distributive, les éléments de base de la société devraient être répartis de manière égale, quels que soient les sujets et les objets, et il devrait en être de même pour les plateformes en ligne, et les citoyens devraient avoir des droits égaux dans l’acquisition et la transmission des données, ainsi que dans l’utilisation et l’utilisation des données.

Outre l’ajout de jugements de valeur, le conflit entre les droits individuels et les algorithmes est également causé par des obstacles techniques tels que la « boîte noire algorithmique », la « discrimination algorithmique », le « cocon d’information » et l'« hégémonie de l’information ». Il est difficile pour les citoyens ordinaires de reconnaître qu’une technologie aussi complexe et hautement spécialisée n’a pas un statut égal dans le cyberespace, et encore moins un avantage. Par conséquent, afin d’éliminer l’inégalité entre les citoyens et le pouvoir algorithmique, il est nécessaire de reconnaître pleinement les exigences des « groupes numériquement défavorisés » et de restaurer la subjectivité individuelle et leurs droits et intérêts légitimes. Lors de la réglementation des aspects éthiques de l’algorithme, il est nécessaire de refléter une attention humaniste dans la conception de l’algorithme. Sur la base des exigences de la justice algorithmique, les valeurs d’égalité et de liberté devraient être incarnées dès la phase de conception de l’algorithme, et les bonnes valeurs devraient être intégrées à partir de la technologie, afin de changer le modèle de conception traditionnel, de promouvoir une distribution équitable des données et d’éliminer les restrictions ou les violations des droits des utilisateurs par les gouvernements ou les entreprises axées sur le marché utilisant des algorithmes.

(2) Règlements techniques

Par rapport à la réglementation éthique, la réglementation technique est plus opérationnelle et plus réalisable. D’après l’analyse du mécanisme de fonctionnement de l’algorithme, le règlement technique comprend principalement l’amélioration de l’infrastructure de l’information et la supervision des activités de traitement de l’information.

Un moyen important de parvenir à une gouvernance du big data est de réduire l’écart entre les zones urbaines et rurales, et l’incohérence entre le niveau de développement économique et l’infrastructure est également l’un des facteurs affectant la fracture numérique. En plus de l’injustice des algorithmes, il y a aussi le faible niveau de technologie de l’information du sujet, et la priorité absolue pour éliminer le déséquilibre est d’améliorer l’infrastructure, de construire une variété de plates-formes et de bases de données pour réduire les dommages causés aux intérêts de certaines entreprises et citoyens en raison des obstacles à l’accès à l’information et des difficultés d’utilisation. En outre, l’atteinte des citoyens dans le processus de l’algorithme est directement liée à l’établissement de règles pour le traitement de l’information, en plus des défauts de procédure de l’algorithme lui-même. Dans la pratique, les autorités de réglementation devraient exiger des entreprises qu’elles clarifient les règles techniques pertinentes, qu’elles les expliquent strictement et clairement aux utilisateurs, qu’elles déterminent les limites des droits et obligations et qu’elles normalisent et unifient autant que possible les processus pour différents objets, afin d’assurer une répartition équitable des ressources d’information.

3) La régulation institutionnelle

Lorsque la violation des algorithmes et de l’information devient progressivement un problème social, la réflexion sur le système correspondant doit être attentive. Du point de vue de la pratique sociale, la régulation institutionnelle de la discrimination algorithmique repose principalement sur la publication de lois pertinentes ou d’autres documents normatifs.

À l’heure actuelle, les systèmes pertinents qui ont été promulgués stipulent que les processeurs d’information doivent promouvoir l’ouverture et la transparence des algorithmes, l’exercice raisonnable et légal du droit des citoyens d’interpréter les algorithmes pour assurer le « consentement éclairé » des individus, et les exigences institutionnelles pour la discrimination anti-algorithme et l’exercice des droits de rejet algorithmique. On peut voir que la régulation des algorithmes a commencé à essayer de construire un système pour éliminer l’émergence de la discrimination à la source en renforçant les obligations des processeurs d’information, et pour résoudre les problèmes clés qui ont surgi de manière ciblée. Cependant, il n’existe pas de réglementation correspondante sur la violation de la discrimination algorithmique, par exemple quel est le fondement des droits lors de la recherche d’une protection ? Comment peut-on fixer les preuves correspondantes pour prouver qu’il existe différents traitements pour la même période ? Sur la base de la législation existante, la voie de remédiation pour chaque entité face à une violation des mégadonnées n’a pas encore été clarifiée.

Les solutions prévues par les règles devraient être constituées par les systèmes compétents : dans le cadre de la procédure de règlement des litiges, la charge de la preuve incombant au processeur d’information peut être renforcée, par exemple en utilisant la méthode de l’inversion des preuves pour prouver qu’il n’y a pas de discrimination dans le processus de son algorithme ; Dans le processus de traitement de l’information, les procédures de fonctionnement et les technologies de l’algorithme sont divulguées sans affecter les secrets commerciaux, et le pouvoir de supervision est restitué à la société et au public.

V. Conclusion

Chaque phénomène injuste a une raison principale pour se produire, et la discrimination algorithmique est essentiellement un état inégal dans le processus d’obtention, de réception et de traitement de l’information par différents sujets. Bien qu’il y ait encore un déséquilibre de l’équité dans la société humaine dans une certaine mesure, la poursuite de la justice, de l’équité et de la liberté est aussi le sens propre du fonctionnement normal de la société. Pour que cette technologie serve mieux la société humaine, les technologues, les experts juridiques et même les experts d’autres domaines devraient travailler ensemble pour lutter contre la discrimination algorithmique et élaborer des solutions pour améliorer la dignité individuelle et promouvoir conjointement l’équité et la justice sociales.

Auteur : Yu Jian, Du Jinqiu, cabinet d’avocats du Sichuan

Source : Réseau de l’Association des avocats de Chengdu et Comité professionnel du droit de haute technologie

Cet article est l’opinion personnelle de l’auteur et ne représente pas la position de l’Association des avocats de Chengdu

Les avocats de la ville sont invités à contribuer activement, et la boîte aux lettres de soumission est la suivante :[email protected]