Surveiller, contrôler, réguler : trois mots-clefs dans le secteur de la modération. Depuis l’avènement de l’ère des réseaux sociaux, la modération est devenue une grande question de société, tandis que réseaux et plateformes pullulent.
Apparu avec l’avènement du web et auparavant opéré par des « volontaires », le métier de modérateur est aujourd’hui bien plus concret. Ce métier qui s’est démocratisé consiste à identifier les abus, contrôler les plateformes et enrayer les menaces potentielles, ces dernières étant de plus en plus sophistiquées. Au fil du temps, les utilisateurs ont d’ailleurs pu, à leur tour, porter main forte aux différents modérateurs.
Depuis peu, l’intelligence artificielle a profondément modifié le métier, le rendant plus agréable grâce à l’automatisation des tâches, notamment vis-à-vis des contenus les plus perturbants, pouvant altérer la santé mentale des modérateurs. D’un autre point de vue, l’arrivée de l’IA créée de nouvelles problématiques, comme l’identification des deepfakes.
Dans ce contexte, quel est le rôle des algorithmes ? Quels challenges futurs doivent être pris en compte par les plateformes ? Comment peut-on réellement lutter contre le cyberharcèlement ? Pour répondre à ces différentes questions, nous avons rencontré Hervé Rigault, Directeur Général de Netino by Concentrix.
JUPDLC : Tout d’abord, qu’est-ce que la modération sur les réseaux sociaux ? Pourquoi est-elle importante ?
Hervé Rigault : Modérer un réseau social consiste à analyser tous les UGC (User Generated Content), c’est-à-dire toutes les publications et interactions entre internautes, afin de supprimer ou masquer celles comportant des éléments illégaux, toxiques ou tout simplement contraires aux règles d’utilisation de la plateforme. Un contenu peut tout aussi bien être un texte, une image, une vidéo, un clip audio, voire tout cela combiné en une seule publication.
Quand on pense « réseaux sociaux » on pense à Facebook, Instagram, Youtube, TikTok… Mais le principe est tout aussi applicable pour les autres plateformes générant du contenu et des interactions entre internautes : sites d’annonces, apps de rencontres, jeux en ligne, etc.
La modération se doit d’être une brique indissociable des stratégies produit et marketing d’une plateforme : elle est constitutive d’une bonne expérience utilisateur, elle renforce la confiance et la fidélité envers la marque, elle favorise la fréquentation et la participation et donc, in fine, le trafic et les revenus potentiellement générés.
JUPDLC : Quel est le rôle des modérateurs ? Depuis l’avènement des réseaux sociaux, comment ont-ils vu leur métier évoluer ?
Hervé Rigault : L’avènement des réseaux sociaux a professionnalisé et spécialisé une activité qui était de niche jusqu’à la fin des années 2000. Jusque-là, dans beaucoup d’entreprises du web 2.0, la modération pouvait encore être assurée de façon plus ou moins artisanale. Il y avait alors des équipes internes partiellement dédiées à la tâche, on avait recours à des stagiaires, à des étudiants voire même à des bénévoles.
L’explosion des Social Media et du web participatif en général a engendré des volumes de contributions qui n’étaient plus gérables avec des dispositifs non spécialisés. Qui plus est, la diversification des menaces et leur sophistication ont obligé la profession à monter en gamme vers toujours plus d’expertise.
Autre évènement qui a rebattu les cartes : le développement de l’Intelligence Artificielle qui permet d’automatiser la majeure partie des actions répétitives des modérateurs et celles ayant le moins de valeur ajoutée. Mais aussi, et c’est un progrès RSE indéniable, elle limite fortement l’exposition des modérateurs aux contenus le plus perturbants qui peuvent avoir un impact réel sur la santé mentale sur le long terme.
À découvrir sur JUPDLC
JUPDLC : Pourquoi les algorithmes ne sont-ils pas une solution suffisante ?
Hervé Rigault : Les algorithmes et, de façon générale, les dispositifs d’IA dédiés à la modération de contenus du marché affichent aujourd’hui des performances comprises entre 95 et 99% de précision dans la détection de la toxicité.
Ce delta peut sembler marginal, mais appliqué à des millions ou dizaines de millions de contenus reçus chaque mois par une plateforme, un simple calcul mental nous renseigne sur l’immense volume de contenus potentiellement manqués ou « mal modérés » par une IA seule. On peut également mentionner les signalements d’abus par les utilisateurs, dont la criticité juridique est potentiellement élevée et qui requièrent un traitement humain.
Il est donc nécessaire d’adjoindre à l’IA une équipe de modération humaine dont les prérogatives seront d’analyser en détail les contenus nécessitant une levée de doute, vérifier les signalements d’abus et, de plus en plus, participer à l’amélioration continue de l’IA via leur action de quality sampling a posteriori.
JUPDLC : Pour les plateformes, quels sont les challenges à relever en 2024 en matière de modération ?
Hervé Rigault : Les challenges sont multiples, mouvants et gagnent en sophistication grâce à l’IA. Ils sont également très différents en fonction du secteur adressé. Les problématiques de contrefaçon sont plus fortes sur un site de petites annonces, le sujet du harcèlement est plus présent sur une app de rencontres, etc.
Citons l’algospeak, ce langage fait de périphrases, de paronymes et de graphies tronquées a spécifiquement été créé pour contourner les dispositifs de modération automatisée et chaque nouvelle actualité engendre un nouveau lexique.
On se souvient des multiples contournements algospeak suite à la décision de Youtube début 2020 de démonétiser les vidéos évoquant le Covid-19. Comme en cybersécurité, chaque faille comblée entraîne une adaptation et une nouvelle stratégie de contournement de la part des individus malveillants.
Avec la démocratisation d’outils permettant de créer en quelques clics des contenus d’une qualité longtemps réservée aux studios de cinéma, les deepfakes seront également un enjeu majeur dans les politiques de régulation des plateformes. Comme le résume la conférencière IA Nina Schick, « l’outil le plus puissant de désinformation visuelle sera accessible à n’importe qui ».
“Il existe déjà des parades avec des outils de deep learning qui sont capables de détecter des indices de manipulation d’images et de sons.”
Le deepfake est doublement pernicieux : non seulement il induit ponctuellement en erreur l’internaute et engendre de fausses croyances (et peut même des actions qu’il n’aurait pas entreprises sans cela), mais sur le long terme il génère également une défiance envers les vrais contenus puisqu’il devient complexe de distinguer le vrai du faux. Certains pourraient penser que tout est vrai, d’autres au contraire que tout est faux et manipulé. Les conséquences intellectuelles et sociales de ces postures sont loin d’être neutres.
Il existe déjà des parades avec des outils de deep learning qui sont capables de détecter des indices de manipulation d’images et de sons. Encore faut-il être en mesure de contrôler et de confirmer ou infirmer la pertinence de ces détections, ce qui peut demander une analyse humaine approfondie pour limiter les faux positifs (l’IA pense que c’est un deepfake alors que ce n’est pas le cas) et, à l’inverse, les faux négatifs.
Ces cas illustrent bien la nécessaire complémentarité de l’humain et de la machine et sur la nécessité du déploiement de processus de post-tracking pour vérifier les intuitions de l’IA.
JUPDLC : Les utilisateurs peuvent-ils jouer un rôle dans cette modération ? Si oui, comment ?
Hervé Rigault : En amont même de la modération, l’utilisateur peut déjà jouer un rôle à travers son autodiscipline. Face à un contenu qu’ils estimeraient inapproprié, certains utilisateurs pourraient être tentés de réagir de façon vive en adoptant eux-mêmes un comportement toxique (injures, menaces…) . Ce qui n’est pas une solution en soi et ne fait qu’amplifier le problème.
Il est préférable d’avoir recours aux fonctionnalités de signalement d’un abus, afin de porter le contenu à la connaissance de la modération. Car si un contenu toxique apparaît en ligne, c’est soit qu’il n’a pas été détecté par la modération, soit qu’il est toujours en attente de traitement.
Signaler un abus permet d’enclencher un protocole de traitement spécifique et parallèle à celui de la modération classique. Par exemple, chez Netino by Concentrix, déposer un signalement augmente l’indice de priorité du contenu. Cela lui attribue un statut coupe-file afin qu’il soit traité avant les autres et/ou dans une rubrique distincte. De plus, cela propose également un panel d’outils de vérifications supplémentaires afin d’avoir un jugement fin sur le contenu.
Car il convient de ne pas considérer comme nécessairement fondé tout signalement d’abus. Cela peut même être un moyen pour certains trolls de déstabiliser leur cible. En moyenne, seul 1 signalement sur 2 mérite effectivement une dépublication du contenu associé. A noter que ce protocole de signalement est une obligation légale pour les plateformes. Elles se doivent de le mettre à disposition de façon claire et pratique. Mais elles se doivent également de procéder à leur traitement de façon diligente. Et bien sûr, en rendre compte dans le cadre de leur rapport annuel de transparence imposé par le DSA.
JUPDLC : Quelles sont les solutions apportées par Netino en matière de régulation, de modération ?
Hervé Rigault : Notre solution a toujours reposé sur les 3 P : people, process, platform. Il a toujours été très clair que nos clients recherchaient davantage qu’une simple externalisation d’opérateurs exécutants. Ils étaient également demandeurs de conseils sur les bonnes pratiques sectorielles, d’accompagnement quant aux évolutions de la législation et de leadership sur les innovations techniques.
C’est pourquoi nous n’avons jamais opposé la technologie aux humains, mais au contraire exploré les complémentarités. Ainsi, Moderatus, créé en 2002, fut l’un des premiers outils au monde dédié à l’industrialisation de la modération, notamment grâce à une approche centralisée (tous les flux de tous les sites et réseaux rassemblés en un outil).
Netino by Concentrix a également fait partie des premières entreprises de modération à intégrer nativement à son outil un module de Machine Learning (ML) à des fins d’analyse prédictive, au milieu des années 2010.
Nous utilisons désormais la sous-branche du ML qu’est le Deep Learning, afin d’aller plus loin dans le traitement du langage naturel (NLP) et offrir à nos clients une solution très éloignée d’un système se basant sur de simples mots ou phrases clés : le modèle est en capacité d’avoir une compréhension globale du sens de la phrase, capable même de détecter les tournures de phrase constitutives de l’ironie.
JUPDLC : Les gouvernements ont-ils un rôle à jouer dans les pratiques de modération ? Si oui, quel est-il ?
Hervé Rigault : Oui, et le Digital Services Act européen généralisé à toutes les plateformes depuis février 2024 en est une illustration. Il y a une volonté d’aller plus loin dans l’encadrement des plateformes et dans la protection des internautes.
Ce décret promulgué à l’échelle de l’Union Européenne a un leitmotiv simple. Ce qui est illégal hors ligne l’est tout autant en ligne. Il permet de lutter contre les contenus illicites, mieux contrôler les vendeurs sur les marketplaces et mieux encadrer la publicité. Ce décret engage aussi les plateformes à clarifier et expliciter leurs politiques et moyens de modération mis en œuvre.
Elles doivent en outre se montrer transparentes dans leurs décisions. Mais également permettre un dispositif d’appel pour contester une décision de la modération. Le DSA est un pas en avant indéniable dans la régulation, et cela à une échelle qui va au-delà des législations locales.
Pour en savoir plus sur Netino, rendez-vous sur sa page dédiée !
