Indissociable du web, et ce, depuis son avènement, la modération en ligne a toujours été un rouage essentiel pour maintenir un environnement sûr et accueillant. D’abord sur les premières plateformes de microblogging (MySpace, Gwibber, Skyblog…), puis sur les réseaux sociaux (Facebook, Instagram, TikTok…). Et, enfin, un peu partout sur Internet (site web d’une entreprise, plateformes d’avis en ligne…). Pendant longtemps, cette modération était faite de manière plutôt artisanale. Elle était réalisée soit par des équipes humaines, qui examinaient les contenus signalés par les utilisateurs, soit certaines communautés en ligne s’autogéraient elles-mêmes grâce à des modérateurs volontaires.
Au fil du temps, l’explosion du volume d’interactions a peu à peu complexifié la modération en ligne. Pour s’en rendre bien compte, en 2023, près de 700 000 heures de vidéo ont été téléchargées par minute dans le monde sur YouTube. De ce fait, depuis quelques années, les plateformes sociales et les entreprises ont commencé à intégrer des systèmes d’IA. L’idée ? Faciliter et automatiser la modération. Cependant, selon la manière dont elle est utilisée, l’IA revêt une forme d’ambivalence dans le domaine de la modération. D’un côté, cette technologie facilite la création de faux contenus ou de faux avis. Et de l’autre, l’IA apporte une aide cruciale aux modérateurs humains afin de fluidifier leur travail.
Contenus à modérer : mode d’emploi
Qu’est-ce que la modération ?
Avant d’entrer dans le vif du sujet, pour comprendre concrètement la place de l’IA dans la modération en ligne, il est primordial de savoir de quoi l’on parle précisément. Tout d’abord, il faut comprendre que la modération en ligne n’est pas une censure. Elle consiste à encadrer les discussions ou les contenus produits par des internautes au sein d’un espace d’échange (par exemple, sous une publication Facebook d’une marque). Chaque réseau social est doté de chartes et de règles de publication définissant ce qui peut être dit (ou non) lors des interactions ou des publications. C’est une sorte de code de la route spécifique qui peut varier d’un site ou d’un réseau social à l’autre. Par exemple, un contenu érotique n’aura pas le même seuil de tolérance s’il a été posté sur Instagram, Reedit, Discord ou X (anciennement Twitter).
Une fois ce premier cadre posé, deux autres critères viennent le compléter. Le premier est le cadre légal. Diffamation, appels à la haine ou la violence, injures, discriminations, apologie du terrorisme, pédopornographie… Tout contenu ou commentaire hors-la-loi doit être modéré au plus vite et peut même faire l’objet d’un signalement aux autorités.
B2B Talks
Le second est le caractère toxique. Même si certaines interactions ne tombent pas directement sous le coup de la loi, elles peuvent parfois mettre en péril l’intégrité psychologique des internautes, sont de nature à dégrader la qualité des interactions et, de façon générale, l’ambiance de la plateforme. Dénigrements répétés, humour douteux sur l’origine ethnique, moqueries sur le physique, allusions déplacées sur une orientation sexuelle…
Ainsi avant de supprimer ou de rendre invisible un contenu, la modération d’une plateforme doit pouvoir répondre à ces questions. Est-ce que le contenu est légal ? Est-il toxique ? Et enfin, respecte-t-il les chartes et règles de la communauté en ligne où il apparaît ?
L’enjeu de la réputation
En plus de ces critères, légaux et moraux, il ne faut pas oublier également que la réputation en ligne s’est peu à peu imposée comme une composante des stratégies marketing des entreprises. Autrement dit, et comme nous l’explique Hervé Rigault, Directeur Général chez Netino, si une marque est incapable d’assurer un environnement sain, les utilisateurs iront tout simplement ailleurs.
« La modération peut être vue comme une des fondations de la stratégie marketing d’une marque ou d’une plateforme, un véritable prérequis. Comment une app de rencontres peut-elle être attractive et conquérir de nouvelles audiences si ses utilisateurs et utilisatrices y sont harcelés via des messages privés inappropriés, en toute impunité ? Comment fidéliser les utilisateurs d’une plateforme de petites annonces si leur première transaction s’est soldée par une arnaque ? Quelles méthodes pour inciter son public à publier du contenu si celui-ci se prend un backlash à chaque prise de parole ou à chaque exposition ? »
Une approche hybride de la modération en ligne
Automatisation et algorithmes
Pendant longtemps, la modération fut exclusivement humaine. Les internautes pouvaient également signaler un contenu leur semblant hors charte afin qu’un modérateur ne l’analyse et ne prenne une décision. Face à l’augmentation exponentielle des échanges, les réseaux sociaux et les plateformes ont très rapidement intégré des systèmes d’automatisation pour détecter les contenus inappropriés. L’idée était de réduire au maximum la charge des modérateurs humains en automatisant le traitement des contenus « facilement » gérables de façon autonome.
Facebook a rapidement utilisé des algorithmes de reconnaissance d’image et de traitement du langage naturel pour identifier et supprimer des contenus violents, haineux ou de nudité. Dans la même logique, une IA est capable de filtrer automatiquement ce qui relève du spam.
L’introduction de l’IA
Par la suite, chaque plateforme s’est emparée des possibilités de l’IA pour développer des systèmes hybrides plus complexes. Actuellement, trois grands types de dispositifs sont principalement utilisés. Le premier est la modération par un corpus de mots déclencheurs. Grâce à une liste de termes proscrits ou illégaux, il est possible de faire intervenir rapidement un vérificateur humain. Bien que facile à mettre en place, cette modération n’est pas assez performante. Elle n’est en effet pas capable de déceler l’ironie ou le second degré.
Pour contrer ce biais, les plateformes en ligne ont peu à peu mis en place une modération par graphes sémantiques. Autrement dit, l’IA devient capable de créer une arborescence de relation entre différents concepts ou groupes de mots. La détection devient alors plus fine et ne fait intervenir le modérateur humain qu’en cas de doute.
Enfin, la modération par apprentissage automatique (machine learning et deep learning) est rapidement apparue comme la solution la plus pérenne et la plus scalable. Dans ce dispositif, un modèle d’IA apprend continuellement à détecter les contenus à modérer grâce à des annotations de data effectuées par des humains et/ou par la machine elle-même. Et même si à ce jour tout n’est pas encore parfait, Hervé Rigault en est persuadé. « La combinaison automatisation/vérification humaine reste actuellement la solution la plus viable. »
Intelligence humaine et intelligence artificielle : une complémentarité nécessaire
« Du fait de l’état de l’art, de l’évolution des menaces et de l’inépuisable créativité de l’esprit humain quand il s’agit de contourner des règles, il n’existe pas encore d’IA pouvant prétendre à une infaillibilité face à la toxicité et l’illégalité » poursuit Hervé Rigault. « Brancher une solution de modération automatisée et la laisser tourner sans protocole de monitoring associé est un risque que ne peuvent prendre les marques et plateformes. »
« Ainsi, toute solution de modération proposant un taux d’automatisation fort, c’est-à-dire supérieur à 90% voire 95%, se voit généralement adossée à un dispositif humain complémentaire. » Indique-t-il. « Les principales prérogatives de ce dernier étant la levée de doute sur les contenus détectés comme étant en « zone grise » par l’IA, la compréhension fine de contenus employant de nouveaux éléments de langage ou des éléments altérés volontairement pour passer à travers les filtres (algospeak) et l’analyse approfondie de contenus détectés comme à haut risque et pouvant nécessiter un signalement à la plateforme, voire aux autorités. »
Grâce à ce duo efficace, la modération peut être quasiment effectuée en temps réel, par exemple sur des vidéos en direct, tandis que les contenus à fort potentiel de nuisance sont désormais rapidement traités. Tout cela toujours dans le même but : alléger au maximum la charge de travail des modérateurs afin qu’ils puissent se concentrer sur les cas les plus urgents ou les plus complexes. Vous l’aurez donc compris, malgré les progrès exponentiels de l’IA depuis quelques années, le rôle du modérateur n’est pas près de disparaître. Simplement, comme nous le détaille Hervé Rigault, son centre de gravité professionnel est en train de se déplacer.
Modérateur : un métier qui tend à évoluer
« Depuis plusieurs années, nous assistons à une évolution du métier de modérateur, plutôt qu’à un remplacement pur et simple de celui-ci par des algorithmes. » Pour Hervé Rigault : « Modérer, c’est devoir analyser un contenu, son sens, son contexte, son impact, et rendre une décision qui soit à la fois juste et justifiée, le tout dans un délai imparti. Ce métier exige de nombreuses qualités humaines : une certaine vivacité d’esprit, une intelligence contextuelle et une capacité de prise de décision rapide. Pour autant, un attrait pour la technique est désormais essentiel dans ce métier. »
« Par exemple, parmi les tâches incombant aux modérateurs, nous pouvons évoquer celle consistant à échantillonner, vérifier et annoter les contenus traités automatiquement afin de faire progresser les modèles d’IA. Cette brique est fondamentale et se situe à la croisée de la QA (Quality Assurance) et des process d’amélioration continue en lien avec les équipes Produit et IT. » Il précise que : « Sans une mise à jour régulière, une solution de modération automatisée va progressivement perdre de sa finesse et de sa précision. Il faut donc l’alimenter au fil de l’eau avec de la nouvelle data. Ainsi, en devenant un maillon important de l’évolutivité des outils, le modérateur devient plus spécialisé, plus pointu. Il ne nécessite plus seulement une excellente connaissance de l’écosystème participatif et de ses dérives potentielles. »
Fake news, le défi majeur de la modération en ligne
C’est tout le paradoxe de l’IA. D’un côté, c’est un formidable outil d’aide à la modération. Selon son dernier rapport de transparence, le taux d’automatisation de la modération de Meta est par exemple très élevé. Il est respectivement de 98% sur Instagram et de 94% sur Facebook.
De l’autre, cette technologie, lorsqu’elle est utilisée à des fins malveillantes, permet la prolifération de fake news. C’est sans aucun doute, actuellement et pour la prochaine décennie, le plus gros défi de la modération en ligne.
Pour preuve, selon le cabinet ID Crypt Global, 1,5 milliard de publications mensongères ont été publiées chaque jour en 2023 dans le monde. Le réseau « X » (anciennement Twitter) détient même un triste record. Environ 9% de tous ses utilisateurs actifs sont des comptes propageant régulièrement des fake news. Soit pratiquement un utilisateur sur dix.
L’enjeu de la responsabilité des plateformes
Face à cette pandémie de désinformation, la responsabilité des géants du web est fondamentale. Pour parvenir à endiguer ce fléau, les plateformes sociales tentent actuellement d’agir sur trois niveaux.
- Le premier est technologique. En intégrant de l’IA générative dans la modération, il devient possible de mieux prendre en compte le contexte d’un contenu. On appréhende mieux sa source et la manière dont il est partagé. Surtout, elle permet de gagner en réactivité, soit le maître mot dans la modération en ligne. En effet, l’IA générative permet de déployer plus rapidement des ajustements de politique de modération en fonction d’un contexte (élections présidentielles, conflits et guerre…). L’été dernier, OpenAI, l’éditeur de ChatGPT, avait annoncé entrer dans une phase d’expérimentation pour qu’à terme GPT-4 puisse devenir un outil de modération.
- Le deuxième volet revêt un caractère collaboratif. La modération en ligne est une nébuleuse qui nécessite un traitement large. Ainsi, les plateformes sociales collaborent de plus en plus avec des organismes indépendants de vérification des faits. Ils leur permettent de mieux évaluer la véracité des informations diffusées. Par exemple, Facebook travaille avec des organisations comme PolitiFact et FactCheck.org.
- Enfin, le dernier concerne la sensibilisation. Le meilleur moyen de se protéger d’une fake news, c’est avant tout la prévention. Conscient de cet état de fait, Google a présenté, en avril 2024, plusieurs fonctionnalités de recherche destinées aux internautes. Elles les aident à vérifier rapidement les contenus en ligne, notamment les faits, images et sources d’information d’une publication. De son côté, TikTok a instauré des règles strictes aux créateurs de contenus avec sa politique « Médias synthétiques et manipulés ». Chaque publication contenant de l’IA se doit d’arborer une étiquette spécifique pour ne pas duper le commun des mortels.
L’IA pour protéger les modérateurs
En plus de protéger les internautes, l’IA joue également un rôle auprès des équipes de modération. Être confronté de façon quotidienne, plusieurs heures par jour, à des discours, images ou vidéos toxiques n’est pas sans impact pour la santé psychologique d’un individu.
Bien sûr, le type de toxicité dépend intrinsèquement du type de plateforme modérée. Par exemple, un média publiant des articles relatifs à l’actualité risque de générer des commentaires haineux, injurieux ou discriminatoires. Une plateforme d’annonces en ligne sera plutôt sujette aux tentatives d’escroqueries. Tandis qu’une application de rencontres devra faire face à du harcèlement sexuel, des comportements sexistes et de la pornographie. Quoi qu’il en soit, modérer n’est pas sans impact sur la santé mentale. Encore une fois, ici, l’IA se doit de « jouer son rôle de garde-fou, » selon Hervé Rigault.
Un premier filtre nécessaire
Il existe un axiome très simple. Un contenu toxique (voire illégal) automatiquement rejeté par une IA est un contenu perturbant de moins devant être montré à un modérateur humain. Sachant que la plupart des contenus toxiques le sont très explicitement, il n’y a pas de valeur ajoutée à les soumettre systématiquement à un collaborateur.
« Cet aspect de préservation est très important. Les troubles psychologiques ou même physiques surviennent généralement par effet d’accumulation, de répétition, » selon Hervé Rigault. « S’il existe une part incompressible nécessitant une révision humaine pour levée de doute, voire un examen afin de faire l’objet d’une escalade interne ou un signalement aux autorités compétentes, il est également possible de se reposer sur l’IA afin de préserver au maximum les collaborateurs : floutage préventif, système de hash automatisé en cas de re-post d’un contenu déjà formellement identifié comme illégal, comme dans le cadre de contenus terroristes ou pédopornographiques,… »
Il poursuit. « Chez Netino, il nous paraît essentiel de savoir bien réagir face à un collaborateur présentant des signes de difficulté émotionnelle suite à l’exposition de contenus perturbants. Savoir bien réagir face à un collaborateur présentant des signes de difficulté émotionnelle suite à l’exposition de contenus perturbants est essentiel. Détection grâce à des canaux de communication ouverts, identification des facteurs à l’origine de cette situation, accompagnement personnalisé… Il est pour nous tout aussi fondamental d’aborder ces sujets en amont à travers la prévention et ainsi pouvoir éviter que ces situations ne surviennent et ne se transforment en problème invalidant pour l’agent. »
IA et modération : quelles perspectives ?
En conclusion, bien que les technologies d’IA soient dorénavant omniprésentes dans la modération en ligne, elles ne pourront jamais résoudre tous les problèmes. Actuellement, la modération en ligne par l’IA contient encore de nombreux biais. Par exemple, les contenus incorrectement bloqués, qu’on appelle des « faux positifs ». Et au contraire des contenus inappropriés non détectés, qui sont des « faux négatifs ». En effet, les nuances du langage humain et les contextes culturels sont encore parfois difficiles à interpréter pour une IA.
Dans le même ordre d’idée, mettre en œuvre une politique de modération à l’échelle mondiale pour une plateforme est un défi colossal. Selon les régions géographiques, les langues et les communautés, la désinformation en ligne se manifeste différemment. Si bien qu’une marque présente dans plusieurs pays se doit d’avoir une approche globale. « Est-ce nécessaire d’avoir une politique de modération à la fois globale et locale ? » Interroge Hervé Rigault.
Quoi qu’il en soit, la régulation et la transparence sont les grands chantiers à venir de la modération en ligne. Deux aspects à ne surtout pas prendre à la légère, puisqu’ils conditionnent au final un de nos droits inaliénables sur Internet, l’accès à l’information.
Pour en savoir plus sur Netino, rendez-vous sur sa page dédiée !
