Un projet IA sud-africain est conçu pour détecter le langage qui pourrait susciter la violence

PERSONNEL D’ADF

L’organisation Media Monitoring Africa (MMA) d’Afrique du Sud développe un outil d’intelligence artificielle conçu pour surveiller les articles des réseaux sociaux et détecter ceux qui sont soupçonnés d’inciter à la violence.

Insights into Incitement ou I3 analysera les données de texte, notamment les articles des réseaux sociaux, les reportages, les commentaires des partis politiques et les réclamations publiques. Ensuite, il les ordonnera selon la probabilité qu’un commentaire particulier incite à la violence. Un tableau de bord publiquement disponible compilera les données dans un format consultable.

Le projet est une réponse à la violence de 2021 dans les provinces du KwaZulu-Natal et du Gauteng, après l’emprisonnement de l’ancien président Jacob Zuma pour outrage au tribunal. Les émeutes et le pillage qui ont été déclenchés ont conduit à la mort de 300 personnes et des dommages matériels de plusieurs millions de dollars. Une enquête conduite ultérieurement par la Commission des droits de l’homme d’Afrique du Sud a mis en évidence la façon dont les commentateurs des plateformes de réseaux sociaux avaient provoqué et initié la violence.

Les développeurs du projet ont écrit sur son site web : « Les minorités sont sujettes à des risques particuliers, alimentés par la xénophobie et l’anti-africanisme, ainsi que les groupes vulnérables, notamment les femmes. ».

Media Monitoring Africa est une organisation sans but lucratif qui œuvre pour combattre la mésinformation et la désinformation en encourageant l’éthique dans le journalisme.

Pour les besoins d’entraînement du logiciel I3, l’incitation est définie comme une communication écrite qui encourage, glorifie ou fait directement appel à des actes de violence. Les développeurs I3 l’entraînent en utilisant des mots et des phrases qui se retrouvent fréquemment dans les articles d’incitation. Cet entraînement aide le logiciel à identifier les cas d’incitation sur les réseaux sociaux. Il les étiquette en rouge, jaune ou vert, selon le danger qu’ils représentent, avec les risques les plus élevés indiqués par la couleur rouge.

I3 développe les travaux existants de MMA concernant la mésinformation, la désinformation et son site web Real411.org, qui permet au public de signaler les communications numériques préjudiciables.

À mesure que les outils IA tels que I3 se multiplient en Afrique, il est ironique de découvrir que certains commentaires provoquant potentiellement l’incitation et identifiés par l’outil I3 auraient pu être créés par d’autres outils IA tels que ChatGPT.

Les chercheurs de Freedom House ont écrit dans un rapport de 2023 sur l’IA : « Les périodes électorales et les époques de crise politique ont servi de points sensibles pour un contenu créé par l’IA. Les campagnes de désinformation produites par IA victimisent disproportionnellement et vilipendent des segments de la société qui sont déjà menacés. Dans les cas extrêmes, cela pourrait galvaniser la violence contre des individus ou des communautés entières. »

Les experts de la technologie et les défenseurs de la liberté d’expression continuent à indiquer le besoin de rambardes pour assurer que les outils IA tels que l’I3 soient employés de façon appropriée, partout où ils sont employés.

Les chercheurs de Freedom House écrivent : « Les innovations dans le domaine de l’IA ont permis aux gouvernements d’effectuer une censure plus précise qui est moins décelable, en réduisant au minimum les réactions publiques et en réduisant le coût politique pour les gens au pouvoir. »

Sur LinkedIn, l’avocate sud-africaine Zinhle Novazi écrit : « MMA souligne que l’incitation en ligne peut conduire à la violence dans le monde réel, et cet outil (I3) est essentiel pour fournir des indications afin de prévenir ces événements. »

La professeure Novazi est maître de conférences à l’université Stellenbosch et experte en matière de technologie et de droit. Elle note que l’I3 peut réduire à seulement quelques heures le temps nécessaire pour retirer les menaces violentes, et dit que ce changement apporte « une amélioration importante comparé aux processus judiciaires traditionnels qui peuvent nécessiter des semaines ou des mois ».

Elle écrit sur LinkedIn que le projet I3, bien que louable pour essayer d’améliorer la sécurité publique, suscite des préoccupations concernant l’impact potentiel sur la liberté d’expression et la possibilité d’un emploi abusif.

« Le défi consiste à assurer que l’outil soit utilisé de façon responsable sans enfreindre les expressions légitimes d’opinion ou de désaccord. »