Democracy Reporting International, une organisation à but non lucratif basée à Berlin, a posé diverses questions sur les élections européennes à Gemini de Google (NASDAQ:GOOGL), ChatGPT 3.5 et 4.0 d'OpenAI et Copilot de Microsoft (NASDAQ:MSFT) pour voir quelles réponses ils obtiendraient.
Entre le 11 et le 14 mars, les chercheurs ont posé aux chatbots 400 questions dans dix langues différentes sur les élections et le processus de vote dans dix pays de l'UE. Les questions étaient rédigées dans un langage simple, adapté à l'utilisateur moyen de ces chatbots.
Conclusion : aucun des quatre chatbots n'a été en mesure de "fournir des réponses fiables" à des questions basiques liées aux élections, bien qu'ils aient été réglés pour éviter les réponses partisanes.
"Nous n'avons pas été très surpris", a déclaré Michael-Meyer Resende, directeur exécutif de Democracy Reporting International, à Euronews Next à propos des résultats de leur enquête.
"Lorsque vous demandez [aux chatbots d'IA] quelque chose pour lequel ils n'ont pas beaucoup de matériel et pour lequel vous ne trouvez pas beaucoup d'informations sur Internet, ils inventent tout simplement quelque chose".
Cette étude est la dernière en date à montrer que les chatbots d'IA diffusent des informations erronées au cours de ce que beaucoup considèrent comme la plus grande année électorale au monde.
En décembre dernier, AlgorithmWatch, une autre organisation à but non lucratif basée à Berlin, a publié une étude similaire montrant que Bing Chat, le chatbot piloté par l'IA sur le moteur de recherche de Microsoft, répondait de manière erronée à une question électorale sur trois en Allemagne et en Suisse.
A la lumière des résultats de l'étude, Google - dont le Gemini s'est avéré fournir le plus d'informations trompeuses ou fausses et le plus grand nombre de refus de répondre aux requêtes - a confirmé à Euronews Next qu'il avait désormais placé des restrictions supplémentaires sur son grand modèle de langage (LLM).
Les chatbots "utiles plutôt qu'exacts"
Par exemple, l'étude a montré que les chatbots sont généralement favorables au vote mais soulignent qu'il s'agit d'un choix personnel, malgré le fait que le vote est obligatoire en Grèce, en Belgique, au Luxembourg et en Bulgarie.
L'étude a également révélé que les chatbots fabriquaient des informations s'ils ne connaissaient pas la réponse, et qu'ils s'étaient notamment trompés à plusieurs reprises sur la date des élections.
Par exemple, trois des chatbots ont commis la même erreur en disant aux utilisateurs qu'ils pouvaient voter par correspondance au Portugal, alors qu'en réalité, ce n'est pas une option pour l'électorat portugais.
En Lituanie, Gemini a prétendu que le Parlement européen enverrait une mission d'observation des élections, ce qui est faux (la seule prévue pour 2024 est celle du Bangladesh).
M. Resende interprète ces résultats comme la "tendance des chatbots à vouloir être "utiles" plutôt qu'exacts".
Les choses se sont compliquées lorsque les chercheurs ont examiné les réponses dans différentes langues européennes.
Les chercheurs ont posé la même question dans dix langues officielles de l'UE et, dans certaines d'entre elles, les plateformes refusaient de répondre (comme Gemini en espagnol) ou confondaient les informations sur les élections locales avec le processus européen.
C'était le cas lorsque les questions étaient posées en turc, la langue qui a suscité le plus grand nombre de réponses inexactes et fausses.
Les chatbots donnaient également des réponses différentes lorsqu'on leur posait plusieurs fois la même question dans la même langue, ce que les chercheurs ont qualifié d'"aléatoire".
Les performances varient d'un chatbot à l'autre
Pourtant, il répond encore à certaines questions sur les élections, bien que Google ait restreint Gemini en mars dans le but d'éviter des "erreurs potentielles" dans la façon dont la technologie est utilisée.
Un porte-parole de Google a déclaré à Euronews Next que ces restrictions ont été étendues à toutes les questions posées dans cette étude et aux dix langues utilisées, une "approche responsable" pour faire face aux limites des grands modèles linguistiques.
Google a encouragé ses utilisateurs à utiliser Google Search plutôt que Gemini pour trouver des informations précises sur les élections à venir.
M. Resende, de l'organisation Democracy Reporting International, a déclaré que c'était la voie à suivre pour les autres plateformes.
"Nous pensons qu'il vaut mieux qu'elles refusent de répondre plutôt que de donner de fausses réponses", a déclaré M. Resende.
L'organisation à but non lucratif reconduira ses tests Gemini au cours des prochaines semaines pour voir si Google respecte ses engagements, a déclaré M. Resende.
Dans une déclaration à Euronews Next, Microsoft a décrit ses actions avant les élections européennes, y compris une série d'engagements de protection des élections qui "aident à protéger les électeurs, les candidats, les campagnes et les autorités électorales".
L'un de ces engagements consiste à fournir aux électeurs des "informations électorales fiables" sur Bing.
"Bien qu'aucune personne, institution ou entreprise ne puisse garantir des élections libres et équitables, nous pouvons faire des progrès significatifs dans la protection du droit de chacun à des élections libres et équitables", peut-on lire dans la déclaration de Microsoft.
OpenAI n'a pas répondu à la demande de commentaire d'Euronews Next.
L'entreprise a expliqué dans une déclaration sur son site web que son approche du contenu lié aux élections consistait à "poursuivre le travail de sécurité de la plateforme en mettant en avant des informations précises sur le vote" et en améliorant la transparence de l'entreprise.
Les évaluations des risques doivent être publiées
Ces évaluations des risques incluraient toute "manipulation intentionnelle" de leurs services et leur impact potentiel sur les "processus électoraux".
La DSA a été présentée à l'époque par Margrethe Vestager, vice-présidente exécutive de la Commission européenne pour une Europe adaptée à l'ère numérique, comme "une étape importante" et un élément majeur de la stratégie de l'Union européenne pour "façonner un monde en ligne plus sûr et plus transparent".
Cependant, le rapport de Democracy Reporting International suggère que les exigences de la DSA, y compris les évaluations de risques, les tests et la formation pour atténuer les risques liés aux élections, ne sont pas respectées.
M. Resende a donc déclaré que la Commission ou les entreprises à l'origine des chatbots devraient publier ces évaluations.
"Je crains qu'ils ne soient réticents à partager [les évaluations de risques] avec le public, soit parce qu'ils ne l'ont pas fait, soit parce qu'ils n'ont pas confiance dans le niveau de détail qu'ils ont investi dans ce domaine", a déclaré M. Resende.
Bien que la Commission n'ait pas répondu directement à cette étude, un porte-parole a déclaré dans un courriel que la Commission "reste vigilante quant aux effets négatifs de la désinformation en ligne, y compris la désinformation alimentée par l'IA".
Un mois après le lancement officiel de la DSA, la Commission a lancé une demande d'information auprès de Bing et de Google Search afin de recueillir plus d'informations sur leurs "risques d'atténuation liés à l'IA générative".
La Commission a confirmé à Euronews Next qu'elle examinait les informations reçues dans le cadre de cette enquête, mais n'a pas donné plus de détails.
En mars, la Commission a également signé un code de pratique sur la désinformation avec des plateformes telles que Google et Microsoft, dans lequel elles s'engagent à promouvoir des informations de haute qualité et faisant autorité auprès des électeurs.