Nous avons tous été formés par des décennies de science-fiction pour voir l’intelligence artificielle comme une menace pour notre avenir professionnel. L’idée est la suivante : si un robot IA peut faire un travail aussi bien qu’un humain – pour moins et avec moins d’indiscipline interpersonnelle – qui a besoin d’un humain ?
Le site d’actualités technologiques CNET a tenté de répondre à cette question, discrètement, voire secrètement. Le site utilise un moteur d’IA pour écrire des articles depuis des mois L’argent de CNET page finances personnelles. Les articles couvraient des sujets tels que, par exemple, « Qu’est-ce que l’intérêt composé ? » et « Que se passe-t-il si vous faites rebondir le chèque ? »
À première vue et pour les novices en finance, les articles semblaient concis et informatifs. CNET a poursuivi la pratique jusqu’au début du mois, date à laquelle il l’a fait publié par le site Futurisme.
Après un examen attentif du travail produit par l’IA de CNET, il ressemble moins à un générateur de texte sophistiqué qu’à une machine à plagiat automatisée qui pompe au hasard le travail volé.
— Jon Christian, Futurisme
Comme le futurisme l’a déterminé, les articles écrits par des robots ont des limites majeures. D’une part, beaucoup sont truffés d’erreurs. Deuxièmement, beaucoup sont pleins de plagiat, dans certains cas de CNET lui-même ou de ses sites frères.
Jon Christian de Futurism a abordé le problème du bogue directement dans l’article, déclarant que le problème avec l’article de CNET écrivant l’IA est que « Il est un peu fou. Christian a poursuivi cela avec un article qui a trouvé de nombreux exemples de “tout, de la copie textuelle à la légère modification en passant par une reformulation significative, le tout sans attribution appropriée à l’original”.
Pour ce niveau d’inconduite, un étudiant humain serait expulsé ou un journaliste serait renvoyé.
Nous avons écrit à ce sujet plus tôt les limites sous-estimées des nouvelles technologies, en particulier ceux qui semblent presque magiques, comme les applications d’intelligence artificielle.
Pour citer Rodney Brooks, scientifique et entrepreneur en robotique et en intelligence artificielle j’ai écrit la semaine dernière « Il existe une véritable industrie artisanale à deux faces dans les médias sociaux ; l’un regorge de performances virtuoses de ces systèmes, peut-être pointilleux, et l’autre montre à quel point ils sont inaptes à des choses très simples, pointilleux encore. Le problème est qu’en tant qu’utilisateur vous ne savez pas ce que vous allez obtenir.”
Cela nous ramène au bot d’écriture d’articles de Crumpe. CNET n’a pas identifié l’application d’IA spécifique qu’il a utilisée, bien que le timing suggère qu’il ne s’agissait pas de ChatGPT, le générateur de langage d’IA qui a provoqué beaucoup de buzz parmi les technologues et des inquiétudes parmi les enseignants pour sa capacité apparente à produire un travail écrit qui peut être difficile à distinguer d’un humain.
CNET n’a pas rendu la contribution de l’IA à ses articles particulièrement évidente, n’ajoutant qu’un petit texte : “Cet article a été propulsé par un moteur d’IA et revu, revu et édité par notre équipe éditoriale.” Plus de 70 articles ont été attribués “Personnel d’argent CNET.” Depuis que Futurism a été publié, la signature a été changée en simplement “CNET Money”.
La semaine dernière, selon Verge, Les dirigeants de CNET ont déclaré aux employés que le site suspendrait pour le moment la publication de matériel généré par l’IA.
Comme l’a démontré Futurism’s Christian, les erreurs dans les articles du bot allaient de définitions incorrectes fondamentales des termes financiers à des simplifications excessives injustifiées. Dans un article de CNET sur les bots à intérêts composés, on écrivait à l’origine : « Si vous mettez 10 000 $ dans un compte d’épargne qui rapporte 3 % d’intérêts par an, vous gagnerez 10 300 $ à la fin de la première année.
C’est faux – les gains annuels ne seraient que de 300 $. L’article a depuis été corrigé pour lire que “vous gagnerez 300 $ qui, ajoutés au capital, seraient de 10 300 $ à la fin de la première année”.
Le bot a également initialement décrit les paiements d’intérêts sur un prêt automobile de 25 000 $ à 4 % d’intérêt comme “un montant fixe de 1 000 $… par an”. Ce sont des remboursements de prêt automobile, comme les hypothèques, qui sont fixes – des intérêts ne sont facturés que sur les soldes impayés qui diminuent au fur et à mesure que vous payez. Même sur un prêt automobile d’un an, un intérêt de 4 % ne représente que 937 $. Pour les prêts à plus long terme, le total des intérêts payés diminue chaque année.
CNET l’a également corrigé, ainsi que cinq autres erreurs dans le même article. Mettez tout cela ensemble, et l’affirmation du site selon laquelle son bot AI a été “révisé et édité par nos éditeurs” commence à paraître un peu mince.
Le plagiat du bot est plus perceptible et fournit un indice important sur le fonctionnement du programme. Christian a découvert que le bot semblait reproduire du texte provenant de sources telles que Forbes, Balance et Investopedia, qui occupent toutes le même domaine de conseils financiers personnels que CNET Money.
Dans ces cas, le bot a utilisé des techniques de dissimulation similaires à celles des plagiaires humains, telles que des reformulations mineures et des substitutions de mots. Dans au moins un cas, le bot a plagié Bankrate, la publication sœur de CNET.
Rien de tout cela n’est particulièrement surprenant, puisque l’une des clés de la fonction des robots linguistiques est leur accès à la grande quantité de prose et de vers produits par les humains. Ils peuvent être doués pour trouver des modèles dans le matériel source qu’ils peuvent reproduire, mais à ce stade du développement de l’IA, ils sélectionnent encore des cerveaux humains.
La cohérence et la force de persuasion impressionnantes de la production de ces programmes, jusqu’à ChatGPT inclus, semblent davantage liées à leur capacité à sélectionner des matières premières créées par l’homme qu’à leur capacité à développer de nouveaux concepts et à les exprimer.
En effet, “l’examen détaillé par CNET du travail produit par l’IA ressemble moins à un générateur de texte sophistiqué qu’à une machine à plagiat automatisée qui pompe au hasard le travail volé”, a écrit Christian.
Il est difficile de déterminer où nous nous situons sur le continuum entre l’incohérence générée par les robots et l’expression véritablement créative. Jeff Schatten, professeur à l’Université Washington and Lee, a écrit dans un article en septembre que le bot linguistique le plus sophistiqué à l’époque, connu sous le nom de GPT-3, avait des limites évidentes.
“Il rencontrera des tâches d’écriture difficiles”, a-t-il écrit. « Il ne peut pas faire un roman ou une nouvelle décente. Ses tentatives d’écriture scientifique… sont risibles. Mais combien de temps cette capacité existera-t-elle ? Il y a six mois, GPT-3 était aux prises avec des requêtes primitives, et aujourd’hui, elle peut écrire un article de blog raisonnable sur la façon dont un employé peut obtenir une promotion d’un patron réticent.
Il est probable que ceux qui ont besoin d’évaluer le travail écrit, comme les enseignants, auront de plus en plus de mal à distinguer le matériel généré par l’IA de la production humaine. Un professeur a récemment rapporté qu’il avait surpris un étudiant en train de remettre un papier écrit par un robot à l’ancienne – c’était trop beau.
Au fil du temps, la confusion quant à savoir si quelque chose est fabriqué par un robot ou un humain peut dépendre non pas des capacités du robot, mais des capacités des humains responsables.
