ChatGPT, un chatbot d’intelligence artificielle d’OpenAI, a fait des vagues dans le paysage technologique grâce à ses capacités extraordinaires. Cet outil de pointe a attiré l’attention de géants de la technologie et d’écrivains renommés, qui le considèrent comme un développement révolutionnaire de l’IA.

Les caractéristiques remarquables du ChatGPT ont même amené certains experts à penser qu’il pourrait avoir réussi le test de Turing, une mesure conçue pour évaluer l’aptitude d’une machine à imiter l’intelligence humaine. Le modèle d’IA a fait preuve de compétences exceptionnelles dans une multitude de domaines, notamment les mathématiques (89e percentile), le droit (90e percentile) et les compétences verbales du GRE (99e percentile).

Une étude intéressante menée au début du mois par des chercheurs de l’école de médecine de l’université de New York a loué la capacité du ChatGPT à dispenser des conseils médicaux, qui reflète étroitement celle du personnel médical humain. Cependant, la fiabilité du ChatGPT dans les situations de prise de décision critique continue d’être débattue par certains chercheurs.

Incohérences de performance de ChatGPT Une équipe composée de Lingjiao Chen, Matei Zaharia et James Zhu de l’université de Stanford et de l’université de Californie à Berkeley a exprimé des préoccupations similaires à celles de certains utilisateurs concernant la cohérence et la baisse potentielle des performances de ChatGPT, comme l’a rapporté Science X Network.

Lire aussi : « Threads perd-il son fil conducteur ? Un regard plus attentif sur le rival d’Instagram sur Twitter »

Leur enquête sur les performances et le comportement de GPT-3.5 et GPT-4 a révélé des fluctuations importantes, avec une diminution notable des réponses à certaines tâches entre mars et juin.

Les chercheurs se sont attachés à évaluer les capacités du ChatGPT à résoudre des problèmes mathématiques et à générer du code informatique. Ils ont constaté une chute spectaculaire du taux de précision du GPT-4 pour les problèmes liés aux nombres premiers, qui est passé de 97,6 % en mars à 2,4 % en juin, ce qui est surprenant.

L’utilité de ChatGPT pour aider les programmeurs dans leurs tâches de codage et de débogage a également été mise à mal. GPT-4 a produit des scripts précis et prêts à être exécutés dans plus de 50 % des cas en mars. Toutefois, ce chiffre a fortement chuté pour atteindre à peine 10 % en juin. Dans le même temps, les performances de GPT-3.5 ont connu une baisse similaire, passant de 22 % en mars à seulement 2 % en juin.

Les raisons de ces variations ne sont pas claires, mais les chercheurs supposent que des modifications et des mises à jour du système pourraient en être la cause. Comprendre la cause de ces variations de performances s’avère difficile en raison de la nature intrinsèquement complexe et non transparente de ces modèles linguistiques.

Sans surprise, ces incohérences ont suscité des théories, notamment des allégations selon lesquelles l’OpenAI expérimente des modèles d’apprentissage du langage (LLM) plus petits afin de réduire les dépenses. Certains ont même suggéré qu’OpenAI pourrait délibérément nuire à GPT-4 pour encourager les utilisateurs à opter pour le module complémentaire LLM de GitHub, CoPilot.

OpenAI a catégoriquement démenti ces allégations. Dans un tweet, Peter Welinder, vice-président des produits d’OpenAI, a confirmé l’engagement continu de l’organisation à améliorer ChatGPT, en veillant à ce que chaque nouvelle version soit supérieure à la précédente.

Néanmoins, la « dérive » potentielle des résultats du modèle continue d’inquiéter certains observateurs, qui demandent à l’OpenAI d’accroître sa transparence. Ils suggèrent que la révélation des sources des données de formation, du code et d’autres aspects fondamentaux du GPT-4 pourrait atténuer ces préoccupations.