EN BREF |
|
Les avancées récentes de l’intelligence artificielle (IA), notamment les modèles de langage de grande taille comme GPT-4, ont suscité un intérêt considérable. Ces technologies semblent imiter la pensée humaine, mais une étude récente, publiée dans le journal Transactions on Machine Learning Research, remet en question cette apparence. Les chercheurs Martha Lewis et Melanie Mitchell ont examiné dans quelle mesure ces modèles gèrent les problèmes d’analogie, révélant des lacunes significatives dans leurs capacités de raisonnement. Cette découverte pourrait avoir des implications profondes dans des domaines cruciaux tels que l’éducation, la médecine et le droit, où une véritable compréhension est essentielle.
Le raisonnement par analogie : un défi pour l’IA
Le raisonnement par analogie permet de comprendre de nouvelles situations en les comparant à des connaissances antérieures. Par exemple, comprendre que « tasse est à café » comme « bol est à soupe » implique une connexion entre récipient et contenu. Ce type de raisonnement est crucial car il teste la pensée abstraite. Alors que les humains excellent naturellement dans cet exercice, les modèles d’IA, en revanche, peinent souvent à établir de telles connexions profondes.
Lewis et Mitchell ont testé les modèles GPT sur des problèmes d’analogie impliquant des chaînes de lettres, des matrices de chiffres, et des analogies d’histoires. Les résultats ont montré que, bien que ces modèles puissent parfois imiter les réponses humaines sur des problèmes familiers, ils échouent généralement lorsque les problèmes sont légèrement modifiés. Les humains, en revanche, réussissent à transférer les règles abstraites à de nouveaux contextes, soulignant une différence fondamentale entre l’apprentissage humain et l’apprentissage machine.
Les limites des modèles face aux motifs de lettres
Les problèmes de chaînes de lettres illustrent bien les limites des modèles d’IA. Par exemple, si « abcd » devient « abce », la transformation est simple à comprendre. Cependant, lorsque les règles deviennent plus abstraites, comme la suppression de lettres répétées, les modèles trébuchent. Un humain reconnaîtra que « abbcd » se transforme en « abcd » par suppression des lettres répétées, mais GPT-4 échoue souvent à appliquer cette logique à de nouvelles chaînes de lettres comme « ijkkl ».
Les chercheurs ont également modifié l’ordre ou la position des lettres et remplacé celles-ci par des symboles. Dans ces cas, les performances des modèles GPT se sont dégradées, tandis que les humains continuaient de donner les bonnes réponses. Cela démontre que les modèles d’IA sont souvent limités par les motifs déjà vus lors de leur entraînement, et qu’ils ne comprennent pas vraiment la logique sous-jacente.
Les nombres : un autre obstacle pour les machines
Dans l’étude, l’analyse des matrices de chiffres a révélé des faiblesses similaires. Les participants devaient identifier un nombre manquant basé sur un motif dans une grille, un peu comme un Sudoku. Les humains n’ont eu aucun mal à s’adapter lorsque le nombre manquant n’était pas toujours dans le coin inférieur droit, mais les modèles GPT ont vu leurs performances chuter drastiquement.
Un autre test a remplacé les chiffres par des symboles, ce qui n’a pas perturbé les humains ni les machines. Cependant, la baisse de précision des modèles dans le premier scénario souligne leur dépendance à des attentes fixes plutôt qu’à un raisonnement flexible. Cela montre que les IA actuelles sont encore loin de maîtriser une véritable compréhension analogique, essentielle pour une application dans des contextes variés.
Les récits et la compréhension contextuelle
Les problèmes d’analogies basés sur des histoires ont également mis en lumière les faiblesses des modèles GPT. Lorsqu’on leur demande de lire une histoire et de choisir l’histoire la plus similaire parmi deux options, les modèles peinent à aller au-delà de la correspondance de surface. Ils sont influencés par l’ordre des réponses proposées, ce qui n’affecte pas les humains. De plus, lorsque les histoires sont reformulées, même si le sens reste identique, les modèles ont du mal à maintenir leur précision.
Cette incapacité à saisir la logique sous-jacente plutôt que de se fier à des détails superficiels est préoccupante. Dans des domaines où chaque mot compte, comme le droit, une petite modification de formulation peut dissimuler ou révéler un détail critique, ce que les modèles d’IA pourraient rater, entraînant des conséquences importantes.
En conclusion, l’étude met en lumière les limitations des modèles d’IA actuels en matière de raisonnement analogique, une compétence cruciale dans de nombreux domaines. La capacité des humains à généraliser et appliquer des règles abstraites dans des contextes nouveaux reste inégalée par les machines. Alors que l’IA continue de progresser, comment pourrions-nous exploiter ces avancées tout en tenant compte de ces limitations pour garantir une utilisation éthique et efficace dans des situations réelles ?
Ça vous a plu ? 4.4/5 (30)
Je trouve que l’article met bien en lumière les limites actuelles de l’IA. Merci pour cette analyse !
Intéressant, mais pensez-vous que l’IA finira par surmonter ces limitations de raisonnement ? 🤔
Les machines ne seront jamais aussi créatives que nous, c’est rassurant !
On dirait que l’IA a encore un long chemin à parcourir avant de penser comme nous.
Même si l’IA ne pense pas comme nous, elle peut être un outil formidable dans les mains d’un humain avisé.
En gros, l’IA est bonne pour le copier-coller mais pas pour l’innovation, c’est ça ? 😅
Les chercheurs ont-ils proposé des solutions pour améliorer le raisonnement des IA ?
L’article des chercheuses date de février 2024. Celui-ci d’Avril 2025.
Les conclusions, comme les modèles utilisés, sont « outdated » ou ont été largement mis à jour depuis.
Ça n’a pas grand intérêt.