Des milliards de paramètres ne garantissent pas une IA plus juste

Non, un modèle d’IA doté de milliards de paramètres n’est pas forcément meilleur. Il peut même en aligner dix fois plus qu’un concurrent sans fournir de réponses plus justes. Ce chiffre mesure surtout la taille du modèle, c’est-à-dire le nombre de coefficients numériques qu’il manipule, et beaucoup moins ce qu’il sait réellement faire.

Un nombre réglé, pas un savoir rangé

Sept milliards, soixante-dix milliards, puis davantage : les compteurs ont grimpé si vite qu’ils franchissent aujourd’hui le cap du millier de milliards pour les modèles les plus massifs. Que recouvrent ces chiffres ? Un paramètre est un coefficient propre au modèle, conservé d’une utilisation à l’autre, dont la valeur a été ajustée au cours de l’entraînement. Il ne s’agit ni d’un mot mémorisé, ni d’un fait stocké, ni d’un neurone artificiel.

Prise isolément, cette valeur ne révèle rien. Impossible de trouver le coefficient qui contiendrait « Paris », une règle de conjugaison ou une date historique. Les connaissances naissent de l’action conjuguée d’une masse énorme de paramètres. Le modèle ne se comporte donc pas comme une base de données qu’on remplirait au fil des lectures : il retient des régularités du langage, des associations et des liens entre notions. Il lui arrive tout de même de retenir mot pour mot certains passages de ses textes d’entraînement.

Où se logent les paramètres et à quoi ils servent

Comme l’explique un dossier de Clubic publié le 11 octobre 2026, ces coefficients s’organisent en plusieurs familles :

• Les tenseurs, des tableaux de nombres qui regroupent l’ensemble des paramètres.
• Les poids, qui en forment l’essentiel et multiplient les valeurs reçues.
• Les biais, présents selon l’architecture, qui ajoutent une valeur au résultat d’un calcul plutôt que de le multiplier.
• La table d’embeddings, où chaque token du vocabulaire reçoit sa représentation numérique de départ, elle aussi apprise.
• Les paramètres de normalisation, chargés de stabiliser les calculs intermédiaires.

Concrètement, un modèle de langage écrit un token après l’autre. À chaque étape, ses calculs donnent une note à tous les tokens de son vocabulaire, ces notes deviennent des probabilités, un token est retenu, puis tout recommence. Pendant que vous l’utilisez, les paramètres restent figés : ils ne bougent pas d’une requête à la suivante. Leur valeur a été fixée en amont, par d’innombrables petites corrections calculées d’après l’écart entre ce que le modèle produisait et ce qu’on attendait de lui.

La taille aide, sans garantir le résultat

À architecture et entraînement équivalents, passer de 7 à 70 milliards de paramètres augmente bien la capacité du modèle. Mais multiplier les coefficients par dix ne décuple ni les connaissances ni la qualité des réponses. Les données (volume et qualité), la puissance de calcul engagée, la conception du réseau, la durée et les méthodes d’entraînement pèsent parfois davantage.

Ce repère ne vaut donc que pour comparer des modèles construits et entraînés de façon proche.

Paramètres totaux ou actifs, le cas des mélanges d’experts

Encore faut-il savoir quels paramètres travaillent vraiment. Dans un modèle dit dense, presque tous interviennent pour chaque nouveau token. L’architecture à mélange d’experts procède autrement : un mécanisme d’aiguillage sélectionne certains groupes de paramètres, les experts, d’où la différence entre total annoncé et paramètres actifs. Ces experts ne sont pas de mini-IA dédiées aux mathématiques ou à la traduction ; leur choix dépend du token et de son contexte, et peut changer d’un mot à l’autre dans une même phrase.

Chez Mistral Large 4, moins d’un vingtième du total travaille donc à chaque étape, ce qui réduit la puissance de calcul nécessaire pendant la génération. Les paramètres laissés de côté ne disparaissent pas pour autant : ils restent disponibles et peuvent être appelés pour les tokens suivants.

Illustration générée par IA