Pourquoi personne ne sait précisément ce qu’un système d’IA sait faire, et pourquoi c’est devenu un risque d’entreprise cette année. Sur 445 articles de benchmark examinés, 16% indiquent une marge d’incertitude à côté du chiffre, et le législateur européen a reporté à décembre 2027 les règles pour l’IA à haut risque parce que personne n’avait écrit à temps comment se mesure la conformité.
Questions fréquentes
Pourquoi est-il si difficile de mesurer ce qu'un système d'IA sait vraiment faire ?+
Parce que l'étalon lui-même bouge. La mesure la mieux documentée montre que la longueur des tâches qu'un modèle gère double environ tous les trois mois depuis 2024 — mais lorsque l'organisation derrière cette mesure a remplacé sa série de tâches et son environnement de test en janvier 2026, les scores des mêmes modèles ont varié de 57 % vers le bas et 55 % vers le haut. Ce que vous mesurez dépend donc fortement de la manière dont vous mesurez.
Que signifie l'instabilité des benchmarks d'IA ?+
Qu'un chiffre dans un classement n'est pas une propriété fixe du modèle, mais varie avec le jeu de test choisi. Sur 445 articles de benchmark étudiés, seuls 16 % indiquent une marge d'incertitude sur le chiffre publié. Un score sans marge d'erreur paraît exact, mais dit peu de ce que le modèle fait dans votre contexte.
Pourquoi mesurer les performances de l'IA est-il devenu un risque d'entreprise ?+
Parce que chaque chiffre finit par orienter une décision : un investissement, une embauche, une clause contractuelle ou un marché public. Si ce chiffre n'est pas stable, la décision repose sur du sable. Le seul essai de terrain randomisé avec de vrais développeurs a même constaté un ralentissement de 19 % là où l'on attendait un gain de temps — l'effet mesuré s'écartait de l'effet supposé.
Que change le règlement européen sur l'IA pour la conformité de l'IA à haut risque, et pourquoi ce report ?+
Les obligations à haut risque exigent qu'un système satisfasse de manière démontrable à des critères mesurables. Le législateur européen s'est heurté au même mur que le secteur — personne n'avait défini à temps comment mesurer cette conformité — et a reporté les règles pour l'IA à haut risque à décembre 2027.
Comment une entreprise peut-elle évaluer de façon fiable les capacités d'un système d'IA avant un achat ?+
En ne se fiant pas à un seul chiffre de classement, mais en testant sur vos propres tâches, dans votre propre environnement, avec une marge d'incertitude explicite. Demandez les conditions de test derrière chaque chiffre et traitez un score sans marge d'erreur avec méfiance. La question n'est pas de savoir si l'IA fonctionne, mais si vous pouvez établir qu'elle fonctionne pour votre cas.