Méthodologie

Un banc d'essai part de tâches réelles, pas de démos scriptées. On note ce qui échoue autant que ce qui marche, et on compte les fois où il a fallu reprendre la main. Un outil qui réussit neuf fois sur douze est décrit comme réussissant neuf fois sur douze.

Chaque benchmark publie la liste des tâches, le matériel, les versions utilisées et la date. Quand c'est possible, les données brutes sont téléchargeables avec l'article. Un chiffre sans protocole est une opinion déguisée.

Sur les sujets d'actualité, chaque affirmation est rattachée à l'un des trois niveaux : confirmé officiellement, rapporté par une source fiable, ou rumeur. Le tri est visible dans le texte, le lecteur n'a pas à le refaire.

Les modèles changent sans prévenir. Une observation faite en août n'est pas forcément vraie en octobre : nos articles portent la date du test, et les révisions sont signalées plutôt que réécrites en silence.

Une correction est ajoutée en tête d'article, datée, et l'erreur d'origine reste lisible. Un média qui réécrit son passé ne vaut pas la peine d'être lu.

Ni article payé, ni lien acheté, ni test contre accès anticipé. Si un outil nous est fourni gratuitement, c'est écrit dans l'article. Le jour où il y aura de la publicité, elle sera identifiée comme telle et n'aura pas d'influence sur les tests.

On publie de la recherche sur la robustesse des systèmes de provenance et de filigrane, parce que c'est mesurable et que c'est un vrai sujet. On ne publiera pas d'outil ni de procédure destinés à faire passer un texte généré au travers d'un détecteur. La différence n'est pas cosmétique : publier un résultat de mesure informe, publier une méthode de contournement fournit une arme. Le premier a sa place ici, le second non.