Les benchmarks pour smartphones ont encore été trompés

Photos de Pexels sur Smartphone de Pixabay

De nombreuses marques célèbres « pressent » le matériel avec une astuce. Les résultats des tests de performance sont ainsi falsifiés

Critères de référence utilisés dans l’industrie des smartphones sont de moins en moins crédiblesHier, le site spécialisé Anandtech a découvert la dernière « fraude« Le système de gestion de l’information est mis en œuvre par certaines lignes de systèmes sur puce (SoC) de Mediatek. La question des responsabilités est complexe, mais ce qui est certain, c’est que les consommateurs qui examinent les résultats de l les tests effectués sur le matériel des smartphones ont été trahis.

L’affaire Mediatek

Le célèbre spécialiste anglais des journaux, Andrei Frumusanu, a expliqué comment plusieurs puces Mediatekdont les Helio P95, P90, G70 et P20, montés sur certains modèles de smartphones Oppo, Vivo, Realme et d’autres marques, ont dans la firmware d’un mode « sport qui n’est activé que lorsque le logiciel d’analyse comparative est présent. En pratique, à l’instar de ce que vous avez déjà vu avec le dieselgate, lorsque vous démarrez AndroBench2, PCMark, Antutu, Antutu 3DBench, Geekbench, Composez le et bien d’autres encore logiciel de test Les terminaux mobiles permettent une configuration qui autorise des réponses apparemment plus élevées que la normale. « Apparemment » parce que les tests fournissent des indicateurs de performance numériques, et non des données sur la vitesse, la réactivité ou quoi que ce soit d’autre.

Par exemple, en comparant la version européenne de l’Oppo Reno3 Pro avec le chipset Mediatek Helio P95 et la version chinoise avec le chipset Mediatek Dimensity 1000L, Frumusanu a étrangement détecté les meilleurs résultats pour la première que le second – bien que ce dernier soit plus récent et plus puissant. Utiliser, donc, une version anonyme de PCMarkfourni directement par la société de développement UL, il a été découvert un écart général de 30 % dans les résultats. et 70 % dans certains tests secondaires comme la charge de travail de rédaction.

Ce qui m’a vraiment choqué, c’est l’inclusion d’une version corporate de GFXBench par Kishonti« , a souligné le journaliste. “Il n’avait pas la suggestion de nourrir en mode sportif configuré dans la liste (du firmware, Note de la rédaction), mais a évidemment modifié les paramètres par défaut du DVFS (Dynamic voltage scaling), du thermique et du programmateur lors de l’utilisation de l’application”.

En résumé, plusieurs paramètres de base qui conditionnent le fonctionnement des composants matériels, en présence d’un logiciel d’analyse spécifique, mettent le turbo.

MediaTek suit les normes industrielles reconnues et estime que les tests de référence représentent avec précision les capacités de nos pucesa commenté l’entreprise de fabrication de puces. “Nous travaillons en étroite collaboration avec les fabricants mondiaux de dispositifs lorsqu’il s’agit de tester et d’évaluer les dispositifs basés sur nos jeux de puces, mais en fin de compte, les marques ont la souplesse de configuration comme ils l’entendent. De nombreuses entreprises conçoivent des dispositifs capables de fonctionner aux niveaux de performance les plus élevés possibles lorsqu’elles effectuent des tests de référence afin de montrer la fonctionnalité complète du jeu de puces. Cela révèle la limite supérieure des capacités de performance sur un jeu de puces donné.”.

Les puces MediaTek sont conçues pour optimiser la puissance et les performances, afin d’offrir la meilleure expérience possible à l’utilisateur tout en maximisant laà la durée de vie des piles. Si quelqu’un exécute un programme de calcul intensif comme un jeu de défi, le chipset s’adaptera intelligemment aux modèles de traitement pour fournir des performances durables. Cela signifie qu’un utilisateur verra différents niveaux de performance selon l’application car le chipset gère dynamiquement les ressources CPU, GPU et mémoire en fonction de la puissance et des performances requises […]. En outre, certaines marques ont différents types de modes activés dans différents pays, de sorte que les performances de l’appareil peuvent varier en fonction des besoins du marché national »..

Une réponse légitime qui, cependant, ne résout pas totalement la question, car à ce stade, un consommateur reçoit une donnée qui concerne un indice de performance lié à un logiciel de test plutôt qu’à une utilisation potentiellement réelle. Il convient donc de noter que la dernière mise à jour du micrologiciel de l’Oppo a supprimé de manière inattendue les chaînes concernant le « sport”.

Précédent Samsung et Honor

La question de la fraude de référence n’est pas nouvelle et l’un des cas les plus frappants a sans doute été celui de la Samsung en 2013. À l’époque, Anandtech a toujours découvert des anomalies dans les tests concernant le Samsung Galaxy S4 équipé du SoC Exynos 5 octa. Bien que le SoC fonctionnait normalement à 480 MHz, avec GKBenchmark, Antutu et d’autres logiciels de test, cette fréquence a atteint 532 MHz – avec des effets secondaires positifs évidents sur les indices de performance. Une augmentation similaire a été déclenchée sur d’autres paramètres et là aussi elle a été découverte dans le firmware un soi-disant « mode « boost. L’enquête a continué à révéler l’astuce non seulement sur la ligne Exynos 5410, mais aussi sur le Snapdragon 600 monté sur différents modèles de smartphones (HTC One, LG G2, Moto X, etc.). L’histoire s’est terminée par une action collective Américain qui a vu Samsung contraint de payer 13,4 millions de dollars.

Depuis lors, selon Anandtech… les producteurs chinois, en particulier, ont tiré parti de cette technique. Les développeurs de tests logiciels ont réagi en éliminant les résultats de nombreux modèles de leurs bases de données, mais cela n’a pas suffi car en 2018, c’était au tour deHonor Play. Huawei, à qui la marque fait référence, a admis la pratique en rappelant que « d’autres feront les mêmes tests, obtiendront des scores élevés et Huawei ne pourra pas se taire”. L’espoir de Wang Chenglu, président de l’unité de logiciels de Huawei, était qu’il en vienne à tester plus proche de l’expérience de l’utilisateur.