Huawei heeft zijn betrapt op het optimaliseren van een aantal van de top smartphones te voeren op de benchmark-tests. Op dinsdag, AnandTech ontdekt dat Huawei ‘ s P20 had geprogrammeerd is voor het maximaliseren van de prestaties specifiek bij het uitvoeren van 3DMark, een populaire benchmarking app. Vandaag de dag, het bedrijf achter 3DMark gevolgd door een verklaring te zeggen dat het bevestigd had de bevindingen en zou delist de P20, evenals drie andere Huawei telefoons met hetzelfde gedrag, van de benchmark, leaderboards.
Het aandeel telefoons zijn de P20 P20 Pro, Nova 3, en Eer Spelen. Huawei toegelaten tot dit gedrag in staat om Android Authority, zeggende dat de telefoons zijn ontworpen met het aanpassen van hun prestaties, gebaseerd op de app die actief is.
Huawei zei dat het was AI, maar UL vond het niet
Maar de manier waarop dat Huawei geïmplementeerd dat het gedrag niet is toegestaan. Terwijl telefoons kunnen aanpassen van hun prestaties als onderdeel van hun typische gedrag onder hoge werklast, kunnen ze niet hard gecodeerd om het maximaliseren van hun gedrag alleen maar omdat een specifieke benchmark app wordt uitgevoerd. Dat is wat Huawei lijkt te hebben gedaan, volgens UL, die achter de 3DMark software.
Wanneer UL liep een interne versie van 3DMark, die Huawei ‘ s telefoons is niet te herkennen in de naam van de telefoons slechter presteerden in de test. Dat gaf aan dat de telefoons niet slim genoeg om te identificeren met een hoog prestatie-eisen op hun eigen, wat betekende dat de benchmark-score was niet een accurate weerspiegeling is van hoe de telefoon zou omgaan met een typische app zonder speciale aandacht van Huawei.
Als straf, 3DMark heeft verwijderd van deze telefoons’ ranglijst van de leaderboard en versierden hun aanbiedingen op haar website met een opmerking dat de telefoon “fabrikant niet heeft voldaan, met UL-benchmark regels.” Veel van de resultaten zijn verwijderd.
Huawei is verre van het eerste bedrijf om betrapt te spelen met benchmark resultaten. Samsung busted voor hetzelfde gedrag op zijn vlaggenschip telefoons in 2013, en vorig jaar, OnePlus werd gevonden te hebben hetzelfde gedaan. Deze timing is met name jammer voor Huawei, omdat het slechts enkele weken geleden kreeg het gevangen proberen te laten doorgaan van een DSLR met een foto van een foto van één van haar telefoons.
Anderen zijn gevangen doen dit in het verleden
Wat is er grappig over dit alles is dat benchmarks niet echt zo veel uit. Het afstellen van een telefoon om te optimaliseren benchmark apps kunnen produceren een aantal nummers die een klein deel van de nerds kwijlen, maar die nummers niet verhouden tot de werkelijke ervaring van het gebruik van de telefoon. Zij kunnen spreken over hoe goed de telefoon voert onder zware belasting, zoals tijdens het spelen van games, maar een betere test is om gewoon het spelen van een spel en ontdek wat er gebeurt.
Huawei ook geeft dit toe. In zijn verklaring, het bedrijf zei dat het “altijd prioriteit geeft aan de gebruiker de ervaring in plaats van het nastreven van hoge benchmark scores, vooral omdat er geen directe verbinding tussen de smartphone benchmarks en ervaringen van gebruikers.” En toch is het nog steeds gecodeerd zijn telefoon af te leveren hogere prestaties bij het uitvoeren van een benchmark test.
Maar Huawei beweert ook dat de telefoons opnemen van AI dat is slim genoeg om de prestaties te optimaliseren op basis van welke app actief is en duidelijk is dat niet het geval. Als dat zo was, dan het stimuleren van de prestaties voor benchmarks zou eerlijk spel — maar zoals het is, het is niet een echte afspiegeling van hoe de telefoon voert in veeleisende situaties.