Huawei har vært fanget optimalisere noen av sine topp smarttelefoner til over-utføre på ytelsestester. På tirsdag, AnandTech oppdaget at Huawei P20 hadde vært programmert til å maksimere ytelsen spesielt når du kjører 3DMark, en populær benchmarking-appen. I dag, selskapet bak 3DMark følges opp med en erklæring som sa at det hadde bekreftet funn og ville stryke den P20, samt tre andre Huawei telefoner med tilsvarende atferd, fra dets referanseindeks resultatlistene.
Det strøket telefoner inkluderer P20, P20 Pro, Nova 3, og Ære Spille. Huawei adgang til dette i en uttalelse gitt til Android Myndighet, si at telefoner som er laget for å justere sine resultater basert på app som kjører.
Huawei sa det var AI, men UL funnet det var ikke
Men måten at Huawei implementert atferd som ikke er tillatt. Mens telefoner kan justere sin ytelse, som en del av sine typiske atferd under høy arbeidsmengde, de kan ikke være hardkodet til å maksimere sin oppførsel bare fordi en bestemt målestokk appen kjører. Det er hva Huawei ser ut til å ha gjort, i henhold til UL, som står bak 3DMark programvare.
Når UL kjørte en intern versjon av 3DMark, som Huawei telefoner kunne ikke kjenner navnet på, telefoner utført verre i testen. Som indikert at telefonene var faktisk ikke smart nok til å identifisere høy ytelse krav på sine egne, noe som betydde at sammenligningsskåre var ikke en nøyaktig refleksjon av hvordan telefonen ville håndtere en typisk app uten spesiell oppmerksomhet fra Huawei.
Som straff, 3DMark har fjernet disse telefonene rangeringen fra sin leaderboard og prydet sine oppføringer på sin hjemmeside med en merknad om at telefonen er “produsenten ikke har overholdt UL benchmark regler.” Mange av resultatene som har blitt fjernet også.
Huawei er langt fra det første selskapet til å bli fanget leke med benchmark resultater. Samsung ble tatt for det samme oppførsel på sitt flaggskip telefoner i 2013, og bare siste året, OnePlus ble funnet å ha gjort det samme. Dette tidspunktet er spesielt uheldig for Huawei, siden bare uker siden det ble tatt i å forsøke å bestå av et DSLR-bilde som et bilde fra en av sine telefoner.
Andre har blitt tatt for å gjøre dette i det siste
Hva er morsomt om alt dette er at benchmarks egentlig ikke saken så mye. For tilpasning av telefonen for å optimalisere benchmark apper kan gi noen tall som gjør en liten undergruppe av nerder sikle, men disse tallene ikke er knyttet til selve opplevelsen av å bruke telefonen. De kan snakke til hvor godt de utfører telefonen under kraftig stress, som ved spilling, men en bedre test er å bare spille et spill med den og finne ut hva som skjer.
Huawei selv innrømmer dette. I sin uttalelse, selskapet sa at det “alltid prioriterer brukeren erfaring snarere enn å forfølge høy benchmark score — spesielt siden det ikke er en direkte forbindelse mellom smarttelefon benchmarks og brukeropplevelser.” Og ennå, er det fortsatt kodet sin telefon for å levere høyere ytelse når du kjører en benchmark-test.
Men Huawei hevder også at sine telefoner’ inkluderer AI som er smart nok til å optimalisere ytelsen på bakgrunn av appen er i gang, og helt klart ikke tilfelle. Hvis det var slik, så å øke ytelsen for benchmarks ville være rettferdig spill — men som det er, det er ikke en sann refleksjon av hvordan telefonen fungerer i krevende situasjoner.