Huawei er blevet fanget i at optimere nogle af sine bedste smartphones til at over-udføre på benchmark tests. Tirsdag, AnandTech opdagede, at Huawei ‘ s P20 var blevet programmeret til at maksimere ydeevne, specielt når du kører 3DMark, en populær benchmarking app. I dag er virksomheden bag 3DMark fulgt op med en erklæring, der sagde, at det havde bekræftet de resultater og ville afnotere P20, samt tre andre Huawei telefoner med lignende adfærd, fra sin toneangivende ranglister.
Den afnoteret telefoner omfatter P20, P20 Pro, Nova 3, og Ære Spiller. Huawei indrømmede, at denne adfærd i en erklæring, der gives til Android Myndighed, der siger, at deres telefoner er designet til at justere deres resultater er baseret på den app, der kører.
Huawei sagde, at det var AI, men UL fandt, at det var ikke
Men den måde, at Huawei gennemført, at denne adfærd er ikke tilladt. Mens telefoner kan justere deres indsats som en del af deres typiske adfærd under højt arbejdspres, at de ikke kan være kodet til at maksimere deres adfærd, bare fordi en bestemt benchmark app ‘ en kører. Det er, hvad Huawei synes at have gjort, i henhold til UL, som ligger bag 3DMark software.
Når UL løb en intern version af 3DMark, som Huawei ‘ s telefoner kunne ikke genkende navnet på, telefoner klaret sig dårligere i testen. Der er angivet, at mobiltelefoner ikke var faktisk smart nok til at identificere high performance krav til deres egen, hvilket har betydet, at benchmark score var ikke en præcis afspejling af, hvordan telefonen skal kunne håndtere en typisk app uden særlig opmærksomhed fra Huawei.
Som straf, 3DMark har fjernet disse telefoner ” placeringer fra sine leaderboard og prydede deres programoversigter på sin hjemmeside med en note om, at telefonen er “producent ikke har overholdt UL benchmark regler.” Mange af deres resultater er også blevet fjernet.
Huawei er langt fra den første virksomhed til at få fanget leger med benchmark resultater. Samsung fik busted for den samme adfærd på sit flagskib telefoner i 2013, og bare sidste år, OnePlus blev fundet at have gjort det samme. Denne timing er særlig uheldigt, Huawei, da kun få uger siden, at det blev fanget forsøger at passere fra et DSLR-foto, når et foto fra en af sine telefoner.
Andre har været fanget gør dette i fortiden
Det sjove ved det hele er, at benchmarks, der ikke rigtig betyder så meget. Tweaking en telefon til at optimere benchmark apps kan producere nogle numre, der gør en lille delmængde af nørderne, savle, men disse numre ikke svarer til den faktiske erfaring med at bruge telefonen. De kan tale til, hvor godt de udfører telefonen under kraftig stress, som under gaming, men en bedre test er bare at spille et spil med det og finde ud af, hvad der sker.
Huawei selv indrømmer dette. I sin redegørelse, at selskabet sagde, at det “altid prioriterer brugeren opleve frem for at forfølge høj benchmark score — især da der ikke er en direkte forbindelse mellem din smartphone benchmarks og oplevelser for brugerne.” Og alligevel, er det stadig kodet sin telefon til at levere højere ydelse, når du kører en benchmark test.
Men Huawei hævder også, at deres telefoner “omfatter AI, der er smart nok til at optimere performance baseret på, hvad app’ en kører, og det er ikke tilfældet. Hvis det var, så at øge performance for benchmarks ville være fair spil — men som det er, det er ikke et sandt billede af, hvordan telefonen fungerer i krævende situationer.