Huawei har fångats optimera några av sina bästa smartphones till över-utföra på benchmark-tester. På tisdag, AnandTech upptäckte att Huaweis P20 hade programmerats för att maximera prestanda speciellt när man kör 3DMark, en populär benchmarking app. Idag, företaget bakom 3DMark följts upp med ett uttalande som sade att det hade bekräftat resultaten och skulle avnotera P20, liksom tre andra Huawei telefoner med liknande beteende, från sitt jämförelseindex topplistor.
Den avnoteras telefoner inkluderar M20, M20 Pro, Nova 3 och Ära att Spela. Huawei medgav att detta beteende i ett uttalande med tanke på att Android Myndigheten, säger att dess telefoner är utformade för att justera sina resultat baserat på den app som körs.
Huawei sa att det var AI, men UL fann att det inte var
Men sättet att Huawei genomfört att beteendet inte accepteras. Medan telefoner kan justera sina resultat som en del av deras typiska beteende under hög arbetsbelastning, kan de inte vara hårdkodade att maximera sitt beteende bara för att ett visst riktmärke app är igång. Det är vad Huawei verkar ha gjort, enligt UL, som ligger bakom 3DMark-program.
När UL sprang en intern version av 3DMark, som Huaweis telefoner kunde inte känner igen namnet på, telefoner presterat sämre i testet. Som tydde på att telefonerna var faktiskt inte tillräckligt smart för att identifiera höga krav på prestanda på sina egna, vilket innebar att riktmärke poäng var inte en korrekt bild av hur telefonen skulle hantera en typisk app utan att särskild uppmärksamhet från Huawei.
Som straff, 3DMark har tagit bort dessa telefoner ” ranking från dess topplista och prydde deras annonser på sin webbplats med en anteckning om att telefonens tillverkare har inte följt med UL riktmärke regler.” Många av deras resultat har tagits bort.
Huawei är långt ifrån det första företaget att fastna lekte med resultaten. Samsung fick åka fast för samma beteende på sina flaggskepp telefoner under 2013, och precis som förra året, OnePlus befanns ha gjort samma sak. Detta är särskilt olyckligt för Huawei, eftersom bara några veckor sedan det blev påkommen att försöka klara av en DSLR foto när ett foto från en av sina telefoner.
Andra har fångats att göra detta i det förflutna
Vad är det som är roligt med allt detta är att riktmärken som egentligen inte betyder så mycket. Pyssla en telefon för att optimera benchmark program kan ge några siffror att göra en liten delmängd av nördar dregla, men de siffrorna inte står i relation till den faktiska upplevelsen av att använda telefonen. De kan tala om hur bra telefonen utför under tung belastning, som samtidigt som spel, men ett bättre test är att bara spela ett spel med det och ta reda på vad som händer.
Huawei även medger detta. I sitt uttalande, sade företaget att det “alltid prioriterar användarens upplevelse snarare än att eftersträva hög benchmark-poäng — särskilt eftersom det inte finns en direkt koppling mellan smartphone riktmärken och upplevelser för användaren.” Och ändå, är det fortfarande kodade sin telefon för att leverera högre prestanda när man kör ett benchmark-test.
Men Huawei hävdar också att dess telefoner har AI som är tillräckligt smart för att optimera prestanda baserat på vilken app är igång, och det tydligt att det är inte fallet. Om det fanns, då skulle öka prestanda för riktmärken skulle vara rättvist spel — men så är det, det är inte en sann bild av hur telefonen fungerar i krävande situationer.