Huawei è stato catturato l’ottimizzazione di alcuni dei suoi smartphone top di over-eseguire sul test di benchmark. Martedì, AnandTech ha scoperto che Huawei P20 era stato programmato per massimizzare le prestazioni in particolare durante l’esecuzione di 3DMark, un popolare benchmarking app. Oggi, la società dietro 3DMark seguito con una dichiarazione dicendo che aveva confermato i risultati e sarebbe revocare il titolo dalla P20, così come altri tre telefoni Huawei, con un comportamento simile, dal suo benchmark classifiche.
Il listino telefoni sono la P20, P20 Pro, Nova 3, e l’Onore di Giocare. Huawei ammessi a questo comportamento in una dichiarazione rilasciata per Android Authority, dicendo che i suoi telefoni sono progettati per regolare la loro performance basata sull’applicazione che è in esecuzione.
Huawei ha detto che era AI, ma UL ha trovato non era
Ma il modo in cui Huawei attuato tale comportamento non è consentito. Mentre i telefoni in grado di regolare la loro performance come parte del loro tipico comportamento sotto carichi di lavoro elevati, che non possono essere codificati per massimizzare il loro comportamento solo perché un benchmark specifico app è in esecuzione. Che è quello che Huawei sembra aver fatto, secondo UL, che è dietro il 3DMark software.
Quando UL eseguito una versione interna di 3DMark, che Huawei telefoni non riuscivo a riconoscere il nome, i telefoni hanno ottenuto risultati peggiori nei test. Che ha indicato che i telefoni non erano in realtà abbastanza intelligente per identificare prestazioni elevate esigenze, il che significava che il punteggio benchmark non era una riflessione accurata di come il telefono sarebbe gestire una tipica applicazione senza una particolare attenzione da parte di Huawei.
Come punizione, 3DMark ha rimosso questi telefoni in classifica dalla sua classifica e adornavano i loro annunci sul suo sito web con una nota che il telefono “produttore non ha rispettato UL benchmark regole”. Molti di loro, i risultati sono stati rimossi.
Huawei è lontano dalla prima azienda a ottenere catturati giocando con i risultati dei benchmark. Samsung ha sballato per lo stesso comportamento sui suoi telefoni di punta nel 2013, e solo l’anno scorso, OnePlus è stato trovato per avere fatto lo stesso. Questo aspetto è particolarmente sfortunato per Huawei, dal momento che poche settimane fa ha catturato cercando di far passare una DSLR foto come una foto da uno dei suoi telefoni.
Gli altri sono stati catturati facendo questo in passato
La cosa divertente di tutto questo è che i benchmark non importa molto. Ribaltando un telefono per ottimizzare le applicazioni di riferimento potrebbe produrre alcuni numeri che fanno di un piccolo sottoinsieme di nerd sbavare, ma quei numeri non correlate alla reale esperienza di utilizzo del telefono. Si potrebbe parlare di come il telefono svolge sotto pesante stress, come durante il gioco, ma una prova migliore è solo un gioco e scoprire cosa succede.
Huawei ammette anche questo. Nella sua dichiarazione, la società ha detto che “la priorità l’esperienza dell’utente, piuttosto che perseguire elevati punteggi benchmark — soprattutto perché non c’è una diretta connessione tra smartphone parametri di riferimento e l’esperienza utente.” E ancora, è ancora codificato il suo telefono per fornire prestazioni elevate durante l’esecuzione di un test di benchmark.
Ma Huawei afferma, inoltre, che i suoi cellulari’ includere AI sufficientemente intelligenti per ottimizzare le prestazioni in base a qualunque applicazione è in esecuzione, e chiaramente non è questo il caso. Se così fosse, aumentando le prestazioni per i benchmark sarebbe giusto che il gioco — ma come, non è un vero riflesso di come il telefono svolge in situazioni impegnative.