Udtalelse: Ydelsesbenchmarks er værdiløse, her er hvordan du gør dem bedre

Ydeevne-benchmarks-er-værdiløse-Sådan-gør man-dem-bedre

AMD gør klar til at lancere sin næste generations arkitektur (kode med navnet Trinity) og inviterede en flok af os ud til Austin for at se den. Jeg kan ikke tale om teknologien, før den er lanceret, men en af ​​begivenhederne på messen var en direkte sammenligning mellem denne AMD-teknologi og Intels produkter fra den øverste hylde. I hver test (inklusive produktivitet, videoforbedring og filkomprimering) var AMD Trinity-teknologien ikke bare hurtigere, den var væsentlig hurtigere.

Selvom demonstrationen var imponerende, mindede den mig også om, hvorfor benchmarks virkelig ikke er så nyttige længere. Ikke alene afspejler de ikke, hvad vi hver især gør, de tager ikke hensyn til omkostninger, enhedsstørrelse eller design, som hver især kan være vigtigere end nogen direkte ydelsesmål.

For eksempel har Apple ikke førte benchmarks i årevis. Side om side med konkurrenterne har iPad og iPhone faktisk en tendens til at virke relativt langsomme (de bruger ofte ældre netværks-, processor- eller lagerteknologi). De er også relativt dyre, men alligevel foretrækker mange mennesker dem, hvilket tyder på, at benchmarks, som de findes i øjeblikket, er værdiløse for disse købere. De rangerer andre ting højere.

Relaterede

  • Googles ChatGPT-rival er netop lanceret i søgning. Sådan prøver du det
  • Twitters SMS-to-faktor-godkendelse har problemer. Sådan skifter du metoder
  • Den første Windows 11-opdatering gør et stort ydeevneproblem endnu værre

Så hvordan ville et perfekt benchmark se ud?

Hvordan arbejder du?

Det perfekte benchmark ville blive afledt af en løbende analyse af, hvordan du bruger din hardware. Vi ændrer os alle, efterhånden som vi bliver ældre, og ændrer endda, hvad vi laver fra dag til nat, fra hverdage til weekender og på ferie, så fangsten bør ske over en periode.

Den bør også lede efter kritiske punkter, såsom hvad der irriterer os, og hvad der begejstrer os - ikke kun i forhold til hvad vi laver, men hvad vi taler om. Kort sagt, tag hensyn til vores sociale netværksaktivitet i ting som Facebook og Pinterest.

Endelig ville det rangere alle aspekter af vores interesse og faktor i omkostninger, ikke kun omkostningerne ved at købe produkt, men omkostningerne i tide ved at tage produktet i brug, vedligeholde det og vores følsomhed over for nedetid.

Analyse af enheden

Da det har vist sig upraktisk at gå ind i en butik og køre et benchmark på en hylde pc, og umuligt at gøre det samme ting, hvis vi ønsker at købe online, ville det ideelle benchmark også være nødvendigt at fange ydeevnen af ​​systemerne på marked. I modsætning til disse objektive data ville det også indfange subjektive data om design, forventet pålidelighed og tid til forældelse. Mens de to sidstnævnte kunne komme fra historiske data (meget ligesom Consumer Reports gør med sine rækker), designet analyse ville være baseret på, hvad en person, der ligner dig med hensyn til personlighedstype og smag, ville rangere produkt.

Endelig, i betragtning af at vi lever i en online "sky"-verden, vil en stor del af de indsamlede data skulle være på de tjenester, som enheden har forbindelse til, de apps, den ville indlæse, og den samlede ende-til-ende-bruger erfaring.

I sidste ende ville alt blive matematisk gengivet.

Resultatet

Resultatet ville være tilgængeligt på et websted, hvor du kunne gå, logge ind og angive enten den type produkt, du ledte efter, eller indtaste et antal produkter, du kiggede på. Systemet vil derefter give dig et sæt valgmuligheder med en liste over de vigtigste analytiske elementer for hver. Så hvis du så noget, der ikke var aktuelt, eller du ikke var enig i, kunne du ændre elementet og dermed ændre rangeringen.

Du kunne se en samlet rangering af omkring 10 produkter med nogle specifikke markeret: den laveste pris, bedst match til dig, og den mest afbalancerede (bedst værdi for pengene som defineret af dine unikke behov og smag). Dette minder også noget om, hvad Consumer Reports forsøger at gøre, men mere avanceret.

Du ville ende op med en liste over topvalg, der ville være mere tilbøjelige til at begejstre dig. Det kunne også analysere produkter, du allerede ejer, for at markere, når ydeevnen blev forringet til et punkt, der ville begynde at irritere dig, eller når den ekstra ydeevne af et nyt system var stor nok til at gøre det det værd for dig – specifikt baseret på dine behov.

Benchmarks behøver ikke at suge

Da jeg første gang stødte på benchmarks, klagede Intel over, at det byggede systemer, der var bedre afrundede, mens AMD brugte benchmarks til at lede folk til systemer, de ville have mindre. Intel forsøgte at få industrien til at droppe benchmarks, mislykkedes og optimerer nu stort set til benchmarks.

Hvis du fokuserer på, hvad folk ønsker at gøre, vil du give en bedre oplevelse, men du vil sandsynligvis blive ramt af benchmarks. Ved AMDs arrangement pegede virksomheden på årsagerne til, at benchmarks er dårlige.

Jeg tror, ​​at svaret her er at skabe benchmarks, der ikke suger. Vi har onlineværktøjer, der fanger et væld af informationer om os for at sælge til annoncører, så det gør det ikke Det ser ud til at være et stræk at bruge noget af denne teknologi til at skabe et værktøj, der gør os gladere forbrugere. I betragtning af at al denne information er samlet om os og burde tilhøre os, ville det være rigtig rart, hvis det blev brugt til at gøre os gladere i stedet for blot at malke os for penge. Dette ville være en måde at gøre det på. Hvad synes du?

[Billedkredit: kk-kunstværker/Shutterstock]

Redaktørens anbefalinger

  • Ransomware-angreb er steget massivt. Sådan forbliver du sikker
  • Sådan får du dit gratis 40% ydelsesboost fra AMD
  • Her er, hvor meget hurtigere Nvidias RTX 4090 er til at knække adgangskoder
  • Lækket Alder Lake-benchmark viser en ydelsesforøgelse på 21 % i forhold til AMD
  • Første Alder Lake gaming benchmarks lækker - her er grunden til, at du ikke skal tro på dem

Opgrader din livsstilDigital Trends hjælper læserne med at holde styr på den hurtige teknologiske verden med alle de seneste nyheder, sjove produktanmeldelser, indsigtsfulde redaktionelle artikler og enestående smugkig.