Mening: Ytelsesreferanser er verdiløse, her er hvordan du kan gjøre dem bedre

Ytelse-benchmarks-er-verdiløse-Her er-hvordan-du-gjør-dem-bedre

AMD gjør seg klar til å lansere sin neste generasjons arkitektur (kode kalt Trinity) og inviterte en gjeng av oss ut til Austin for å se den. Jeg kan ikke snakke om teknologien før den er lansert, men en av hendelsene på messen var en head-to-head sammenligning mellom denne AMD-teknologien og Intels topp-hylleprodukter. I hver test (inkludert produktivitet, videoforbedring og filkomprimering) var AMD Trinity-teknologien ikke bare raskere, den var betydelig raskere.

Selv om demonstrasjonen var imponerende, minnet den meg også på hvorfor benchmarks egentlig ikke er så nyttige lenger. Ikke bare klarer de ikke å reflektere hva hver enkelt av oss gjør, de tar ikke hensyn til kostnader, enhetsstørrelse eller design, som hver kan være viktigere enn et direkte ytelsesmål.

For eksempel har Apple ikke ledet referanseindekser på mange år. Side ved side med konkurrenter har iPad og iPhone faktisk en tendens til å virke relativt trege (de bruker ofte eldre nettverks-, prosessor- eller lagringsteknologi). De er også relativt dyre, men mange mennesker foretrekker dem fortsatt, noe som tyder på at referanser slik de for tiden eksisterer er verdiløse for disse kjøperne. De rangerer andre ting høyere.

I slekt

  • Googles ChatGPT-rival ble nettopp lansert i søk. Slik prøver du det
  • Twitters SMS-tofaktorautentisering har problemer. Slik bytter du metoder
  • Den første Windows 11-oppdateringen gjør et stort ytelsesproblem enda verre

Så hvordan ville en perfekt benchmark se ut?

Hvordan jobber du?

Den perfekte målestokken vil bli utledet fra en pågående analyse av hvordan du bruker maskinvaren din. Vi forandrer oss alle etter hvert som vi blir eldre, og endrer til og med hva vi gjør fra dag til natt, fra ukedager til helger og på ferie, så fangsten bør skje over en viss tid.

Den bør også se etter kritiske punkter, som hva som irriterer oss og hva som begeistrer oss - ikke bare når det gjelder hva vi gjør, men hva vi snakker om. Kort sagt, ta hensyn til vår sosiale nettverksaktivitet i ting som Facebook og Pinterest.

Til slutt vil det rangere alle aspekter av vår interesse og faktor i kostnad, ikke bare kostnadene ved å kjøpe produkt, men kostnaden i tide for å sette produktet i bruk, vedlikeholde det og vår følsomhet overfor nedetid.

Analyserer enheten

Siden det har vist seg upraktisk å gå inn i en butikk og kjøre en benchmark på en hyllet PC, og umulig å gjøre det samme Hvis vi ønsker å kjøpe online, vil den ideelle referansen også måtte fange ytelsen til systemene på marked. Mot disse objektive dataene vil de også fange subjektive data om design, forventet pålitelighet og tid til foreldelse. Mens de to sistnevnte kan komme fra historiske data (omtrent som Consumer Reports gjør med sine rekker), designet Analysen vil være basert på hva en person som ligner deg når det gjelder personlighetstype og smak vil rangere produkt.

Til slutt, gitt at vi lever i en nettskyverden, må en stor del av dataene som fanges opp være på tjenestene enheten er koblet til, appene den vil laste, og den generelle ende-til-ende-brukeren erfaring.

Til slutt ville alt bli matematisk gjengitt.

Resultatet

Resultatet vil være tilgjengelig på et nettsted hvor du kan gå, logge på og spesifisere enten typen produkt du leter etter, eller angi et antall produkter du så på. Systemet vil da gi deg et sett med valg som viser de viktigste analytiske elementene til hver. Så hvis du så noe som ikke var aktuelt, eller du ikke var enig i, kan du endre elementet og dermed endre rangeringen.

Du kan se en samlet rangering på rundt 10 produkter med noen spesifikke flagget: det laveste priset, best match for deg, og den mest balanserte (best verdi for pengene som definert av dine unike behov og smak). Dette er også noe likt det Consumer Reports prøver å gjøre, men mer avansert.

Du vil ende opp med en liste over toppvalg som er mer sannsynlig å begeistre deg. Det kan også analysere produkter du allerede eier for å flagge når ytelsen ble redusert til et punkt som ville begynne å irritere deg, eller når den ekstra ytelsen til et nytt system var stor nok til å gjøre det verdt det for deg – spesielt basert på dine behov.

Benchmarks trenger ikke å suge

Da jeg først møtte benchmarks, klaget Intel over at de bygde systemer som var bedre avrundet, mens AMD brukte benchmarks for å lede folk til systemer de ville mindre. Intel prøvde å få industrien til å droppe benchmarks, mislyktes, og optimaliserer nå stort sett for benchmarks.

Hvis du fokuserer på hva folk ønsker å gjøre, vil du gi en bedre opplevelse, men fortsatt sannsynligvis bli slått av benchmarks. På AMDs arrangement pekte selskapet på årsakene til at benchmarks er dårlige.

Jeg tror svaret her er å lage benchmarks som ikke suger. Vi har nettbaserte verktøy som fanger massevis av informasjon om oss for å selge til annonsører, så det gjør det ikke Det ser ut til å være så vanskelig å bruke noe av denne teknologien til å lage et verktøy som gjør oss lykkeligere forbrukere. Med tanke på at all denne informasjonen er samlet om oss og burde tilhøre oss, ville det vært veldig fint om den ble brukt til å gjøre oss lykkeligere, i stedet for bare å melke oss for penger. Dette ville vært en måte å gjøre det på. Hva tror du?

[Bildekreditt: kk-kunstverk/Shutterstock]

Redaktørenes anbefalinger

  • Ransomware-angrep har økt kraftig. Slik holder du deg trygg
  • Slik får du en gratis ytelsesøkning på 40 % fra AMD
  • Her er hvor mye raskere Nvidias RTX 4090 er til å knekke passord
  • Lekket Alder Lake-benchmark viser 21 % ytelsesøkning i forhold til AMD
  • De første Alder Lake-spillstandardene lekker - her er grunnen til at du ikke skal tro dem

Oppgrader livsstilen dinDigitale trender hjelper leserne å følge med på den fartsfylte teknologiverdenen med alle de siste nyhetene, morsomme produktanmeldelser, innsiktsfulle redaksjoner og unike sniktitter.