Opinia: Testy porównawcze wydajności są bezwartościowe. Oto, jak je ulepszyć

Testy porównawcze wydajności są bezwartościowe-oto-jak-ulepszyć je

AMD przygotowuje się do wprowadzenia na rynek architektury nowej generacji (kod o nazwie Trinity) i zaprosiłem całą grupę do Austin, żeby to zobaczyć. O technologii nie mogę mówić do czasu jej premiery, ale jednym z wydarzeń targów było bezpośrednie porównanie tej technologii AMD z produktami z najwyższej półki Intela. W każdym teście (w tym dotyczącym produktywności, ulepszania wideo i kompresji plików) technologia AMD Trinity była nie tylko szybsza, ale była znacznie szybsza.

Chociaż demonstracja była imponująca, przypomniała mi również, dlaczego testy porównawcze tak naprawdę nie są już tak przydatne. Nie tylko nie odzwierciedlają tego, co każdy z nas indywidualnie robi, ale nie uwzględniają kosztów, rozmiaru urządzenia ani projektu, z których każdy może być ważniejszy niż jakikolwiek bezpośredni miernik wydajności.

Na przykład Apple od lat nie przoduje w benchmarkach. W porównaniu z konkurencją iPad i iPhone w rzeczywistości wydają się stosunkowo powolne (często korzystają ze starszych technologii sieciowych, procesorów lub pamięci masowych). Są również stosunkowo drogie, ale wiele osób nadal je preferuje, co sugeruje, że istniejące obecnie wzorce są dla tych nabywców bezwartościowe. Wyżej oceniają inne rzeczy.

Powiązany

  • Rywal Google ChatGPT właśnie pojawił się w wyszukiwarce. Oto jak tego spróbować
  • Występują problemy z dwuskładnikowym uwierzytelnianiem SMS na Twitterze. Oto jak zmienić metody
  • Pierwsza aktualizacja systemu Windows 11 jeszcze bardziej pogłębia poważny problem z wydajnością

Jak zatem wyglądałby idealny benchmark?

Jak pracujesz?

Idealny punkt odniesienia można uzyskać na podstawie ciągłej analizy sposobu korzystania ze sprzętu. Wszyscy zmieniamy się wraz z wiekiem, a nawet zmieniamy to, co robimy z dnia na noc, z dni powszednich na weekendy i na wakacjach, więc przechwytywanie powinno następować przez pewien okres czasu.

Powinno także szukać punktów krytycznych, na przykład tego, co nas denerwuje i co nas ekscytuje – nie tylko w kontekście tego, co robimy, ale także tego, o czym mówimy. Krótko mówiąc, uwzględnij naszą aktywność w sieciach społecznościowych np Facebook i Pinteresta.

Wreszcie sklasyfikowałoby wszystkie aspekty, które nas interesują i uwzględniły koszty, a nie tylko koszt zakupu produktu, ale koszt czasu oddania produktu do użytku, jego utrzymania i nasza wrażliwość na to czas przestoju.

Analiza urządzenia

Ponieważ wejście do sklepu i wykonanie testu porównawczego na odłożonym na półkę komputerze PC okazało się niepraktyczne i niemożliwe jest zrobienie tego samego rzeczą, jeśli chcemy kupować online, idealny punkt odniesienia musiałby również uchwycić wydajność systemów na rynek. W porównaniu z tymi obiektywnymi danymi rejestrowałby również subiektywne dane dotyczące projektu, oczekiwanej niezawodności i czasu do starzenia się. O ile te dwa ostatnie mogą pochodzić z danych historycznych (podobnie jak Consumer Reports ze swoimi rankingami), to projekt analiza opierałaby się na tym, co oceniłaby osoba podobna do Ciebie pod względem typu osobowości i gustu produkt.

Wreszcie, biorąc pod uwagę, że żyjemy w internetowym świecie „chmury”, większa część przechwytywanych danych musiałaby zostać przechwycona znajdować się w usługach, z którymi łączy się urządzenie, w aplikacjach, które będzie ładował, oraz w ogólnym użytkowniku końcowym doświadczenie.

Ostatecznie wszystko zostałoby wyrenderowane matematycznie.

Wynik

Wynik będzie dostępny na stronie, na którą możesz wejść, zalogować się i określić rodzaj produktu, którego szukasz, lub wpisać liczbę produktów, które szukasz. System wyświetli wówczas zestaw opcji, zawierający listę kluczowych elementów analitycznych każdego z nich. Jeśli więc zobaczyłeś coś, co nie było aktualne lub z czym się nie zgadzałeś, możesz zmienić element i tym samym zmienić ranking.

Możesz zobaczyć ogólny ranking około 10 produktów z oznaczonymi niektórymi konkretnymi: najniższą ceną, najlepiej dopasowany do Ciebie i najbardziej zrównoważony (najlepszy stosunek jakości do ceny określony przez Twoje unikalne potrzeby i gusta). Jest to również nieco podobne do tego, co próbuje zrobić Consumer Reports, ale jest bardziej zaawansowane.

Otrzymasz listę najlepszych wyborów, które z większym prawdopodobieństwem Cię zainteresują. Może także analizować produkty, które już posiadasz, aby oznaczyć je, gdy wydajność spadnie do poziomu, który zacznie Cię irytować, lub gdy dodatkowa wydajność nowego systemu była na tyle duża, że ​​było warto – biorąc pod uwagę Twoje potrzeby.

Benchmarki nie muszą być do bani

Kiedy po raz pierwszy zetknąłem się z testami porównawczymi, Intel narzekał, że buduje systemy, które są lepiej zaokrąglone, podczas gdy AMD używa testów porównawczych, aby zachęcić ludzi do systemów, które mniej im się podobają. Firma Intel próbowała nakłonić branżę do porzucenia testów porównawczych, ale nie powiodła się i obecnie w dużej mierze optymalizuje pod kątem testów porównawczych.

Jeśli skoncentrujesz się na tym, co ludzie chcą robić, zapewnisz lepsze wrażenia, ale nadal prawdopodobnie zostaniesz oceniony przez testy porównawcze. Podczas wydarzenia AMD firma wskazywała powody, dla których testy porównawcze są do niczego.

Myślę, że odpowiedzią jest stworzenie benchmarków, które nie są do niczego. Dysponujemy narzędziami internetowymi, które zbierają mnóstwo informacji na nasz temat i możemy je sprzedać reklamodawcom, więc tak się nie dzieje wykorzystanie części tej technologii do stworzenia narzędzia, które czyni nas szczęśliwszymi, wydaje się bardzo trudne konsumenci. Biorąc pod uwagę, że wszystkie te informacje są o nas zebrane i powinny do nas należeć, byłoby naprawdę miło, gdyby zostały wykorzystane do uszczęśliwienia nas, a nie tylko wydojenia nas dla pieniędzy. Byłby na to sposób. Co myślisz?

[Źródło zdjęcia: kk-dzieła sztuki/Shutterstock]

Zalecenia redaktorów

  • Liczba ataków ransomware wzrosła masowo. Oto, jak zachować bezpieczeństwo
  • Oto jak uzyskać darmowy wzrost wydajności o 40% od AMD
  • Oto, o ile szybciej RTX 4090 firmy Nvidia łamie hasła
  • Benchmark Leaked Alder Lake pokazuje 21% wzrost wydajności w porównaniu z AMD
  • Pierwszy wyciek testów porównawczych gier Alder Lake — oto dlaczego nie powinieneś w nie wierzyć

Ulepsz swój styl życiaDigital Trends pomaga czytelnikom śledzić szybko rozwijający się świat technologii dzięki najnowszym wiadomościom, zabawnym recenzjom produktów, wnikliwym artykułom redakcyjnym i jedynym w swoim rodzaju zajawkom.