Opinião: Benchmarks de desempenho são inúteis, veja como torná-los melhores

click fraud protection
Benchmarks de desempenho não valem nada. Veja como torná-los melhores

A AMD está se preparando para lançar sua arquitetura de próxima geração (codinome Trindade) e convidou vários de nós para ir a Austin para ver. Não posso falar sobre a tecnologia até que seja lançada, mas um dos eventos da feira foi uma comparação direta entre esta tecnologia AMD e os produtos de última geração da Intel. Em cada teste (incluindo produtividade, aprimoramento de vídeo e compactação de arquivos), a tecnologia AMD Trinity não foi apenas mais rápida, mas substancialmente mais rápida.

Embora a demonstração tenha sido impressionante, ela também me lembrou por que os benchmarks não são mais tão úteis. Eles não apenas não refletem o que cada um de nós faz individualmente, mas também não levam em consideração o custo, o tamanho do dispositivo ou o design, cada um dos quais pode ser mais importante do que qualquer medida direta de desempenho.

Por exemplo, a Apple não lidera benchmarks há anos. Lado a lado com os concorrentes, o iPad e o iPhone tendem a parecer relativamente lentos (eles geralmente usam redes, processadores ou tecnologias de armazenamento mais antigas). Eles também são relativamente caros, mas muitas pessoas ainda os preferem, sugerindo que os benchmarks que existem atualmente são inúteis para esses compradores. Eles classificam outras coisas mais alto.

Relacionado

  • O rival ChatGPT do Google acaba de ser lançado nas pesquisas. Veja como experimentar
  • A autenticação de dois fatores por SMS do Twitter está apresentando problemas. Veja como mudar de método
  • A primeira atualização do Windows 11 torna um grande problema de desempenho ainda pior

Então, como seria um benchmark perfeito?

Como você trabalha?

O benchmark perfeito seria derivado de uma análise contínua de como você usa seu hardware. Todos nós mudamos à medida que envelhecemos, e até mudamos o que fazemos do dia para a noite, dos dias de semana para os fins de semana e nas férias, por isso a captura deve ocorrer ao longo de um período de tempo.

Deve também procurar pontos críticos, como o que nos incomoda e o que nos emociona – não apenas em termos do que estamos fazendo, mas do que estamos falando. Em suma, leve em consideração nossa atividade nas redes sociais em coisas como Facebook e Pinterest.

Finalmente, classificaria todos os aspectos de nosso interesse e levaria em consideração o custo, não apenas o custo de compra do produto, mas o custo no tempo de colocar o produto em serviço, mantê-lo e nossa sensibilidade para tempo de inatividade.

Analisando o dispositivo

Já que se provou impraticável entrar em uma loja e executar um benchmark em um PC de prateleira, e impossível fazer o mesmo Se quisermos comprar on-line, o benchmark ideal também precisaria capturar o desempenho dos sistemas no mercado. Contra esses dados objetivos, também capturaria dados subjetivos sobre design, confiabilidade esperada e tempo até a obsolescência. Embora os dois últimos possam vir de dados históricos (assim como o Consumer Reports faz com suas classificações), o design a análise seria baseada em como alguém semelhante a você em termos de tipo de personalidade e gosto classificaria o produtos.

Finalmente, dado que vivemos num mundo online de “nuvem”, uma grande parte dos dados capturados precisaria estar nos serviços aos quais o dispositivo está conectado, nos aplicativos que ele carregaria e no usuário geral de ponta a ponta experiência.

No final, tudo seria renderizado matematicamente.

O resultado

O resultado estaria acessível em um site onde você poderia acessar, fazer login e especificar o tipo de produto que está procurando ou inserir uma série de produtos que está procurando. O sistema forneceria então um conjunto de opções listando os principais elementos analíticos de cada uma. Então se você viu algo que não era atual, ou não concordou, você poderia alterar o elemento e assim alterar o ranking.

Você pode ver uma classificação geral de cerca de 10 produtos com alguns específicos sinalizados: o de menor preço, o melhor combina com você e o mais equilibrado (melhor custo-benefício conforme definido por suas necessidades e gostos exclusivos). Isso também é um pouco semelhante ao que o Consumer Reports tenta fazer, mas é mais avançado.

Você acabaria com uma lista das principais opções que provavelmente o emocionariam. Ele também pode analisar produtos que você já possui para sinalizar quando o desempenho caiu a um ponto que começaria a irritá-lo, ou quando o desempenho extra de um novo sistema foi grande o suficiente para valer a pena para você – especificamente com base nas suas necessidades.

Os benchmarks não precisam ser uma merda

Quando me deparei com benchmarks pela primeira vez, a Intel estava reclamando que construía sistemas mais completos, enquanto a AMD usava benchmarks para levar as pessoas a sistemas que elas gostariam menos. A Intel tentou fazer com que a indústria abandonasse os benchmarks, falhou e agora otimiza amplamente os benchmarks.

Se você se concentrar no que as pessoas querem fazer, você proporcionará uma experiência melhor, mas ainda assim provavelmente será prejudicado pelos benchmarks. No evento da AMD, a empresa apontou os motivos pelos quais os benchmarks são ruins.

Acho que a resposta aqui é criar benchmarks que não sejam ruins. Temos ferramentas on-line que capturam muitas informações sobre nós para vender aos anunciantes, para que isso não aconteça. parece ser um exagero usar parte dessa tecnologia para criar uma ferramenta que nos deixe mais felizes consumidores. Considerando que todas essas informações são compiladas sobre nós e deveriam pertencer a nós, seria muito bom se elas fossem usadas para nos fazer mais felizes, em vez de apenas nos ordenhar por dinheiro. Esta seria uma maneira de fazer isso. O que você acha?

[Crédito da imagem: kk-artes/Shutterstock]

Recomendações dos Editores

  • Os ataques de ransomware aumentaram enormemente. Veja como se manter seguro
  • Veja como obter um aumento de desempenho gratuito de 40% da AMD
  • Veja como o RTX 4090 da Nvidia é muito mais rápido para quebrar senhas
  • O benchmark Leaked Alder Lake mostra ganho de desempenho de 21% em relação à AMD
  • Primeiro vazamento de benchmarks de jogos de Alder Lake – eis por que você não deveria acreditar neles

Atualize seu estilo de vidaDigital Trends ajuda os leitores a manter o controle sobre o mundo acelerado da tecnologia com as últimas notícias, análises divertidas de produtos, editoriais criteriosos e prévias únicas.