Na Conferência de Processamento de Informação Neural em Montreal, Canadá, os pesquisadores da Nvidia demonstraram que poderia usar o poder da inteligência artificial para renderizar cenas sintéticas, mas realistas, com detalhes e texturas. Os pesquisadores afirmam que o trabalho ainda está em seus estágios iniciais e não está claro quando a tecnologia será lançada. lançado para os consumidores, mas há um grande potencial para a renderização baseada em inteligência artificial da Nvidia no espaço de jogos.
“Este trabalho é sobre uma nova maneira de renderizar gráficos de computador usando redes neurais”, disse o vice-presidente de aprendizado profundo aplicado da Nvidia, Bryan Catanzaro, em uma teleconferência. Basicamente, os pesquisadores queriam saber como podem aplicar a IA. para melhorar a computação gráfica, e a solução é aplicar o aprendizado de máquina a vídeos do mundo real para renderizar novos gráficos.
Vídeos recomendados
“Construímos um sistema que utiliza representações de alto nível do mundo físico – basicamente pegando um esboço de vídeo e convertendo-o em uma cena renderizada”, disse Catanzaro. “O modelo compreende informações de alto nível de objetos no mundo real e depois as elabora para adicionar informações de textura e iluminação. O objetivo é ser capaz de sintetizar novas cenas com gráficos.”
O aprendizado de máquina é usado para analisar vídeos existentes e a Nvidia aplicaria técnicas de visão computacional para adicionar rótulos a objetos e suas propriedades. Isso significa que a IA. seria capaz de reconhecer uma paisagem urbana e entender quais objetos são árvores, carros ou edifícios, por exemplo.
Essa tecnologia é derivada de pesquisas existentes, como a da Universidade da Califórnia, Berkeley, segundo a Nvidia. A empresa exibiu outras técnicas de renderização baseadas em IA no passado, incluindo uma que remover ruído de uma imagem.
Os pesquisadores conseguiram renderização em tempo real em uma GPU Tensor Core, mas para a conferência, a Nvidia demonstrou a tecnologia em sua placa Titan V. “Embora você possa fazer isso em qualquer processador, o aspecto em tempo real requer muita IA. rendimento”, explicou Catanzaro, observando que a GPU Tensor Core é importante.
Ao poder criar conteúdos e adicioná-los a mundos virtuais, o mercado de jogos poderá se beneficiar muito com o trabalho criado por esta pesquisa. Os desenvolvedores, por exemplo, poderiam “remasterizar” jogos antigos, re-renderizando títulos antigos para adicionar visuais de alta definição, ou poderiam adicionar novos níveis a jogos existentes com pouco esforço.
Como exemplo básico de como isso funcionaria, os usuários podem gravar um vídeo de si mesmos, carregá-lo em um jogo e a renderização será capaz de criar avatares altamente personalizados para uso no jogo. A Nvidia abriu o código de sua pesquisa agora, mas Catanzaro adverte que o trabalho inicial neste campo é mais adequado para cientistas da computação do que para desenvolvedores de jogos.
Em uma demonstração separada, a Nvidia mostrou que poderia analisar movimentos de dança – como no popular videoclipe Estilo Gangnam – e transferir esses movimentos para outra pessoa usando as mesmas técnicas de visão computacional. “Analisamos o código da pessoa e isso se torna o nosso esboço”, disse Catanzaro. “E o modelo renderiza a pessoa alvo com base naquele esboço.”
A Nvidia alerta que esta ainda é uma tecnologia em estágio inicial, mas você também pode atualizar os gráficos de um jogo existente e treinar um modelo em imagens do mundo real para renderizar novamente jogos antigos e torná-los mais bonitos. Como a tecnologia exige que o computador analise objetos conhecidos no mundo real, Catanzaro alerta que ela não funcionará em coisas fantásticas, como a representação dos duendes do Papai Noel. Em teoria, admite ele, é possível treinar o computador para renderizar elfos, mas é preciso criar elfos físicos e capturar imagens para o computador aprender.
Como o rastreamento de raios tecnologia que foi introduzida na recente série RTX da Nvidia placas gráficas para os consumidores, a empresa disse que esta renderização baseada em IA é usada de forma híbrida e não se destina a substituir as técnicas de renderização tradicionais. Em vez disso, a renderização baseada em IA deve coexistir e ser usada com mecanismos de renderização gráfica tradicionais.
No momento, não está claro quando esta tecnologia chegará ao mercado de jogos. Pode levar apenas alguns anos, especulou Catanzaro com otimismo. Combinado com rastreamento de raios, a renderização de cena baseada em IA fornecerá visuais de qualidade em títulos de jogos renderizados em tempo real.
Recomendações dos Editores
- Testei o novo recurso RTX da Nvidia e ele corrigiu a pior parte dos jogos para PC
- Os principais autores exigem pagamento de empresas de IA pelo uso de seu trabalho
- Wix usa ChatGPT para ajudá-lo a construir rapidamente um site inteiro
- Esta misteriosa GPU Nvidia é uma monstruosidade absoluta – e acabamos de dar outra olhada
- Afinal, o RTX 4060 da Nvidia pode não ser uma decepção tão grande
Atualize seu estilo de vidaDigital Trends ajuda os leitores a manter o controle sobre o mundo acelerado da tecnologia com as últimas notícias, análises divertidas de produtos, editoriais criteriosos e prévias únicas.
