Na konferencii o spracovaní neurónových informácií v Montreale v Kanade výskumníci spoločnosti Nvidia preukázali, že áno mohli využiť silu umelej inteligencie na vykreslenie syntetických, no realistických scén s detailmi a textúr. Výskumníci tvrdia, že práca je stále v počiatočnom štádiu a nie je jasné, kedy bude technológia uvoľnené pre spotrebiteľov, ale existuje veľký potenciál pre vykresľovanie založené na umelej inteligencii Nvidia herný priestor.
„Táto práca je o novom spôsobe vykresľovania počítačovej grafiky pomocou neurónových sietí,“ povedal v konferenčnom hovore viceprezident spoločnosti Nvidia pre aplikované hlboké vzdelávanie Bryan Catanzaro. V podstate výskumníci chceli vedieť, ako môžu aplikovať A.I. na zlepšenie počítačovej grafiky a riešením je použiť strojové učenie na videá v reálnom svete s cieľom vykresliť novú grafiku.
Odporúčané videá
„Vytvorili sme systém, ktorý využíva reprezentácie fyzického sveta na vysokej úrovni – v podstate vezmeme náčrt videa a prevedieme ho na vykreslenú scénu,“ povedal Catanzaro. „Model rozumie vysokoúrovňovým informáciám o objektoch v reálnom svete a potom ich spracuje, aby pridal informácie o textúre a osvetlení. Cieľom je byť schopný syntetizovať nové scény s grafikou.“
Strojové učenie sa používa na analýzu existujúcich videí a Nvidia by aplikovala techniky počítačového videnia na pridávanie štítkov k objektom a ich vlastnostiam. To znamená, že A.I. by bol schopný rozpoznať mestskú panorámu a pochopiť, aké objekty sú napríklad stromy, autá alebo budovy.
Táto technológia je podľa Nvidie odvodená z existujúceho výskumu, napríklad z Kalifornskej univerzity v Berkeley. Spoločnosť v minulosti ukázala ďalšie techniky vykresľovania založené na AI, vrátane jednej, ktorá by odstránenie šumu z obrázka.
Výskumníci boli schopní dosiahnuť vykresľovanie v reálnom čase na Tensor Core GPU, ale pre konferenciu Nvidia demonštrovala technológiu na svojej karte Titan V. „Aj keď to môžete urobiť na akomkoľvek procesore, aspekt v reálnom čase vyžaduje veľa A.I. priepustnosť,“ vysvetlil Catanzaro a poznamenal, že dôležitý je GPU Tensor Core.
Vďaka možnosti vytvárať obsah a pridávať ho do virtuálnych svetov by herný trh mohol výrazne profitovať z práce vytvorenej týmto výskumom. Vývojári by napríklad mohli „remasterovať“ staré hry opätovným vykreslením starých titulov, aby pridali vizuály vo vysokom rozlíšení, alebo by mohli pridať nové úrovne do existujúcich hier s malým úsilím.
Ako základný príklad toho, ako by to fungovalo, môžu používatelia nahrať svoje video, nahrať ho do hry a vykreslenie bude môcť vytvárať vysoko personalizované avatary na použitie v hre. Nvidia práve teraz získala kód zo svojho výskumu, ale Catanzaro varuje, že raná práca v tejto oblasti je vhodnejšia pre počítačových vedcov ako pre vývojárov hier.
V samostatnom deme Nvidia predviedla, že dokáže analyzovať tanečné pohyby – ako z populárneho hudobného videa Gangnam Style — a preniesť tieto pohyby na inú osobu pomocou rovnakých techník počítačového videnia. "Analyzujeme kód osoby a to sa stane naším náčrtom," povedal Catanzaro. "A model zobrazuje cieľovú osobu vzhľadom na túto skicu."
Nvidia varuje, že ide stále o technológiu v počiatočnom štádiu, ale môžete tiež upgradovať grafiku existujúcu hru a trénujte model na snímkach zo skutočného sveta, aby prerobil staré hry, aby vyzerali lepšie. Pretože táto technológia vyžaduje, aby počítač analyzoval objekty, ktoré sú známe v skutočnom svete, Catanzaro varuje, že nebude fungovať na fantastických veciach, ako je vykresľovanie Santových elfov. Teoreticky, pripúšťa, môžete trénovať počítač na vykresľovanie elfov, ale musíte vytvoriť fyzických elfov a zachytiť obrázky, aby sa to počítač naučil.
Ako sledovanie lúčov technológia, ktorá bola predstavená v nedávnej sérii RTX od Nvidie grafické karty pre spotrebiteľov spoločnosť uviedla, že toto vykresľovanie založené na AI sa používa hybridným spôsobom a nemá nahradiť tradičné techniky vykresľovania. Namiesto toho má vykresľovanie založené na A.I. koexistovať a používať s tradičnými grafickými vykresľovacími modulmi.
Momentálne nie je jasné, kedy sa táto technológia dostane na herný trh. Môže to trvať len pár rokov, optimisticky špekuloval Catanzaro. Kombinované s sledovanie lúčov, vykresľovanie scény založené na A.I. poskytne kvalitný vizuál v herných tituloch, ktoré sa vykresľujú v reálnom čase.
Odporúčania redaktorov
- Testoval som novú funkciu RTX od Nvidie a opravila najhoršiu časť počítačových hier
- Špičkoví autori požadujú od firiem AI platbu za používanie ich práce
- Wix používa ChatGPT, ktorý vám pomôže rýchlo vytvoriť celý web
- Tento záhadný GPU Nvidia je absolútna príšernosť – a práve sme sa dočkali ďalšieho pohľadu
- Nvidia RTX 4060 nakoniec nemusí byť takým sklamaním
Zlepšite svoj životný štýlDigitálne trendy pomáhajú čitateľom mať prehľad o rýchlo sa rozvíjajúcom svete technológií so všetkými najnovšími správami, zábavnými recenziami produktov, užitočnými úvodníkmi a jedinečnými ukážkami.
