На конференцията за обработка на невронна информация в Монреал, Канада, изследователите на Nvidia демонстрираха, че те може да използва силата на изкуствения интелект, за да изобрази синтетични, но реалистични сцени с детайли и текстури. Изследователите твърдят, че работата все още е в ранен етап и не е ясно кога ще бъде технологията пуснати на потребителите, но има голям потенциал за рендиране, управлявано от изкуствен интелект на Nvidia в пространство за игри.
„Тази работа е за нов начин за рендиране на компютърна графика с помощта на невронни мрежи“, каза вицепрезидентът на Nvidia за приложно задълбочено обучение Брайън Катанцаро в конферентен разговор. По принцип изследователите искаха да знаят как могат да приложат A.I. да направи компютърната графика по-добра и решението е да приложи машинно обучение към видеоклипове от реалния свят, за да изобрази нова графика.
Препоръчани видеоклипове
„Ние изградихме система, която представя високо ниво на физическия свят – основно вземайки видео скица и я преобразувайки в изобразена сцена“, каза Катанцаро. „Моделът разбира информация от високо ниво на обекти в реалния свят и след това ги разработва, за да добави информация за текстура и осветление. Целта е да можем да синтезираме нови сцени с графики.“
Машинното обучение се използва за анализиране на съществуващи видеоклипове и Nvidia ще приложи техники за компютърно зрение, за да добави етикети към обекти и техните свойства. Това означава, че А.И. ще може да разпознае градски градски пейзаж и да разбере кои обекти са дървета, коли или сграда, например.
Тази технология е извлечена от съществуващи изследвания, като това от Калифорнийския университет, Бъркли, според Nvidia. Компанията показа други базирани на AI техники за изобразяване в миналото, включително такава, която би премахване на шума от изображението.
Изследователите успяха да постигнат изобразяване в реално време на графичен процесор Tensor Core, но за конференцията Nvidia демонстрира технологията на своята карта Titan V. „Въпреки че можете да направите това на всеки процесор, аспектът в реално време наистина изисква много ИИ. производителност“, обясни Катанцаро, отбелязвайки, че графичният процесор Tensor Core е важен.
Като може да създава съдържание и да го добавя към виртуални светове, пазарът на игри може да извлече голяма полза от работата, създадена от това изследване. Разработчиците, например, биха могли да „ремастерират“ стари игри чрез рендериране на стари заглавия, за да добавят визуализации с висока разделителна способност, или биха могли да добавят нови нива към съществуващи игри с малко усилия.
Като основен пример за това как би работило това, потребителите могат да направят видеоклип на себе си, да го качат в игра и изобразяването ще може да създаде силно персонализирани аватари за използване в играта. Nvidia е отворила кода от своите изследвания в момента, но Катанцаро предупреждава, че ранната работа в тази област е по-подходяща за компютърни учени, отколкото за разработчици на игри.
В отделна демонстрация Nvidia показа, че може да анализира танцови движения - като от популярното музикално видео Gangnam Style — и прехвърлете тези движения на друг човек, използвайки същите техники за компютърно зрение. „Ние анализираме кода на човека и това се превръща в нашата скица“, каза Катанцаро. „И моделът изобразява целевия човек, като се има предвид тази скица.“
Nvidia предупреждава, че това все още е технология в ранен етап, но можете също да надстроите графиката от съществуваща игра и обучете модел върху изображения от реалния свят, за да преработите стари игри, за да изглеждат по-добре. Тъй като технологията изисква компютърът да анализира обекти, които са известни в реалния свят, Катандзаро предупреждава, че няма да работи върху фантастични неща, като изобразяването на елфите на Дядо Коледа. На теория, признава той, можете да обучите компютъра да изобразява елфи, но трябва да създадете физически елфи и да заснемете изображения, които компютърът да научи.
Подобно на проследяване на лъчи технология, която беше въведена в последните RTX серии на Nvidia графични карти за потребителите, компанията каза, че това изобразяване, базирано на AI, се използва по хибриден начин и не е предназначено да замени традиционните техники за изобразяване. Вместо това базираното на AI изобразяване е предназначено да съществува съвместно и да се използва с традиционните машини за изобразяване на графики.
В момента не е ясно кога тази технология ще се появи на пазара на игри. Може да отнеме само няколко години, спекулира оптимистично Катанцаро. Комбинирано с проследяване на лъчи, изобразяването на сцени, базирано на AI, ще осигури качествени визуализации в заглавията на игрите, които се изобразяват в реално време.
Препоръки на редакторите
- Тествах новата RTX функция на Nvidia и тя поправи най-лошата част от компютърните игри
- Топ автори изискват заплащане от фирми за изкуствен интелект за използване на работата им
- Wix използва ChatGPT, за да ви помогне бързо да създадете цял уебсайт
- Този мистериозен графичен процесор на Nvidia е абсолютна чудовищност - и току-що получихме друг поглед
- RTX 4060 на Nvidia все пак може да не е такова разочарование
Надградете начина си на животDigital Trends помага на читателите да следят забързания свят на технологиите с всички най-нови новини, забавни ревюта на продукти, проницателни редакционни статии и единствени по рода си кратки погледи.
