The DeanBeat: el CEO de Nvidia, Jensen Huang, dice que la IA completará automáticamente las imágenes 3D del metaverso

0
5
The DeanBeat: el CEO de Nvidia, Jensen Huang, dice que la IA completará automáticamente las imágenes 3D del metaverso

¿Interesado en saber qué sigue para la industria del juego? Únase a los ejecutivos de juegos para discutir las partes emergentes de la industria este octubre en GamesBeat Summit Next. Regístrese hoy.


Se necesitan tipos de IA para hacer un mundo virtual. El CEO de Nvidia, Jensen Huang, dijo esta semana durante una sesión de preguntas y respuestas en el evento en línea GTC22 que la IA completará automáticamente las imágenes 3D del metaverso.

Él cree que la IA dará el primer paso para crear los objetos 3D que pueblan los vastos mundos virtuales del metaverso, y luego los creadores humanos se harán cargo y los refinarán a su gusto. Y si bien esa es una gran afirmación sobre cuán inteligente será la IA, Nvidia tiene investigaciones para respaldarla.

Nvidia Research anuncia esta mañana que un nuevo modelo de IA puede contribuir a que los mundos virtuales masivos creados por un número cada vez mayor de empresas y creadores puedan poblarse más fácilmente con una diversa gama de edificios, vehículos, personajes y más en 3D.

Este tipo de imágenes mundanas representa una enorme cantidad de trabajo tedioso. Nvidia dijo que el mundo real está lleno de variedad: las calles están llenas de edificios únicos, con diferentes vehículos zumbando y diversas multitudes pasando. Modelar manualmente un mundo virtual 3D que refleje esto requiere mucho tiempo, lo que dificulta completar un entorno digital detallado.

Este tipo de tarea es lo que Nvidia quiere facilitar con sus herramientas Omniverse y su servicio en la nube. Espera facilitar la vida de los desarrolladores cuando se trata de crear aplicaciones de metaverso. Y el arte de generación automática, como hemos visto que sucedió con modelos como DALL-E y otros modelos de IA este año, es una forma de aliviar la carga de construir un universo de mundos virtuales como en Choque de nieve oro Listo jugador uno.

Jensen Huang, CEO de Nvidia, hablando en el discurso de apertura de GTC22.

Le pregunté a Huang en una sesión de preguntas y respuestas de prensa a principios de esta semana qué podría hacer que el metaverso fuera más rápido. Hizo alusión al trabajo de investigación de Nvidia, aunque la empresa no reveló los detalles hasta hoy.

“En primer lugar, como saben, el metaverso lo crean los usuarios. Y lo creamos nosotros a mano o lo creamos con la ayuda de la IA”, dijo Huang. “Y, y en el futuro, es muy probable que describamos alguna característica de una casa o característica de una ciudad o algo así. Y es como esta ciudad, o es como Toronto, o es como la ciudad de Nueva York, y crea una nueva ciudad para nosotros. Y tal vez no nos guste. Podemos darle indicaciones adicionales. O podemos seguir presionando “enter” hasta que genere automáticamente uno desde el que nos gustaría comenzar. Y luego a partir de eso, de ese mundo, lo modificaremos. Y creo que la IA para crear mundos virtuales se está realizando mientras hablamos”.

Detalles de GET3D

Entrenado usando solo imágenes 2D, Nvidia GET3D genera formas 3D con texturas de alta fidelidad y detalles geométricos complejos. Estos objetos 3D se crean en el mismo formato que utilizan las aplicaciones de software de gráficos más populares, lo que permite a los usuarios importar inmediatamente sus formas en renderizadores 3D y motores de juegos para su posterior edición.

Los objetos generados podrían usarse en representaciones 3D de edificios, espacios al aire libre o ciudades enteras, diseñados para industrias que incluyen juegos, robótica, arquitectura y redes sociales.

GET3D puede generar una cantidad prácticamente ilimitada de formas 3D en función de los datos en los que se entrena. Como un artista que convierte un trozo de arcilla en una escultura detallada, el modelo transforma números en formas 3D complejas.

“En el centro de eso está precisamente la tecnología de la que estaba hablando hace un segundo llamada modelos de lenguaje grande”, dijo. “Poder aprender de todas las creaciones de la humanidad y poder imaginar un mundo en 3D. Y así de las palabras, a través de un gran modelo de lenguaje, saldrán algún día, triángulos, geometría, texturas y materiales. Y luego a partir de eso, lo modificaríamos. Y, y debido a que nada de esto está precocido, y nada de eso está prerenderizado, toda esta simulación de física y toda la simulación de luz tiene que hacerse en tiempo real. Y esa es la razón por la que las últimas tecnologías que estamos creando con respecto al renderizado neuronal RTX son tan importantes. Porque no podemos hacerlo por la fuerza bruta. Necesitamos la ayuda de la inteligencia artificial para que podamos hacer eso”.

Con un conjunto de datos de entrenamiento de imágenes de automóviles en 2D, por ejemplo, crea una colección de sedanes, camiones, autos de carrera y camionetas. Cuando se entrena con imágenes de animales, se le ocurren criaturas como zorros, rinocerontes, caballos y osos. Dadas las sillas, el modelo genera una variedad de sillas giratorias, sillas de comedor y cómodos sillones reclinables.

“GET3D nos acerca un paso más a la democratización de la creación de contenido 3D impulsado por IA”, dijo Sanja Fidler, vicepresidenta de investigación de IA en Nvidia y líder del laboratorio de IA con sede en Toronto que creó la herramienta. “Su capacidad para generar instantáneamente formas 3D texturizadas podría cambiar las reglas del juego para los desarrolladores, ayudándolos a poblar rápidamente mundos virtuales con objetos variados e interesantes”.

GET3D es uno de los más de 20 artículos y talleres escritos por Nvidia aceptados en la conferencia NeurIPS AI, que se llevará a cabo en Nueva Orleans y virtualmente, del 26 de noviembre al 26 de diciembre. 4.

Nvidia dijo que, aunque más rápidos que los métodos manuales, los modelos anteriores de IA generativa en 3D estaban limitados en el nivel de detalle que podían producir. Incluso los métodos de representación inversa recientes solo pueden generar objetos 3D basados ​​en imágenes 2D tomadas desde varios ángulos, lo que requiere que los desarrolladores construyan una forma 3D a la vez.

En cambio, GET3D puede producir unas 20 formas por segundo cuando se ejecuta la inferencia en una sola unidad de procesamiento de gráficos (GPU) de Nvidia, que funciona como una red antagónica generativa para imágenes 2D, mientras genera objetos 3D. Cuanto más grande y diverso sea el conjunto de datos de entrenamiento del que se aprende, más variado y
detalló la salida.

Los investigadores de Nvidia entrenaron a GET3D con datos sintéticos que consisten en imágenes 2D de formas 3D capturadas desde diferentes ángulos de cámara. El equipo tardó solo dos días en entrenar el modelo en alrededor de un millón de imágenes usando GPU Nvidia A100 Tensor Core.

GET3D recibe su nombre de su capacidad para generar mallas 3D texturizadas explícitas, lo que significa que las formas que crea tienen la forma de una malla triangular, como un modelo de papel maché, cubierto con un material texturizado. Esto permite a los usuarios importar fácilmente los objetos en motores de juegos, modeladores 3D y renderizadores de películas, y editarlos.

Una vez que los creadores exportan formas generadas por GET3D a una aplicación de gráficos, pueden aplicar efectos de iluminación realistas a medida que el objeto se mueve o rota en una escena. Al incorporar otra herramienta de inteligencia artificial de NVIDIA Research, StyleGAN-NADA, los desarrolladores pueden usar indicaciones de texto para agregar un estilo específico a una imagen, como modificar un automóvil renderizado para convertirlo en un automóvil quemado o un taxi, o convertir una casa normal en un embrujado. una.

Los investigadores señalan que una versión futura de GET3D podría usar técnicas de estimación de pose de cámara para permitir a los desarrolladores entrenar el modelo con datos del mundo real en lugar de conjuntos de datos sintéticos. También podría mejorarse para admitir la generación universal, lo que significa que los desarrolladores podrían entrenar GET3D en todo tipo de formas 3D a la vez, en lugar de tener que entrenarlo en una categoría de objetos a la vez.

Prologue es el próximo proyecto de Brendan Greene.
Prologue es el próximo proyecto de Brendan Greene.

Así que la IA generará mundos, dijo Huang. Esos mundos serán simulaciones, no solo animaciones. Y para ejecutar todo esto, Huang prevé la necesidad de crear un “nuevo tipo de centro de datos en todo el mundo”. Se llama GDN, no CDN. Es una red de entrega de gráficos, probada en batalla a través del servicio de juegos en la nube GeForce Now de Nvidia. Nvidia tomó ese servicio y lo usó para crear Omniverse Cloud, un conjunto de herramientas que se pueden usar para crear aplicaciones Omniverse, en cualquier momento y en cualquier lugar. GDN albergará juegos en la nube, así como las herramientas de metaverso de Omniverse Cloud.

Este tipo de red podría ofrecer computación en tiempo real que es necesaria para el metaverso.

“Esa es la interactividad que es esencialmente instantánea”, dijo Huang.

¿Algún desarrollador de juegos está pidiendo esto? Bueno, de hecho, conozco a uno que lo es. Brendan Greene, creador del juego Battle Royale PlayerUnknown’s Productions, solicitó este tipo de tecnología este año cuando anunció Prologue y luego reveló Project Artemis, un intento de crear un mundo virtual del tamaño de la Tierra. Dijo que solo podría construirse con una combinación de diseño de juegos, contenido generado por el usuario e IA.

Bueno, santa mierda.

JuegosBeat’s Creed al cubrir la industria de los juegos es “donde la pasión se encuentra con los negocios”. ¿Qué significa esto? Queremos decirle cómo le importan las noticias, no solo como responsable de la toma de decisiones en un estudio de juegos, sino también como aficionado a los juegos. Ya sea que lea nuestros artículos, escuche nuestros podcasts o vea nuestros videos, GamesBeat lo ayudará a aprender sobre la industria y disfrutar de su participación. Descubre nuestras sesiones informativas.

LEAVE A REPLY

Please enter your comment!
Please enter your name here