Meta demuestra el seguimiento corporal de Quest 2 sin rastreadores

0
4
Meta demuestra el seguimiento corporal de Quest 2 sin rastreadores

Los investigadores de Meta demostraron el seguimiento del cuerpo de Quest 2 sin rastreadores adicionales.

Los sistemas de realidad virtual actuales se envían con un auricular y controladores sostenidos, por lo que solo rastrean la posición de la cabeza y las manos. La posición de los codos, el torso y las piernas se puede estimar usando una clase de algoritmos llamados cinemática inversa (IK), pero esto es solo a veces preciso para los codos y rara vez correcto para las piernas. Hay demasiadas soluciones potenciales para cada conjunto dado de posiciones de la cabeza y las manos.

Dadas las limitaciones de IK, algunos Las aplicaciones de realidad virtual de hoy solo muestran tus manos, y muchas solo te muestran la parte superior del cuerpo. Los auriculares para PC que usan el soporte de seguimiento SteamVR usaban rastreadores adicionales como Vive Tracker de HTC, pero los tres necesarios para el seguimiento del cuerpo cuestan más de $ 350 y, por lo tanto, esto no es compatible con la mayoría de los juegos.

Pero en un nuevo artículo titulado QuestSim, los investigadores de Meta demostraron un sistema impulsado por una red neuronal que puede estimar una pose de cuerpo completo plausible solo con los datos de seguimiento de Quest 2 y sus controladores. No se necesitan rastreadores ni sensores externos adicionales.

El movimiento del avatar resultante coincide bastante con el movimiento real del usuario. Los investigadores incluso afirman que la precisión y el jitter resultantes son superiores a los rastreadores IMU usados, dispositivos con solo un acelerómetro y un giroscopio como el anunciado Pico Fitness Band de Pico 4 (aunque Pico afirma que está trabajando en su propio algoritmo de aprendizaje automático).

Sin embargo, hay una trampa aquí. Como se ve en el video, este sistema está diseñado para priorizar la producción de un plausible cuerpo completo posar sobre asegurarse de que las manos del avatar coincidan con la posición exacta de las manos del usuario. La latencia del sistema también es de 160 ms, más de 11 fotogramas a 72 Hz. Dados estos problemas, QuestSim solo sería adecuado para ver los cuerpos de avatar de otras personas, no para ver su propio cuerpo cuando mira hacia abajo.

Avatares sin piernas actuales de Meta

Pero aún así, ver el movimiento de todo el cuerpo de los avatares de otras personas sería mucho mejor que la parte superior del cuerpo sin piernas, a menudo criticada, de los avatares actuales de Meta. Entonces, ¿este sistema, o algo parecido, llegará a Quest 2?

El CTO de Meta, Andrew Bosworth, ciertamente pareció insinuar esto la semana pasada. Cuando cuando se le preguntó sobre el seguimiento de las piernas en un Instagram “pregúntame cualquier cosa”, Bosworth respondió:

“Sí, nos hemos burlado mucho de los avatares sin piernas, y creo que eso es muy justo y creo que es bastante divertido.

Tener piernas en tu propio avatar que no coincidan con tus piernas reales es muy desconcertante para la gente. Pero, por supuesto, podemos dejar legados en otras personas, eso lo puedes ver, y no te molesta en absoluto.

Así que estamos trabajando en piernas que parezcan naturales para alguien que es un espectador, porque no saben cómo están colocadas realmente tus piernas, pero probablemente, cuando mires tus propias piernas, seguirás sin ver nada. Esa es nuestra estrategia actual”.

Sin embargo, la solución a corto plazo podría no tener la misma calidad que este algoritmo. Los trabajos de investigación de aprendizaje automático tienden a ejecutarse en potentes GPU de PC a una velocidad de fotogramas relativamente baja. El documento no menciona el rendimiento del sistema descrito, pero un RTX 3080 figura como utilizado para capacitación.

El evento anual AR/VR de Meta Connect se lleva a cabo en poco más de 2 semanas, por lo que es probable que cualquier anuncio de seguimiento del cuerpo se realice durante el mismo.

LEAVE A REPLY

Please enter your comment!
Please enter your name here