Un equipo de investigación de Google y la Universidad de Tel Aviv presenta GameNGen, un innovador motor de juego impulsado por IA, capaz de simular juegos complejos como DOOM en tiempo real.
En un avance significativo en la tecnología de simulación de juegos, investigadores de Google Research y la Universidad de Tel Aviv han desarrollado GameNGen, el primer motor de juego completamente alimentado por un modelo neuronal.
Este motor permite la interacción en tiempo real con entornos complejos, logrando simular el clásico juego DOOM a más de 20 fotogramas por segundo en una única TPU.
GameNGen se entrena en dos fases. Primero, un agente de aprendizaje por refuerzo (RL-agent) aprende a jugar y sus sesiones de entrenamiento se registran.
Posteriormente, un modelo de difusión se entrena para producir el siguiente fotograma, condicionado por la secuencia de fotogramas y acciones anteriores.
Esta metodología asegura una generación estable y autorregresiva a lo largo de trayectorias extendidas.
Durante las evaluaciones, los evaluadores humanos apenas pudieron distinguir entre clips cortos del juego original y los producidos por la simulación, lo que resalta la alta calidad del motor.
GameNGen logra una PSNR de 29.4, comparable con la compresión JPEG con pérdidas.
El modelo de difusión utilizado es una versión adaptada de Stable Diffusion v1.4, que se condiciona en secuencias de acciones y observaciones previas.
Para mejorar la calidad visual y mitigar el desplazamiento autorregresivo durante la inferencia, se añade ruido gaussiano a los fotogramas codificados durante el entrenamiento. Esto permite a la red corregir la información de fotogramas anteriores.
Una parte crucial del proceso es el ajuste fino del decodificador latente, que mejora la calidad de imagen utilizando una pérdida MSE calculada contra los píxeles del fotograma objetivo.
Esto es especialmente importante para detalles pequeños y el HUD de la barra inferior del juego.
Este innovador enfoque no solo redefine el potencial de los motores de juego en tiempo real, sino que también abre nuevas posibilidades para la creación de experiencias de juego más inmersivas y dinámicas.