Presentamos una nueva investigación sobre un Agente Multimundo Instruccionable Escalable (SIMA), que mediante entrenamiento puede seguir las instrucciones de lenguaje natural para realizar tareas en diferentes escenarios de videojuegos. Los videojuegos son un ambiente clave para el aprendizaje de la inteligencia artificial. SIMA es un agente generalista de inteligencia artificial para entornos virtuales 3D, asociado con desarrolladores de videojuegos para su enseñanza y pruebas. Este trabajo marcó la primera vez que un agente ha demostrado su capacidad de comprender una amplia gama de mundos de juego y ejecutar tareas dentro de ellos, como si fuera un ser humano.
La capacidad de aprender a jugar hasta un videojuego es una hazaña técnica para un sistema de inteligencia artificial, pero la capacidad de seguir instrucciones en diferentes entornos puede hacer más útiles los agentes de inteligencia artificial para cualquier ambiente. Los modelos avanzados de inteligencia artificial pueden traducir sus habilidades a acciones prácticas del mundo real mediante una interfaz de lenguaje natural. SIMA y otros agentes de investigación utilizaron videojuegos como cajas de arena para comprender mejor cómo los sistemas de inteligencia artificial pueden ser más útiles. Colaboramos con ocho estudios de juegos diferentes para entrenar y probar a SIMA en nueve videojuegos distintos. SIMA es un agente inteligente versátil que puede percibir y entender diferentes ambientes, luego actuar con fin de alcanzar una meta establecida. Se compone de un modelo específicamente diseñado para el mapeo preciso de imágenes y lenguaje, además de un modelo de video que predice lo que ocurrirá en la pantalla a continuación. SIMA se entrena con datos específicos para los ajustes 3D de nuestra cartera. Nuestro agente no necesita acceso al código fuente de un juego ni API, sino sólo dos entradas: las imágenes en pantalla y instrucciones de lenguaje natural proporcionadas por el usuario. SIMA utiliza las salidas de teclado y ratón para controlar los juegos y puede interactuar potencialmente con cualquier entorno virtual. La versión actual se evalúa mediante 600 habilidades básicas, tales como navegar (por ejemplo, girar a la izquierda), interaccionar con objetos (subir la escalera) y usar menús (abrir el mapa). Hemos entrenado a SIMA para realizar tareas sencillas que pueden completarse en unos 10 segundos. Hemos evaluado a SIMA mediante 600 habilidades básicas, abarcando la navegación, interacción de objetos y el uso de menús. Nuestro objetivo es que los agentes futuros puedan enfrentar tareas que requieran una planificación estratégica de alto nivel y múltiples subtareas para completar, como por ejemplo: 'Buscar recursos y construir un campamento'. Esto es importante para la IA en general, ya que aunque los modelos de idiomas grandes han dado sistemas potentes capaces de capturar el conocimiento sobre el mundo y generar planes, actualmente no tienen la capacidad de tomar acciones en nuestro nombre. En nuestras pruebas, los agentes de SIMA se entrenaron en un grupo de nueve juegos 3D significativos de nuestra cartera.
Estos agentes superaron a todos los especialistas entrenados únicamente en cada uno de ellos. Además, si un agente estuvo entrenado en todos menos en uno de ellos, se realizó casi igual bien en ese juego que el entrenado específicamente para él, en general. Es importante destacar que la capacidad de SIMA para funcionar en nuevos entornos demuestra su capacidad para generalizar más allá de su entrenamiento. Sin embargo, aún se requiere más investigación sobre SIMA para que pueda alcanzar el desempeño humano en juegos visibles y ocultos. Nuestros resultados también muestran que el rendimiento de SIMA se basa en el lenguaje. Cuando el agente no recibió entrenamiento lingüístico o instrucciones, su comportamiento era correcto pero sin objetivo. Por ejemplo, un agente podía recolectar recursos, un comportamiento común, en lugar de ir donde se le ordenó. Evaluamos la capacidad de SIMA para seguir las órdenes para completar casi 1500 tareas únicas en el juego, en parte utilizando jueces humanos. Como referencia de comparación, usamos el rendimiento de los agentes de SIMA especializados en el medio ambiente (entrenados y evaluados para seguir las órdenes). Estos resultados se compararon con otros tres tipos de agentes generalistas de SIMA, cada uno entrenado a través de múltiples entornos. Los resultados de SIMA muestran el potencial para desarrollar una nueva ola de agentes de inteligencia artificial generalizados, impulsados por el lenguaje. Esto es investigación inicial y esperamos seguir trabajando en SIMA a través de más entornos de formación e incorporándola para mejorar la comprensión de SIMA y su capacidad de actuar en las instrucciones de idiomas de nivel alto para lograr objetivos más complejos. Finalmente, nuestra investigación está construyendo hacia sistemas y agentes de inteligencia artificial más generales que puedan entender e implementar con seguridad una amplia gama de tareas de manera útil para las personas tanto en línea como en el mundo real. Para más información sobre SIMA, lea nuestro informe técnico.
