Un conejo lee el periódico con una taza de té humeante encima de la mesa. Este vídeo ha sido creado con Kling, la primera herramienta de texto a vídeo hiperrealista que se lanza al público general. Esta IA se ha desarrollado en China y ha precipitado la publicación de Dream Machine y Runway Gen-3: dos modelos de generación de vídeo desarrollados en Estados Unidos.

Un modelo de texto a vídeo es aquel que, a partir de un prompt, es capaz de generar centenares de fotogramas que, unidos, darán lugar a un vídeo. La herramienta Dream Machine, creada por la startup Luma AI, es capaz de crear 120 fotogramas en dos minutos, aunque la gran demanda ha hecho que los usuarios tengan que esperar en la cola virtual durante horas para que se procese su vídeo. De momento es de uso gratuito (hasta 30 vídeos al mes) y ofrece planes de pago para tener prioridad en el uso del servidor.

Se necesitan muchas fotografías y vídeos para entrenar una IA de generación de vídeo y todavía existen algunas limitaciones. Por ejemplo, algunos movimientos pueden resultar poco realistas y los modelos suelen tener problemas para generar texto dentro del vídeo. También hay ocasiones en las que no entienden el prompt y generan otro vídeo. Por eso es recomendable introducir una imagen como input para guiar al modelo.

Sin embargo, la nueva IA de Runway, Gen-3 Alpha, promete solucionar estos problemas. La empresa dice estar trabajando en mejorar su modelo para que siga las leyes de la física en la generación de contenido. Esto es muy relevante para hacer que los movimientos sean más naturales y que el vídeo generado tenga sentido. También afirman haber introducido el vocabulario cinematográfico en su entrenamiento para que entienda mejor el estilo y pueda seguir mejor las indicaciones de los creadores.

Uno de los retos más importante con estos nuevos modelos es asegurar que su uso sea lícito. En este sentido, Runway tiene previsto lanzar un sistema de moderación para controlar que se cumpla su código de conducta.

Estas herramientas tienen un gran potencial para ayudar a democratizar el acceso a la creación de contenidos, pero también pueden usarse para generar desinformación.

Cuando una tecnología de este estilo se ‘encuentra’ con el público, los usuarios acaban descubriendo nuevas utilidades que los creadores quizá ni habían visto en su diseño. Con Dream Machine, se han hecho virales los vídeos de algunos de los memes más populares de internet cobrando vida.

Más allá del humor, esta IA generativa puede ser una herramienta útil para la industria audiovisual, ya que permite probar ideas a un precio muy económico e incluso encontrar inspiración para un proyecto. De momento, la tecnología está en desarrollo y seguramente irá mejorando en calidad y fiabilidad en los próximos meses.

La meta, para Runway, es crear ‘general world models’ para entender el mundo visual. Estos modelos grandes podrían ser capaces de tener un mapa del entorno tal y como lo vemos nosotros y producir vídeos más precisos. 

Suscríbete a las newsletters de Informativos Telecinco y te contamos las noticias en tu mail.

Síguenos en nuestro canal de WhatsApp y conoce toda la actualidad al momento.