Suscribirse a Cómo se Hace
La IA de baja calidad abunda en internet, y los generadores de video son un tema muy controvertido por diversas razones. Muchos profesionales se muestran indecisos al respecto. No se imaginan cómo los modelos generativos podrían ser útiles en su trabajo. ¿Por qué querría que una máquina creara un clip aleatorio y genérico que es sintético, extraño, dudoso y completamente desprovisto de mi voz? Planteándolo así, no tengo respuesta. Pero ¿y si pudiera conservar tu voz? ¿Y si existieran flujos de trabajo en los que los generadores de video con IA pudieran ser realmente útiles? El experimentado cineasta Drew Geraci ofrece una perspectiva diferente y nos muestra su enfoque frente a la producción de video híbrida con IA.
Drew Geraci es un reconocido director de fotografía y fotógrafo con más de 20 años de experiencia en la industria, creador de cautivadoras obras de time-lapse e hyper-lapse que probablemente ya hayas visto (Por ejemplo, los créditos iniciales de “House of Cards”). Recientemente, Drew lanzó su último curso en MZed, “Dirigiendo el Futuro: Vídeo con IA Ética para Cineastas”. Este artículo utiliza materiales del curso y ofrece un adelanto de su flujo de trabajo para transformar imágenes fijas en vídeos.
Producción de vídeo híbrida y el papel de la IA en ella
Mis colegas y yo hemos escrito numerosos artículos sobre generadores de vídeo con IA en los últimos años. Sora, Google Veo, Dream Machine, Veo 3, Sora 2… Algunos ya están muy desactualizados, porque la tecnología generativa se desarrolla a una velocidad vertiginosa. Sin embargo, nunca he usado generadores de vídeo con IA en la práctica, salvo para probarlos e informar sobre sus capacidades actuales. ¿Por qué? Por varias razones, principalmente por motivos éticos. Pero al mismo tiempo, no podía imaginar cómo un vídeo generado por IA podría formar parte de mi rutina de producción cinematográfica. Sobre todo, porque me encanta conceptualizar y crear imágenes cinematográficas impactantes, trabajar con personas reales y tener control total del resultado. Francamente, nada de eso se aplica al vídeo con IA. ¿O me equivoco?
En su curso, Drew Geraci demuestra varios casos de uso que ofrecen un enfoque diferente para estas herramientas de aprendizaje profundo, que vamos a llamar producción de vídeo híbrida. Se trata de una producción que combina a la perfección elementos generados por IA con imágenes reales y mantiene intacta tu voz artística. Podría usarse, por ejemplo, para crear recursos basados en tus fotografías reales, y luego animarlos y editarlos cuidadosamente en After Effects para crear una toma impactante.
Otra opción sería darle movimiento a tus fotografías fijas y combinar clips generados con imágenes reales en la posproducción. Analicemos con más detalle el flujo de trabajo de Drew.
Planificación meticulosa antes del rodaje
Para esta demostración, Drew realizó un rodaje soleado en una piscina con una modelo y un asistente. En general, fue como cualquier otro trabajo profesional de fotografía y vídeo. Utilizó cámaras de alta resolución (Sony a7R V y Sony a1 II, en este caso), trabajó con la iluminación, buscó las mejores composiciones, dio indicaciones sobre la actuación y captura de diversos ángulos.
Sin embargo, desde el principio sabían que se trataría de una producción de video híbrida, así que también lo planificaron:
- Algunas tomas se realizaron como fotografías. Otras, como videoclips. Esto se hizo pensando en la flexibilidad, tema del que hablaremos más adelante.
- La modelo de Drew, Michaela, quería transformarse gradualmente en una sirena al final del video. Por lo tanto, se aseguraron de encontrar la mejor perspectiva, que apoyara visualmente el efecto. Resultó ser una toma cenital, capturada con un dron.
Después del rodaje, Drew Geraci siguió su proceso de selección habitual y editó las fotos en Adobe Lightroom, dándoles el aspecto suave, casi etéreo, que buscaba.
Consejos para convertir imágenes fijas en clips con Google Flow
Ahora que tenía una colección de hermosas imágenes fijas listas para entregar al cliente, Drew decidió usar algunas para editar un video. Para ello, necesitaba darles un poco de movimiento para que se integraran perfectamente con el resto del metraje. Aquí es donde entra en juego la generación de video con IA.
En las demostraciones de su curso, Drew Geraci usa Google Flow. Esta plataforma para creativos cuenta con una interfaz intuitiva que utiliza los últimos modelos generativos de Google, como Veo 3 (ten en cuenta que hay una versión de prueba disponible, pero para crear más, se requiere una suscripción). Google Flow es una de las herramientas generativas más potentes que conocemos, ya que utiliza indicaciones de texto. Además, incluye la función “De Fotogramas a Video”.
Con “De Fotogramas a Video”, Drew sube una de sus imágenes fijas y luego escribe una descripción del movimiento. Para el primer plano de los pies de arriba, la indicación era: “Plano fijo; los pies de una mujer avanzan hacia adelante, entrando completamente en una piscina con ambos pies, uno tras otro, de manera muy delicada; estilo cinematográfico”. Como puedes ver, es un texto bastante elaborado con numerosos detalles precisos. Esto se debe a que necesitarás varias iteraciones para lograr el resultado deseado. Tras el primer intento, lo más probable es que obtengas un resultado con algún fallo, y esto te ayudará a modificar el texto de la instrucción y lo que necesitas especificar. En general, según la experiencia de Drew, cuanto más específico sea el comando, mejor será el resultado.
¿Y cuál fue el resultado? Google Flow tomó la foto de Drew, conservó la composición, la iluminación, los colores y la posición de los pies de la modelo, y simplemente infirió el movimiento correcto basándose en el texto de la instrucción. No inventó nada y mantuvo intacta la visión creativa.
Transición VFX sencilla
Otro consejo para usar Google Flow, compartido por Drew Geraci, es probar diferentes modelos de IA para tus tomas. En un menú desplegable, puedes habilitar versiones anteriores de Veo, como se muestra en la captura de pantalla:
¿Por qué? Algunos dirán: cuanto más nuevo, más avanzado. Pero Drew considera que los resultados de Veo 3 a veces se ven demasiado artificiales, como si intentaran suavizar los detalles de la imagen. Además, esta red neuronal puede desviarse un poco del estilo de gradación de color establecido. Por lo tanto, para la idea de la transformación en sirena, utilizó Veo 2.
Fueron necesarias varias iteraciones para lograr una transición de piernas a cola de sirena que se viera bien. De todos modos, como el efecto se había planificado con antelación y habían elegido un buen ángulo, no fue un proceso difícil.
Postproducción
Antes de continuar, Drew utiliza Topaz Labs para reescalar las generaciones de IA a 4K. Una vez completadas todas las tomas, las combina en un solo timeline en DaVinci Resolve y las edita en un solo vídeo. Su consejo para trabajar con los resultados de Google Flow es jugar con la velocidad. Por ejemplo, configuró las secuencias en el agua para que estuvieran en slow motion. Así, cuando aumenta su velocidad, por ejemplo, al 150%, se ven mucho más realistas.
El clip final, mostrado en el curso, se ve consistente, aunque incorpora tanto metraje mejorado con IA como tomas de acción real; Esto se debe a que ambos utilizan a la misma artista, estilo, iluminación, paleta de colores y visión. Como señala Drew, este podría ser un clip corto y divertido para redes sociales. Alternativamente, si deseas crear una transición de efectos visuales más elaborada a una sirena, realizada a mano por un artista experimentado, este clip podría servir como una excelente previsualización estilizada para una presentación.
Esta fue la opinión de Drew sobre la producción de video híbrida y cómo puede optimizar parte del flujo de trabajo sin perder la voz y la visión del usuario. Si bien se habla mucho de los generadores de video con IA de forma negativa (por ejemplo, que se utilizan para estafas y otros fines dañinos), este podría convertirse en un enfoque diferente, más ético y sostenible. Actualmente, con Drew estamos trabajando en lecciones adicionales, ¡así que mantente al tanto!
¿Qué más puedes aprender con MZed Pro?
Como miembro de MZed Pro, tendrás acceso a cientos de horas de formación en cine. Además, añadimos nuevos cursos todo el tiempo (actualmente hay varios en producción).
Desde solo $29 al mes (con un pago de $349 el primer año, $199 a partir del segundo año o $49 al mes), esto es lo que obtendrás:
- Más de 60 cursos con más de 800 lecciones de alta calidad.
- Cursos de alta calidad impartidos por educadores con décadas de experiencia y numerosos premios, incluyendo un Premio Pulitzer y un Premio Óscar.
- Acceso ilimitado a todo el contenido durante 12 meses.
- Descarga y visualiza el contenido sin conexión con la app de MZed para iOS.
- Descuentos en los cursos online de ARRI Academy, exclusivamente en MZed.
- La mayoría de nuestros cursos otorgan un certificado reconocido en la industria al finalizar.
- Comprar los cursos directamente te costaría más de $9.500.
- Los temas de los cursos incluyen: Cinematografía, dirección, iluminación, cámaras y lentes, producción, cine independiente, guion, edición, corrección de color, audio, time-lapse, presentaciones y más.
- Garantía de reembolso de 7 días si decides que no es para ti (solo en facturación anual).
Aviso: MZed es propiedad de CineD.
¡Únete a MZed Pro ahora y empieza a aprender hoy mismo!
¿Qué opinas de este enfoque de generadores de video con IA? ¿Considerarías una producción de video híbrida para algunos de tus proyectos? ¿De qué otra manera podría integrarse a tu flujo de trabajo? ¡Comparte tus ideas en los comentarios!
Crédito de la imagen: Curso “Dirigiendo el Futuro” / MZed / Drew Geraci.
