Un Video Musical con IA (Casi) Sin Presupuesto: El Pipeline de NOVALYX y Sus Seis Checkpoints

Dos Videos Musicales, Un Cantante Sintético

En octubre publiqué dos lyric videos de NOVALYX, un ídolo pop de IA completamente sintético:

• Slop Aipocalypse (2:58, publicado el 2026-10-14): un ídolo slopcore de IA anuncia, como si fuera el clima, que los modelos ya se entrenan con su propia salida, y el video se degrada con él, generación tras generación.
• Regenérame (2:41, publicado el 2026-10-26): un trap reggaeton melódico en spanglish donde le canta al usuario que dejó de escribirle prompts, dibujado como un historial de chat.

Los dos están en novalyxcash.com, junto con una wiki pública de cómo se hicieron.

Primero, el crédito. Este método no es mío. Copié a propósito el método publicado de claudia.gallery, de anabology, para aprenderlo practicándolo. La estructura de carpetas, los checkpoints y muchas de las reglas vienen de ahí. Lo que agrego aquí es lo que pasó cuando lo apliqué por mi cuenta.

Lo Que Vas a Aprender

1. El stack y qué hace cada herramienta
2. Los seis checkpoints donde decide una persona
3. El personaje como datos, no como una idea suelta
4. Las herramientas locales que hacen el trabajo aburrido y verificable
5. Cuánto costó de verdad (spoiler: no fueron exactamente $0)
6. Los errores que más me enseñaron

El Stack

La salida es a 24 fps, 1920x1080, más un corte vertical 9:16. Solo dos pasos gastan créditos de generación: las imágenes y los clips. Todo lo demás corre en local.

Los Seis Checkpoints

La idea central del método: un agente hace el trabajo, pero una persona (el director) decide en seis puntos fijos. Nada pasa de un checkpoint sin una respuesta explícita. En este proyecto yo fui el director y Claude Code fue el agente.

El checkpoint 5 es el que ahorra dinero. Antes de generar un solo clip, el agente escribe una proyección de costos: cuántas imágenes, cuántos clips, cuántos segundos y cuánto cuesta cada cosa, con cada número marcado como medido, supuesto o desconocido. En Regenérame esa proyección recomendó primero un piloto (6 imágenes y 1 clip) antes de la corrida completa, para probar el rostro y el costo de forma barata.

Cada decisión va a un archivo DECISIONS.md, con fecha y con las palabras del director citadas textualmente. Cuando algo sale mal después, puedes ver exactamente qué se acordó y por qué.

El Personaje Son Datos

Los modelos de imagen y de video no recuerdan nada entre una llamada y otra. Cada prompt empieza de cero, así que la consistencia es algo que llevas tú a mano.

NOVALYX vive en un archivo canon.json y en una página del personaje. El canon fija sus constantes:

• Un corte rapado oscuro con una sola franja verde lima sobre la oreja izquierda. Nunca dos.
• Lentes redondos y delgados de alambre, con cristales de un tinte lima pálido.
• Una cicatriz delgada en la ceja izquierda y un monitor in-ear transparente con cable lima.
• 32 años, escrito como número. Nunca "young", "boy" ni "teen" en un prompt.
• El lima es el único acento. Fotografía con grano de película, nunca ilustración.

De esas constantes sale un único texto de identidad, que se pega textual al inicio de cada prompt de imagen. Hay una versión larga para planos cerrados y una corta para planos abiertos, porque el texto completo hace que el modelo se acerque a la cara. Su nombre nunca aparece en el texto, así que cambiarle el nombre no rompe nada.

El mismo texto recorre toda la cadena: el prompt de la imagen, luego una imagen de referencia cuando el rostro ya está aprobado, luego la imagen se vuelve el primer fotograma de un clip y el prompt de video dice "como en el fotograma inicial". Cuando un clip no tiene fotograma inicial, la herramienta escribe el texto de identidad completo dentro del prompt de video, leído directamente de canon.json.

Una regla más que me ahorró muchas repeticiones: nada de texto en las imágenes generadas. Cada palabra en pantalla, cada línea de la letra, burbuja de chat y contador, se dibuja con código encima.

Las Herramientas Locales

Esta es la parte que más disfruté, porque convierte el "a mí me parece bien" en verificaciones que pasan o fallan.

• Puntuador de letras. Predice cómo va a cantar Suno una letra: métrica y asonancia de 0 a 100 por sección, sílabas por verso y los versos que no suenan.
• Herramientas de escucha. Separan los stems, alinean cada palabra de la letra con la voz, encuentran beats y golpes, y escriben un reporte.
• Verificación cruzada con Whisper. La alineación forzada ubica todas las palabras de la letra, incluso las que nunca se cantaron, así que "342 de 342 palabras alineadas" no prueba nada por sí solo. Una transcripción de Whisper sobre el stem de voz se compara con la letra verso por verso, y los sospechosos pasan a una revisión de oído.
• El storyboard como datos. El storyboard es un archivo shots.json, no un documento. Una auditoría lo revisa contra la canción: cortes sobre beats o golpes, cada palabra cantada escrita en pantalla, presupuesto de movimiento, ventanas de clips y el porcentaje de tiempo del protagonista en pantalla.
• Ventanas de clip. Para cada clip cantado, un recorte limpio del stem de voz, con un rango de tiempo por frase que entra al prompt de video para que la boca forme las palabras correctas.
• Render y compuertas. El video se renderiza fotograma por fotograma, y en cada corte corren dos compuertas: una de letra (cada palabra a tiempo) y una de destellos (como máximo un destello por segundo).
• Ledger. Una línea JSON, solo de agregado, por cada generación pagada: qué se hizo, con qué modelo, cuánto tardó y qué consumió.

Los archivos finales del primer video pasaron 342 de 342 palabras de la letra a tiempo con un máximo de 1 destello por segundo, tanto en el máster 16:9 como en el corte vertical.

Lo Que Costó de Verdad

El brief original decía: presupuesto $0, solo planes gratuitos. Eso se cumplió en el plan, no en el resultado. Esta es la versión honesta, según los propios registros del proyecto.

Slop Aipocalypse

• Canción: el plan gratuito de Suno. Eso significa que la canción es de uso no comercial y sigue siendo propiedad de Suno.
• Imágenes y primeros clips: el stack aprobado ya incluía una suscripción a Google AI Pro, para Nano Banana Pro y los créditos de Flow con los que se hicieron los primeros cuatro clips con rostro (20 créditos cada uno).
• Vertex AI: cuando el plan gratuito de video previsto (Dreamina) resultó no tener créditos gratis, autoricé Vertex AI, pagado con créditos del Google Developer Program y con un tope de gasto. El ledger y las notas muestran cerca de $1.80 por 14 imágenes candidatas extra y cerca de $18 por 18 llamadas a Veo. El costo de las primeras 23 imágenes quedó registrado en segundos y tokens, no en dólares.

Regenérame

• Canción: un plan Pro de Suno, una suscripción pagada, que permite uso comercial.
• Imágenes: Vertex AI pagado con el crédito mensual de Cloud que incluye un plan Google AI Pro, otra suscripción pagada. La proyección era de cerca de $1.50 para el piloto y cerca de $6 para el primer lote.
• Clips: Veo 3.1 Fast en Google Flow, 20 créditos por clip de 8 segundos, de los 1,000 créditos mensuales del plan Pro.

Así que lo justo es decirlo así: planes gratuitos más suscripciones, más cerca de $20 en créditos. Google AI Pro estuvo en los dos videos, Suno Pro en el segundo, y el primero usó cerca de $20 en créditos del Developer Program en Vertex. Nada de efectivo extra más allá de eso. Si no tienes nada de eso, inclúyelo en tu presupuesto.

Lo Que Falló y Lo Que Hago Ahora

Esto sale del registro de fallos y de los archivos de decisiones del proyecto. Elegí los que cambiaron mi forma de trabajar.

1. Vertex filtró todos los fotogramas iniciales con su rostro. La primera prueba de imagen a video volvió filtrada: un rostro fotorrealista en una imagen de entrada activa una categoría de seguridad. No hubo gasto, pero tampoco hubo clip. El hallazgo que destrabó el video: Vertex filtra el rostro solo en las imágenes de entrada. Así que los clips cantados pasaron a texto a video, con su identidad escrita en palabras. El costo, aceptado y registrado: su cara varía un poco entre clips.

2. Un prompt vago deja que el modelo decida. De 14 tomas cantadas, dos salieron sin camiseta y dos con bordes de película. El prompt de solo texto describía su cabeza y nada de su ropa, así que el modelo eligió. Y "photographic film still with grain" se interpretó literalmente como un fotograma de película con perforaciones. Ahora la regla nombra una camiseta negra lisa de cuello redondo y pide una imagen a cuadro completo, sin bordes.

3. La letra citada se cuela en pantalla. El prompt de video cita las palabras cantadas para que la boca las forme, y a veces Veo las dibuja como texto en pantalla, incluso con "no on-screen text" en el prompt. Todavía no hay una protección fuerte. Cualquier toma con texto legible se repite.

4. Veo inventa el lado de la cabeza que no ve. En Regenérame, cuando giraba hacia la cámara, Veo le dibujaba una segunda franja lima. Regla: mantener los clips cantados en el ángulo del fotograma inicial. Y juzgar cada clip solo en el tramo que realmente usa el montaje, no en los 8 segundos completos.

5. No le pidas a una persona que use una herramienta a mano si un script lo puede hacer. El plan era que yo hiciera 14 clips en Flow siguiendo una guía de ocho pasos por clip. No entendí la rutina, así que le dije al agente que los clips no se podían hacer de esa forma. Un script en Vertex los hizo en su lugar.

6. Un puntaje de auditoría no reemplaza tus ojos. Una imagen de la cama tenía dos franjas lima y la auditoría automática le dio 1.0 de todos modos. Otra salió como un hombre mayor ilustrado. Ahora leo las notas de la auditoría, miro la imagen y anoto cada elección en un archivo de veredictos, conservando las candidatas descartadas.

7. Un estilo puede parecer un bug. Slop Aipocalypse se degrada a propósito, en bloques y tramado. Después del segundo render vi "mucho pixel" y esperaba que se viera más real, pero lo acepté como versión 1. Como la degradación es una sola curva en el plan de render, la solución es girar una perilla, no volver a grabar. Regenérame quitó la degradación por completo.

8. Sincronizar labios por tiempos en el prompt no es sincronizar labios. La boca sigue las palabras solo porque el prompt da un rango de tiempo por frase, y el audio del video reemplaza el audio del clip. Nada lo mide. En Regenérame aprobé el corte, pero dejé la sincronización real de labios como meta para la próxima canción.

Lo Que Te Diría Si Quieres Intentarlo

• Copia primero un método publicado. Aprender repitiendo el método de alguien, y dándole el crédito, me enseñó más que inventar el mío.
• Pon una decisión humana en puntos fijos, y haz del costo un checkpoint antes de generar, no una sorpresa después.
• Trata al personaje como datos. Un solo texto de identidad, pegado textual, en todas partes.
• Dibuja todo el texto con código. Nunca le pidas a un modelo de imagen o video que escriba.
• Verifica con herramientas y luego con tus ojos. Las compuertas detectan los tiempos; solo tú detectas una segunda franja.
• Escribe el presupuesto con honestidad. "Solo planes gratuitos" es un plan. El ledger es la verdad.

El método completo, con sus errores, está en la wiki de NOVALYX. Y el método original está en claudia.gallery, de anabology.