Documentación Crea un espectáculo de luces
Cómo funciona el espectáculo de luces
De un archivo de audio a luz en el pulso exacto: el análisis, la partitura, el reloj, el director y el entorno.
La mayoría de los visualizadores de música reaccionan: escuchan el sonido que está sonando y se mueven un instante después. El espectáculo de luces de Rainy, en cambio, está coreografiado. El servidor escucha la canción entera una vez, anota qué ocurre y cuándo, y el navegador lo reproduce al ritmo del audio. El espectáculo sabe que el drop llega ocho compases antes de que caiga.
Esta página explica cada paso. No la necesitas para usar el espectáculo, y te conviene leerla si vas a crear un entorno.
El recorrido
servidor, una vez por canción
archivo de audio → análisis → partitura (guardada por canción)
navegador, en cada fotograma
reloj el tiempo de la canción, fijado al audio
↓
fuente la partitura en ese instante → fotograma musical F
↓
director intensidad, paleta, atenuador, limitador de destellos → estado S
↓
entorno dibuja S a su manera
Todo hasta el director, incluido, es común. Un entorno solo decide qué aspecto tiene el estado del espectáculo, y por eso todos los entornos caen en el mismo pulso.
El análisis
Cuando una canción llega a la biblioteca, un proceso en segundo plano del servidor la decodifica y mide:
| Qué | Para qué se usa |
|---|---|
| Pulsos y primeros tiempos | La rejilla sobre la que se mueve todo: los pulsos, y el primer pulso de cada compás. |
| Tempo, y lo seguro que está el analizador de él | La velocidad del movimiento. |
| Golpes de batería: bombos, cajas y charles, cada uno con su fuerza | Pulsos de luz, estrobos, anillos. |
| Energía en cinco bandas (subgraves, graves, medios, agudos y aire), además del volumen general y lo tonal que es el sonido | Brillo, color, la forma de un paisaje. Se guarda 50 veces por segundo. |
| Secciones, etiquetadas como intro, estrofa, subida, estribillo, drop, pausa u outro, con su tonalidad, modo, energía y densidad | Un aspecto nuevo por sección, y sus colores. |
| Eventos: drops, impactos, subidas y paradas (silencios repentinos) | Los grandes momentos. |
| Perfil: una familia de género (EDM, pop, rock, hip-hop, latino, chill, orquestal) y una intensidad | Con cuánta fuerza va el espectáculo, y su estilo. |
Todo se mide en relación con la propia canción. Un tema acústico tranquilo sigue usando todo el rango de las luces, y un «drop» en una balada es su subida más fuerte. Lo fuerte y percusiva que es la canción en términos absolutos va a la intensidad del perfil.
El resultado es la partitura: un pequeño documento JSON que se guarda una vez por canción. El analizador tiene un número de versión, y una partitura de una versión anterior se rehace la próxima vez que hace falta. Parte del análisis puede ejecutarse en una tarjeta gráfica NVIDIA; consulta Aceleración por GPU.
El reloj
Para ejecutar un espectáculo con partitura, el navegador nunca escucha el audio. Lee la posición del reproductor, la suaviza y le suma tu Desfase de sincronización. Ese es el reloj del espectáculo.
Cada parte del espectáculo se calcula a partir de ese tiempo: «¿qué está pasando en 1:32.48?», y no «¿qué ha cambiado desde el fotograma anterior?». Esto tiene consecuencias que puedes ver:
- Al saltar a otro punto, el espectáculo cae exactamente en el aspecto correcto, hacia delante o hacia atrás.
- Al pausar, el espectáculo se queda quieto, atenuado, y se reanuda donde estaba.
- Un fotograma perdido no puede dejar el espectáculo descompasado. El siguiente fotograma vuelve a hacer la misma pregunta.
El fotograma
En cada fotograma, la partitura se lee en el tiempo del reloj para formar un fotograma musical: la energía de cada banda ahora mismo, qué golpes de batería acaban de sonar, la posición dentro del pulso y del compás, la sección actual y cuánto se ha avanzado en ella.
Como la partitura cubre toda la canción, el fotograma también mira hacia delante: cuánto falta para la siguiente sección, para el próximo drop, cuánto se ha avanzado en una subida, si está a punto de llegar un silencio. Esa anticipación es lo que permite que las luces crezcan durante una subida y corten a negro en el hueco anterior a un drop.
El respaldo en directo
Una canción que aún no se ha analizado no tiene partitura. Hasta que la tenga, Rainy escucha el audio mientras suena y estima el mismo fotograma en tiempo real: energía por bandas, golpes de batería y un pulso adivinado. No hay anticipación, así que el espectáculo sigue a la música en lugar de adelantarse a ella. El reproductor cambia a la partitura en cuanto termina el análisis.
El director
El director convierte el fotograma musical en el estado del espectáculo, y es el mismo para todos los entornos:
- Intensidad: con cuánta fuerza va el espectáculo, según el perfil de la canción o tu ajuste de Intensidad.
- Pulsos de batería: un bombo, una caja o un charles se convierte en una envolvente que sube de golpe y se apaga en una fracción de segundo.
- Frases: las secciones se cuentan en frases de ocho compases, para que el aspecto pueda cambiar dentro de una sección larga sin hacerlo al azar.
- Paleta: cinco colores derivados de la tonalidad y el modo de la sección, el género de la canción y tu color de acento. Se desliza de la paleta de una sección a la siguiente, y cambia de golpe en un drop.
- Atenuador general: al máximo mientras suena, bajo en pausa, a negro durante un silencio, y con una breve caída en el último pulso antes de un drop.
- Limitador de destellos: cada destello que quiere un entorno pasa por el director, que permite como mucho tres destellos completos por segundo. Con Reducir destellos activado, se convierten en pulsos de color suaves. Como el límite vive aquí, vale para todos los entornos.
Las letras
Cuando las letras están en escena, una línea de tiempo compartida dice qué se canta y cuándo: las líneas, el inicio y el final de cada palabra, los coros (las palabras entre paréntesis) separados de la línea principal, y las pausas instrumentales. Los tiempos por palabra son exactos una vez que se han analizado las letras de la canción, y antes de eso se estiman a partir de la longitud de la línea.
El aspecto de las palabras depende del entorno. Clásico las coloca bajo la portada con focos de seguimiento; Voyage las construye en el aire sobre la carretera. Los dos iluminan la misma palabra en el mismo instante.
El entorno
Un entorno recibe el estado del espectáculo en cada fotograma y lo dibuja. Rainy es su anfitrión:
- Le da al entorno su propia capa sobre el escenario y la hace aparecer y desaparecer.
- Organiza el reproductor a su alrededor: tal como está (escenario) o plegado (inmersivo).
- Le comunica la partitura, el título y la portada de la canción cuando cambian.
- Quita todo lo que el entorno añadió cuando se va.
- Si el entorno falla, Rainy lo retira del escenario y continúa en Clásico.
Clásico viene integrado. Cualquier otro entorno es un paquete, que solo se carga cuando alguien lo elige. Consulta Entornos del espectáculo de luces.
Mantener la fluidez
El espectáculo mide cuánto tardan sus fotogramas y se ajusta sobre la marcha:
- Tiene tres niveles de calidad. Si los fotogramas tardan demasiado, baja un nivel (menos resolución, menos efectos); cuando vuelve a haber margen, sube de nuevo.
- El Modo de bajo rendimiento fija el nivel más bajo y dibuja 30 fotogramas por segundo.
- Si el espectáculo sigue teniendo dificultades en el nivel más bajo durante unos diez segundos, ofrece una vez el Modo de bajo rendimiento.
Cada entorno decide qué significa para él un nivel de calidad: Clásico reduce la niebla y el brillo, Voyage baja su resolución y su resplandor.