Documentació Crea un espectacle de llums
Com funciona l'espectacle de llums
D'un fitxer d'àudio a llum al pols exacte: l'anàlisi, la partitura, el rellotge, el director i l'entorn.
La majoria de visualitzadors de música reaccionen: escolten el so que està sonant i es mouen un instant després. L'espectacle de llums de Rainy, en canvi, està coreografiat. El servidor escolta la cançó sencera una vegada, anota què hi passa i quan, i el navegador ho reprodueix al ritme de l'àudio. L'espectacle sap que el drop arriba vuit compassos abans que caigui.
Aquesta pàgina explica cada pas. No et cal per fer servir l'espectacle, i et convé llegir-la si vols crear un entorn.
El recorregut
servidor, una vegada per cançó
fitxer d'àudio → anàlisi → partitura (desada per cançó)
navegador, a cada fotograma
rellotge el temps de la cançó, fixat a l'àudio
↓
font la partitura en aquell instant → fotograma musical F
↓
director intensitat, paleta, atenuador, limitador de flaixos → estat S
↓
entorn dibuixa S a la seva manera
Tot fins al director, inclòs, és comú. Un entorn només decideix quin aspecte té l'estat de l'espectacle, i per això tots els entorns cauen al mateix pols.
L'anàlisi
Quan una cançó arriba a la biblioteca, un procés en segon pla del servidor la descodifica i mesura:
| Què | Per a què es fa servir |
|---|---|
| Polsos i primers temps | La graella sobre la qual es mou tot: els polsos, i el primer pols de cada compàs. |
| Tempo, i com de segur n'està l'analitzador | La velocitat del moviment. |
| Cops de bateria: bombos, caixes i xarles, cadascun amb la seva força | Polsos de llum, estrobos, anells. |
| Energia en cinc bandes (subgreus, greus, mitjos, aguts i aire), a més del volum general i com de tonal és el so | Brillantor, color, la forma d'un paisatge. Es desa 50 vegades per segon. |
| Seccions, etiquetades com a intro, estrofa, pujada, tornada, drop, pausa o outro, amb la seva tonalitat, mode, energia i densitat | Un aspecte nou per secció, i els seus colors. |
| Esdeveniments: drops, impactes, pujades i aturades (silencis sobtats) | Els grans moments. |
| Perfil: una família de gènere (EDM, pop, rock, hip-hop, llatí, chill, orquestral) i una intensitat | Amb quina força va l'espectacle, i el seu estil. |
Tot es mesura en relació amb la mateixa cançó. Un tema acústic tranquil continua fent servir tot el rang dels llums, i un «drop» en una balada és la seva pujada més forta. Com de forta i percussiva és la cançó en termes absoluts va a la intensitat del perfil.
El resultat és la partitura: un petit document JSON que es desa una vegada per cançó. L'analitzador té un número de versió, i una partitura d'una versió anterior es torna a fer la propera vegada que cal. Una part de l'anàlisi es pot executar en una targeta gràfica NVIDIA; consulta Acceleració per GPU.
El rellotge
Per fer anar un espectacle amb partitura, el navegador no escolta mai l'àudio. Llegeix la posició del reproductor, la suavitza i hi suma el teu Desfasament de sincronització. Aquest és el rellotge de l'espectacle.
Cada part de l'espectacle es calcula a partir d'aquest temps: «què està passant a 1:32.48?», i no «què ha canviat des del fotograma anterior?». Això té conseqüències que pots veure:
- En saltar a un altre punt, l'espectacle cau exactament a l'aspecte correcte, endavant o enrere.
- En pausar, l'espectacle es queda quiet, atenuat, i es reprèn on era.
- Un fotograma perdut no pot deixar l'espectacle descompassat. El fotograma següent torna a fer la mateixa pregunta.
El fotograma
A cada fotograma, la partitura es llegeix al temps del rellotge per formar un fotograma musical: l'energia de cada banda ara mateix, quins cops de bateria acaben de sonar, la posició dins del pols i del compàs, la secció actual i quant s'hi ha avançat.
Com que la partitura cobreix tota la cançó, el fotograma també mira endavant: quant falta per a la secció següent, per al proper drop, quant s'ha avançat en una pujada, si està a punt d'arribar un silenci. Aquesta anticipació és el que permet que els llums creixin durant una pujada i tallin a negre en el buit anterior a un drop.
El mode de reserva en directe
Una cançó que encara no s'ha analitzat no té partitura. Fins que en tingui, Rainy escolta l'àudio mentre sona i estima el mateix fotograma en temps real: energia per bandes, cops de bateria i un pols endevinat. No hi ha anticipació, de manera que l'espectacle segueix la música en lloc d'avançar-s'hi. El reproductor canvia a la partitura tan bon punt acaba l'anàlisi.
El director
El director converteix el fotograma musical en l'estat de l'espectacle, i és el mateix per a tots els entorns:
- Intensitat: amb quina força va l'espectacle, segons el perfil de la cançó o la teva opció d'Intensitat.
- Polsos de bateria: un bombo, una caixa o un xarles es converteix en una envolupant que puja de cop i s'apaga en una fracció de segon.
- Frases: les seccions es compten en frases de vuit compassos, perquè l'aspecte pugui canviar dins d'una secció llarga sense fer-ho a l'atzar.
- Paleta: cinc colors derivats de la tonalitat i el mode de la secció, el gènere de la cançó i el teu color d'accent. Llisca de la paleta d'una secció a la següent, i canvia de cop en un drop.
- Atenuador general: al màxim mentre sona, baix en pausa, a negre durant un silenci, i amb una breu caiguda a l'últim pols abans d'un drop.
- Limitador de flaixos: cada flaix que vol un entorn passa pel director, que permet com a màxim tres flaixos complets per segon. Amb Redueix els flaixos activat, es converteixen en polsos de color suaus. Com que el límit viu aquí, val per a tots els entorns.
Les lletres
Quan les lletres són a escena, una línia de temps compartida diu què es canta i quan: les línies, l'inici i el final de cada paraula, els cors (les paraules entre parèntesis) separats de la línia principal, i les pauses instrumentals. Els temps per paraula són exactes un cop s'han analitzat les lletres de la cançó, i abans d'això s'estimen a partir de la llargada de la línia.
L'aspecte de les paraules depèn de l'entorn. Clàssic les col·loca sota la caràtula amb focus de seguiment; Voyage les construeix a l'aire sobre la carretera. Tots dos il·luminen la mateixa paraula al mateix instant.
L'entorn
Un entorn rep l'estat de l'espectacle a cada fotograma i el dibuixa. Rainy n'és l'amfitrió:
- Dona a l'entorn la seva pròpia capa sobre l'escenari i la fa aparèixer i desaparèixer.
- Organitza el reproductor al seu voltant: tal com és (escenari) o plegat (immersiu).
- Li comunica la partitura, el títol i la caràtula de la cançó quan canvien.
- Treu tot el que l'entorn ha afegit quan se'n va.
- Si l'entorn falla, Rainy el retira de l'escenari i continua a Clàssic.
Clàssic ve integrat. Qualsevol altre entorn és un paquet, que només es carrega quan algú el tria. Consulta Entorns de l'espectacle de llums.
Mantenir la fluïdesa
L'espectacle mesura quant triguen els seus fotogrames i s'ajusta sobre la marxa:
- Té tres nivells de qualitat. Si els fotogrames triguen massa, baixa un nivell (menys resolució, menys efectes); quan torna a haver-hi marge, torna a pujar.
- El Mode de baix rendiment fixa el nivell més baix i dibuixa 30 fotogrames per segon.
- Si l'espectacle continua tenint dificultats al nivell més baix durant uns deu segons, ofereix una vegada el Mode de baix rendiment.
Cada entorn decideix què vol dir per a ell un nivell de qualitat: Clàssic redueix la boira i la brillantor, Voyage abaixa la seva resolució i la seva resplendor.