En qué se apoya Timbre
Standing on the shoulders of giants.
Expresión del siglo XII, atribuida a Bernardo de Chartres; famosa gracias a Isaac Newton (1675).
Timbre mide y estima lo que define un track. Eso solo funciona porque hubo quienes investigan y compartieron métodos y modelos en abierto, sobre todo el Music Technology Group de la Universitat Pompeu Fabra en Barcelona. Aquí ves qué viene de dónde y cómo citarlo.
Qué viene de dónde
Cinco mediciones, tres etapas cada una: la investigación, el modelo que salió de ella y lo que Timbre hace con él.
Mix de géneros
InvestigaciónISMIR 2022 · MTG
ModeloDiscogs-EffNet: 400 estilos de Discogs
En TimbrePartes en porcentaje, evolución a lo largo del track, reguladores de género
Voces y bailabilidad
InvestigaciónICASSP 2020 · MTG
Modelovoice/instrumental, danceability
En TimbrePista de voces con secciones y chops, bailabilidad en el perfil sonoro
Tonalidad
InvestigaciónECIR 2016 · MTG · GiantSteps
ModeloEssentia Key, perfil EDM
En TimbreOpen Key o tu notación, «encaja con», comparación con tus tags
Mood y tags
InvestigaciónICML 2019 · MTG
ModeloCabezas MTG-Jamendo
En TimbreMood, instrumentos y tags como etiquetas del modelo
Valencia y activación
InvestigaciónISMIR 2019 · ISMIR 2022 · MTG
ModeloMusiCNN con cabezas de valencia y activación
En TimbreEntradas del modelo de energía (o a +++)
Sin modelo, directo de la señal: sonoridad según EBU R128, bandas de frecuencia, contraprueba del tempo, con FFmpeg, librosa, NumPy, SciPy y código propio.
Todo Timbre: modelo de energía, octágono de mezcla, maleta de discos, catálogo.
Lo que construye Timbre
Energía en cuatro niveles
Un modelo propio, entrenado con las mediciones de Timbre y las estimaciones de los modelos del MTG. Se muestra como o, +, ++, +++.
Partes de género
Los 400 estilos de Discogs-EffNet se convierten en partes en porcentaje, un género principal y una evolución a lo largo del track.
Octágono de mezcla y maleta de discos
Ocho caminos desde el track actual, un orden para tu set, exportación a tu software de DJ, con la tonalidad en tu notación.
Bandas de frecuencia y pista de voces
Niveles en seis bandas como en el mixer; la detección de voz se convierte en secciones, chops e «inseguro».
Catálogo
Un track se mide una vez y se reconoce por su huella, para todas las personas, sin guardar música.
Papers para leer
Ocho publicaciones en las que se basan las mediciones de Timbre. Títulos en el original, BibTeX listo para copiar.
Music Representation Learning Based on Editorial Metadata from Discogs
P. Alonso-Jiménez, X. Serra, D. Bogdanov
- En Timbre
- Mix de géneros (400 estilos de Discogs) y base de la mayoría de cabezas del modelo
- Publicado
- ISMIR 2022, Bengaluru, pp. 825–833
- Enlace
- doi.org/10.5281/zenodo.7316790essentia.upf.edu/models.html
BibTeX
@inproceedings{alonso2022music, title={Music Representation Learning Based on Editorial Metadata from Discogs}, author={Alonso-Jim{\'e}nez, Pablo and Serra, Xavier and Bogdanov, Dmitry}, booktitle={Conference of the International Society for Music Information Retrieval (ISMIR)}, pages={825--833}, doi={10.5281/zenodo.7316790}, year={2022} }Key Estimation in Electronic Dance Music
Á. Faraldo, E. Gómez, S. Jordà, P. Herrera
- En Timbre
- Tonalidad (perfil «edmm»), mostrada en tu notación
- Publicado
- ECIR 2016, Padua · Springer, pp. 335–347 · GiantSteps (EU FP7)
- Enlace
- doi.org/10.1007/978-3-319-30671-1_25essentia.upf.edu/reference/std_Key.html
BibTeX
@inproceedings{faraldo2016key, title={Key Estimation in Electronic Dance Music}, author={Faraldo, {\'A}ngel and G{\'o}mez, Emilia and Jord{\`a}, Sergi and Herrera, Perfecto}, booktitle={Advances in Information Retrieval (ECIR 2016)}, pages={335--347}, publisher={Springer}, doi={10.1007/978-3-319-30671-1_25}, year={2016} }TensorFlow Audio Models in Essentia
P. Alonso-Jiménez, D. Bogdanov, J. Pons, X. Serra
- En Timbre
- Voces, bailabilidad, timbre y más cabezas
- Publicado
- IEEE ICASSP 2020
- Enlace
- essentia.upf.edu/models.html
BibTeX
@inproceedings{alonso2020tensorflow, title={Tensorflow Audio Models in Essentia}, author={Alonso-Jim{\'e}nez, Pablo and Bogdanov, Dmitry and Pons, Jordi and Serra, Xavier}, booktitle={IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)}, year={2020} }The MTG-Jamendo Dataset for Automatic Music Tagging
D. Bogdanov, M. Won, P. Tovstogan, A. Porter, X. Serra
- En Timbre
- Mood, instrumentos, tags
- Publicado
- ICML 2019, Machine Learning for Music Discovery Workshop, Long Beach
- Enlace
- github.com/MTG/mtg-jamendo-dataset
BibTeX
@conference{bogdanov2019mtg, title={The MTG-Jamendo Dataset for Automatic Music Tagging}, author={Bogdanov, Dmitry and Won, Minz and Tovstogan, Philip and Porter, Alastair and Serra, Xavier}, booktitle={Machine Learning for Music Discovery Workshop, International Conference on Machine Learning (ICML 2019)}, address={Long Beach, CA, United States}, year={2019} }musicnn: Pre-trained convolutional neural networks for music audio tagging
J. Pons, X. Serra
- En Timbre
- Base para valencia y activación
- Publicado
- ISMIR 2019, Late-Breaking Demo
- Enlace
- arxiv.org/abs/1909.06654github.com/jordipons/musicnn
BibTeX
@article{pons2019musicnn, title={musicnn: Pre-trained convolutional neural networks for music audio tagging}, author={Pons, Jordi and Serra, Xavier}, journal={arXiv preprint arXiv:1909.06654}, year={2019} }MusAV: A dataset of relative arousal-valence annotations for validation of audio models
D. Bogdanov, X. Lizarraga-Seijas, P. Alonso-Jiménez, X. Serra
- En Timbre
- Valencia y activación, entradas del modelo de energía
- Publicado
- ISMIR 2022, Bengaluru, pp. 650–658
- Enlace
- doi.org/10.5281/zenodo.7316746essentia.upf.edu/models.html
BibTeX
@inproceedings{bogdanov2022musav, title={MUSAV: a dataset of relative arousal-valence annotations for validation of audio models}, author={Bogdanov, Dmitry and Lizarraga Seijas, Xavier and Alonso-Jim{\'e}nez, Pablo and Serra, Xavier}, booktitle={Conference of the International Society for Music Information Retrieval (ISMIR)}, pages={650--658}, doi={10.5281/zenodo.7316746}, year={2022} }Essentia: an Audio Analysis Library for Music Information Retrieval
D. Bogdanov, N. Wack, E. Gómez, S. Gulati, P. Herrera, O. Mayor, G. Roma, J. Salamon, J. Zapata, X. Serra
- En Timbre
- Núcleo: tonalidad, carga y ejecución de los modelos
- Publicado
- ISMIR 2013, Curitiba, pp. 493–498
- Enlace
- archives.ismir.net/ismir2013/paper/000177.pdfessentia.upf.edu
BibTeX
@inproceedings{bogdanov2013essentia, title={Essentia: an Audio Analysis Library for Music Information Retrieval}, author={Bogdanov, Dmitry and Wack, Nicolas and G{\'o}mez, Emilia and Gulati, Sankalp and Herrera, Perfecto and Mayor, Oscar and Roma, Gerard and Salamon, Justin and Zapata, Jos{\'e} and Serra, Xavier}, booktitle={International Society for Music Information Retrieval Conference (ISMIR)}, pages={493--498}, year={2013} }librosa: Audio and Music Signal Analysis in Python
B. McFee, C. Raffel, D. Liang, D. P. W. Ellis, M. McVicar, E. Battenberg, O. Nieto
- En Timbre
- Mediciones de señal, contraprueba del tempo
- Publicado
- SciPy 2015, Austin, pp. 18–25
- Enlace
- doi.org/10.25080/Majora-7b98e3ed-003librosa.org
BibTeX
@inproceedings{mcfee2015librosa, title={librosa: Audio and Music Signal Analysis in Python}, author={McFee, Brian and Raffel, Colin and Liang, Dawen and Ellis, Daniel P. W. and McVicar, Matt and Battenberg, Eric and Nieto, Oriol}, booktitle={Proceedings of the 14th Python in Science Conference (SciPy)}, pages={18--25}, doi={10.25080/Majora-7b98e3ed-003}, year={2015} }
Modelos y licencia
Timbre estima el mix de géneros, las voces, el mood, la valencia y la activación con modelos preentrenados del Music Technology Group. Aquí ves su origen y su licencia.
- Autoría
- Music Technology Group, Universitat Pompeu Fabra
- Modelos
- discogs-effnet-bs64-1 · msd-musicnn-1 · approachability_2c-discogs-effnet-1 · danceability-discogs-effnet-1 · engagement_2c-discogs-effnet-1 · gender-discogs-effnet-1 · mood_acoustic-discogs-effnet-1 · mood_party-discogs-effnet-1 · mtg_jamendo_genre-discogs-effnet-1 · mtg_jamendo_instrument-discogs-effnet-1 · mtg_jamendo_moodtheme-discogs-effnet-1 · mtg_jamendo_top50tags-discogs-effnet-1 · timbre-discogs-effnet-1 · tonal_atonal-discogs-effnet-1 · voice_instrumental-discogs-effnet-1 · deam-msd-musicnn-2 · emomusic-msd-musicnn-2 · muse-msd-musicnn-2
- Licencia
- Según la página de modelos, CC BY-NC-SA 4.0; según el archivo de licencia de la carpeta de modelos, CC BY-NC-ND 4.0. Las dos indicaciones del MTG se contradicen.
- Fuente
- essentia.upf.edu/models.htmlessentia.upf.edu/models/LICENSE
- Cambios
- Ninguno: usamos los modelos sin modificar. Con sus resultados, Timbre entrena un modelo de energía propio y pequeño.
La AGPL-3.0 se aplica al código de Essentia, no a estos modelos.
Software libre
Sin paper, pero igual de importante: bibliotecas con las que Timbre calcula cada día.
Chromaprint
Huella acústica con la que el catálogo reconoce los tracks.
FFmpeg
Lee casi cualquier formato de audio y mide la sonoridad según EBU R128.
NumPy
Cálculo con los datos de audio: la base de casi todas las mediciones.
SciPy
Filtros para las bandas de frecuencia, como en el mixer.
scikit-learn
El método de aprendizaje detrás del modelo de energía de Timbre.
Gracias
A todas las personas que durante años construyeron y compartieron métodos, datasets y modelos. ¿Falta alguien o hay un dato incorrecto? Escríbenos. hello@timbremusic.app
Timbre es un proyecto independiente y no está vinculado al Music Technology Group ni a la Universitat Pompeu Fabra. Mencionamos nombres, pero no mostramos logos.