Su cosa poggia Timbre

Standing on the shoulders of giants.

Espressione del XII secolo, attribuita a Bernardo di Chartres; resa celebre da Isaac Newton (1675).

Timbre misura e stima ciò che rende unico un track. Funziona solo perché chi fa ricerca ha condiviso apertamente metodi e modelli, prima di tutto il Music Technology Group dell’Universitat Pompeu Fabra di Barcellona. Qui trovi cosa viene da dove e come citarlo.

Cosa viene da dove

Cinque misure, tre passaggi ciascuna: la ricerca, il modello che ne è nato e cosa ne fa Timbre.

Mix di generi
RicercaISMIR 2022 · MTG
ModelloDiscogs-EffNet – 400 stili Discogs
In TimbreQuote in percentuale, andamento lungo il track, cursori di genere
Voci e ballabilità
RicercaICASSP 2020 · MTG
Modellovoice/instrumental, danceability
In TimbreCorsia voci con sezioni e chop, ballabilità nel profilo sonoro
Tonalità
RicercaECIR 2016 · MTG · GiantSteps
ModelloEssentia Key, profilo EDM
In TimbreOpen Key o la tua notazione, «sta bene con», confronto con i tuoi tag
Mood e tag
RicercaICML 2019 · MTG
ModelloTeste MTG-Jamendo
In TimbreMood, strumenti e tag come etichette del modello
Valenza e attivazione
RicercaISMIR 2019 · ISMIR 2022 · MTG
ModelloMusiCNN con teste di valenza e attivazione
In TimbreInput del modello di energia (da o a +++)

Senza modello, direttamente dal segnale: loudness secondo EBU R128, bande di frequenza, controprova del tempo, con FFmpeg, librosa, NumPy, SciPy e codice nostro.

Tutto Timbre: modello di energia, ottagono di mix, borsa dei dischi, catalogo.

Cosa costruisce Timbre

Energia in quattro livelli
Un modello proprio, addestrato sulle misure di Timbre e sulle stime dei modelli del MTG. Mostrato come o, +, ++, +++.
Quote di genere
I 400 stili di Discogs-EffNet diventano quote in percentuale, un genere guida e un andamento lungo il track.
Ottagono di mix e borsa dei dischi
Otto strade dal track attuale, un ordine per il tuo set, export verso il tuo software DJ, con la tonalità nella tua notazione.
Bande di frequenza e corsia voci
Livelli in sei bande come sul mixer; il rilevamento della voce diventa sezioni, chop e «incerto».
Catalogo
Un track viene misurato una volta e riconosciuto dall’impronta, per tutte le persone, senza salvare musica.

Paper da leggere

Otto pubblicazioni su cui si basano le misure di Timbre. Titoli in originale, BibTeX pronto da copiare.

Paper2022MTG · Universitat Pompeu Fabra
Music Representation Learning Based on Editorial Metadata from Discogs
P. Alonso-Jiménez, X. Serra, D. Bogdanov

In Timbre
Mix di generi (400 stili Discogs) e base della maggior parte delle teste del modello
Pubblicato
ISMIR 2022, Bengaluru, pp. 825–833
Link
doi.org/10.5281/zenodo.7316790 essentia.upf.edu/models.html
BibTeX
```
@inproceedings{alonso2022music,
  title={Music Representation Learning Based on Editorial Metadata from Discogs},
  author={Alonso-Jim{\'e}nez, Pablo and Serra, Xavier and Bogdanov, Dmitry},
  booktitle={Conference of the International Society for Music Information Retrieval (ISMIR)},
  pages={825--833},
  doi={10.5281/zenodo.7316790},
  year={2022}
}
```
Paper2016MTG · Universitat Pompeu Fabra
Key Estimation in Electronic Dance Music
Á. Faraldo, E. Gómez, S. Jordà, P. Herrera

In Timbre
Tonalità (profilo «edmm»), mostrata nella tua notazione
Pubblicato
ECIR 2016, Padua · Springer, pp. 335–347 · GiantSteps (EU FP7)
Link
doi.org/10.1007/978-3-319-30671-1_25 essentia.upf.edu/reference/std_Key.html
BibTeX
```
@inproceedings{faraldo2016key,
  title={Key Estimation in Electronic Dance Music},
  author={Faraldo, {\'A}ngel and G{\'o}mez, Emilia and Jord{\`a}, Sergi and Herrera, Perfecto},
  booktitle={Advances in Information Retrieval (ECIR 2016)},
  pages={335--347},
  publisher={Springer},
  doi={10.1007/978-3-319-30671-1_25},
  year={2016}
}
```

Paper2020MTG · Universitat Pompeu Fabra

TensorFlow Audio Models in Essentia

P. Alonso-Jiménez, D. Bogdanov, J. Pons, X. Serra

In Timbre: Voci, ballabilità, timbro e altre teste
Pubblicato: IEEE ICASSP 2020
Link: essentia.upf.edu/models.html

BibTeX

@inproceedings{alonso2020tensorflow,
  title={Tensorflow Audio Models in Essentia},
  author={Alonso-Jim{\'e}nez, Pablo and Bogdanov, Dmitry and Pons, Jordi and Serra, Xavier},
  booktitle={IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  year={2020}
}

Paper2019MTG · Universitat Pompeu Fabra

The MTG-Jamendo Dataset for Automatic Music Tagging

D. Bogdanov, M. Won, P. Tovstogan, A. Porter, X. Serra

In Timbre: Mood, strumenti, tag
Pubblicato: ICML 2019, Machine Learning for Music Discovery Workshop, Long Beach
Link: github.com/MTG/mtg-jamendo-dataset

BibTeX

@conference{bogdanov2019mtg,
  title={The MTG-Jamendo Dataset for Automatic Music Tagging},
  author={Bogdanov, Dmitry and Won, Minz and Tovstogan, Philip and Porter, Alastair and Serra, Xavier},
  booktitle={Machine Learning for Music Discovery Workshop, International Conference on Machine Learning (ICML 2019)},
  address={Long Beach, CA, United States},
  year={2019}
}

Paper2019MTG · Universitat Pompeu Fabra
musicnn: Pre-trained convolutional neural networks for music audio tagging
J. Pons, X. Serra

In Timbre
Base per valenza e attivazione
Pubblicato
ISMIR 2019, Late-Breaking Demo
Link
arxiv.org/abs/1909.06654 github.com/jordipons/musicnn
BibTeX
```
@article{pons2019musicnn,
  title={musicnn: Pre-trained convolutional neural networks for music audio tagging},
  author={Pons, Jordi and Serra, Xavier},
  journal={arXiv preprint arXiv:1909.06654},
  year={2019}
}
```

Paper2022MTG · Universitat Pompeu Fabra

MusAV: A dataset of relative arousal-valence annotations for validation of audio models

D. Bogdanov, X. Lizarraga-Seijas, P. Alonso-Jiménez, X. Serra

In Timbre: Valenza e attivazione, input del modello di energia
Pubblicato: ISMIR 2022, Bengaluru, pp. 650–658
Link: doi.org/10.5281/zenodo.7316746 essentia.upf.edu/models.html

BibTeX

@inproceedings{bogdanov2022musav,
  title={MUSAV: a dataset of relative arousal-valence annotations for validation of audio models},
  author={Bogdanov, Dmitry and Lizarraga Seijas, Xavier and Alonso-Jim{\'e}nez, Pablo and Serra, Xavier},
  booktitle={Conference of the International Society for Music Information Retrieval (ISMIR)},
  pages={650--658},
  doi={10.5281/zenodo.7316746},
  year={2022}
}

Paper2013MTG · Universitat Pompeu Fabra

Essentia: an Audio Analysis Library for Music Information Retrieval

D. Bogdanov, N. Wack, E. Gómez, S. Gulati, P. Herrera, O. Mayor, G. Roma, J. Salamon, J. Zapata, X. Serra

In Timbre: Nucleo: tonalità, caricamento ed esecuzione dei modelli
Pubblicato: ISMIR 2013, Curitiba, pp. 493–498
Link: archives.ismir.net/ismir2013/paper/000177.pdf essentia.upf.edu

BibTeX

@inproceedings{bogdanov2013essentia,
  title={Essentia: an Audio Analysis Library for Music Information Retrieval},
  author={Bogdanov, Dmitry and Wack, Nicolas and G{\'o}mez, Emilia and Gulati, Sankalp and Herrera, Perfecto and Mayor, Oscar and Roma, Gerard and Salamon, Justin and Zapata, Jos{\'e} and Serra, Xavier},
  booktitle={International Society for Music Information Retrieval Conference (ISMIR)},
  pages={493--498},
  year={2013}
}

Paper2015Open Source

librosa: Audio and Music Signal Analysis in Python

B. McFee, C. Raffel, D. Liang, D. P. W. Ellis, M. McVicar, E. Battenberg, O. Nieto

In Timbre: Misure del segnale, controprova del tempo
Pubblicato: SciPy 2015, Austin, pp. 18–25
Link: doi.org/10.25080/Majora-7b98e3ed-003 librosa.org

BibTeX

@inproceedings{mcfee2015librosa,
  title={librosa: Audio and Music Signal Analysis in Python},
  author={McFee, Brian and Raffel, Colin and Liang, Dawen and Ellis, Daniel P. W. and McVicar, Matt and Battenberg, Eric and Nieto, Oriol},
  booktitle={Proceedings of the 14th Python in Science Conference (SciPy)},
  pages={18--25},
  doi={10.25080/Majora-7b98e3ed-003},
  year={2015}
}

Modelli e licenza

Timbre stima mix di generi, voci, mood, valenza e attivazione con modelli pre-addestrati del Music Technology Group. Qui trovi origine e licenza.

Creati da: Music Technology Group, Universitat Pompeu Fabra
Modelli: discogs-effnet-bs64-1 · msd-musicnn-1 · approachability_2c-discogs-effnet-1 · danceability-discogs-effnet-1 · engagement_2c-discogs-effnet-1 · gender-discogs-effnet-1 · mood_acoustic-discogs-effnet-1 · mood_party-discogs-effnet-1 · mtg_jamendo_genre-discogs-effnet-1 · mtg_jamendo_instrument-discogs-effnet-1 · mtg_jamendo_moodtheme-discogs-effnet-1 · mtg_jamendo_top50tags-discogs-effnet-1 · timbre-discogs-effnet-1 · tonal_atonal-discogs-effnet-1 · voice_instrumental-discogs-effnet-1 · deam-msd-musicnn-2 · emomusic-msd-musicnn-2 · muse-msd-musicnn-2
Licenza: Secondo la pagina dei modelli CC BY-NC-SA 4.0, secondo il file di licenza nella cartella dei modelli CC BY-NC-ND 4.0. Le due indicazioni del MTG si contraddicono.
Fonte: essentia.upf.edu/models.html essentia.upf.edu/models/LICENSE
Modifiche: Nessuna: usiamo i modelli senza modifiche. Sui loro risultati Timbre addestra un piccolo modello di energia tutto suo.

La AGPL-3.0 vale per il codice di Essentia, non per questi modelli.

Software libero

Senza paper, ma altrettanto importanti: le librerie con cui Timbre calcola ogni giorno.

Chromaprint
Impronta acustica con cui il catalogo riconosce i track.
FFmpeg
Legge quasi ogni formato audio e misura la loudness secondo EBU R128.
NumPy
Calcolo sui dati audio: la base di quasi ogni misura.
SciPy
I filtri per le bande di frequenza, come sul mixer.
scikit-learn
Il metodo di apprendimento dietro il modello di energia di Timbre.

Grazie

A tutte le persone che per anni hanno costruito e condiviso metodi, dataset e modelli. Manca qualcuno o un dato è sbagliato? Scrivici. hello@timbremusic.app

Scrivici

Timbre è un progetto indipendente e non è legato al Music Technology Group né all’Universitat Pompeu Fabra. Facciamo i nomi, ma non mostriamo loghi.

Standing on the shoulders of giants.

Cosa viene da dove

Mix di generi

Voci e ballabilità

Tonalità

Mood e tag

Valenza e attivazione

Cosa costruisce Timbre

Energia in quattro livelli

Quote di genere

Ottagono di mix e borsa dei dischi

Bande di frequenza e corsia voci

Catalogo

Paper da leggere

Music Representation Learning Based on Editorial Metadata from Discogs

Key Estimation in Electronic Dance Music

TensorFlow Audio Models in Essentia

The MTG-Jamendo Dataset for Automatic Music Tagging

musicnn: Pre-trained convolutional neural networks for music audio tagging

MusAV: A dataset of relative arousal-valence annotations for validation of audio models

Essentia: an Audio Analysis Library for Music Information Retrieval

librosa: Audio and Music Signal Analysis in Python

Modelli e licenza

Software libero

Chromaprint

FFmpeg

NumPy

SciPy

scikit-learn

Grazie