Ce sur quoi Timbre repose

Standing on the shoulders of giants.

Formule du XIIe siècle, d’après Bernard de Chartres ; rendue célèbre par Isaac Newton (1675).

Timbre mesure et estime ce qui fait un track. Ça ne marche que parce que des équipes de recherche ont partagé ouvertement méthodes et modèles – avant tout le Music Technology Group de l’Universitat Pompeu Fabra à Barcelone. Ici, tu vois ce qui vient d’où et comment le citer.

Ce qui vient d’où

Cinq mesures, trois étapes chacune : la recherche, le modèle qui en est issu et ce que Timbre en fait.

Mix de genres
RechercheISMIR 2022 · MTG
ModèleDiscogs-EffNet – 400 styles Discogs
Dans TimbreParts en pourcentage, évolution sur le track, curseurs de genre
Voix et dansabilité
RechercheICASSP 2020 · MTG
Modèlevoice/instrumental, danceability
Dans TimbrePiste voix avec sections et chops, dansabilité dans le profil sonore
Tonalité
RechercheECIR 2016 · MTG · GiantSteps
ModèleEssentia Key, profil EDM
Dans TimbreOpen Key ou ta notation, « va avec », comparaison avec tes tags
Ambiance et tags
RechercheICML 2019 · MTG
ModèleTêtes MTG-Jamendo
Dans TimbreAmbiance, instruments et tags comme labels du modèle
Valence et activation
RechercheISMIR 2019 · ISMIR 2022 · MTG
ModèleMusiCNN avec têtes de valence et d’activation
Dans TimbreEntrées du modèle d’énergie (o à +++)

Sans modèle, directement sur le signal : loudness selon EBU R128, bandes de fréquences, contre-mesure du tempo – avec FFmpeg, librosa, NumPy, SciPy et notre propre code.

Entièrement Timbre : modèle d’énergie, octogone de mix, valise de disques, catalogue.

Ce que Timbre construit lui-même

L’énergie en quatre niveaux
Un modèle maison, appris à partir des mesures de Timbre et des estimations des modèles du MTG. Affiché en o, +, ++, +++.
Parts de genres
Les 400 styles de Discogs-EffNet deviennent des parts en pourcentage, un genre principal et une évolution sur le track.
Octogone de mix et valise de disques
Huit chemins depuis le track en cours, un ordre pour ton set, l’export vers ton logiciel DJ – tonalité dans ta notation.
Bandes de fréquences et piste voix
Des niveaux sur six bandes comme sur la table de mixage ; la détection de voix devient sections, chops et « incertain ».
Catalogue
Un track est mesuré une fois et reconnu par son empreinte – pour tout le monde, sans stocker de musique.

Publications à lire

Huit publications sur lesquelles reposent les mesures de Timbre. Titres en version originale, BibTeX prêt à copier.

Publication2022MTG · Universitat Pompeu Fabra
Music Representation Learning Based on Editorial Metadata from Discogs
P. Alonso-Jiménez, X. Serra, D. Bogdanov

Dans Timbre
Mix de genres (400 styles Discogs) et base de la plupart des têtes du modèle
Paru dans
ISMIR 2022, Bengaluru, pp. 825–833
Lien
doi.org/10.5281/zenodo.7316790 essentia.upf.edu/models.html
BibTeX
```
@inproceedings{alonso2022music,
  title={Music Representation Learning Based on Editorial Metadata from Discogs},
  author={Alonso-Jim{\'e}nez, Pablo and Serra, Xavier and Bogdanov, Dmitry},
  booktitle={Conference of the International Society for Music Information Retrieval (ISMIR)},
  pages={825--833},
  doi={10.5281/zenodo.7316790},
  year={2022}
}
```
Publication2016MTG · Universitat Pompeu Fabra
Key Estimation in Electronic Dance Music
Á. Faraldo, E. Gómez, S. Jordà, P. Herrera

Dans Timbre
Tonalité (profil « edmm »), affichée dans ta notation
Paru dans
ECIR 2016, Padua · Springer, pp. 335–347 · GiantSteps (EU FP7)
Lien
doi.org/10.1007/978-3-319-30671-1_25 essentia.upf.edu/reference/std_Key.html
BibTeX
```
@inproceedings{faraldo2016key,
  title={Key Estimation in Electronic Dance Music},
  author={Faraldo, {\'A}ngel and G{\'o}mez, Emilia and Jord{\`a}, Sergi and Herrera, Perfecto},
  booktitle={Advances in Information Retrieval (ECIR 2016)},
  pages={335--347},
  publisher={Springer},
  doi={10.1007/978-3-319-30671-1_25},
  year={2016}
}
```

Publication2020MTG · Universitat Pompeu Fabra

TensorFlow Audio Models in Essentia

P. Alonso-Jiménez, D. Bogdanov, J. Pons, X. Serra

Dans Timbre: Voix, dansabilité, timbre et d’autres têtes
Paru dans: IEEE ICASSP 2020
Lien: essentia.upf.edu/models.html

BibTeX

@inproceedings{alonso2020tensorflow,
  title={Tensorflow Audio Models in Essentia},
  author={Alonso-Jim{\'e}nez, Pablo and Bogdanov, Dmitry and Pons, Jordi and Serra, Xavier},
  booktitle={IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  year={2020}
}

Publication2019MTG · Universitat Pompeu Fabra

The MTG-Jamendo Dataset for Automatic Music Tagging

D. Bogdanov, M. Won, P. Tovstogan, A. Porter, X. Serra

Dans Timbre: Ambiance, instruments, tags
Paru dans: ICML 2019, Machine Learning for Music Discovery Workshop, Long Beach
Lien: github.com/MTG/mtg-jamendo-dataset

BibTeX

@conference{bogdanov2019mtg,
  title={The MTG-Jamendo Dataset for Automatic Music Tagging},
  author={Bogdanov, Dmitry and Won, Minz and Tovstogan, Philip and Porter, Alastair and Serra, Xavier},
  booktitle={Machine Learning for Music Discovery Workshop, International Conference on Machine Learning (ICML 2019)},
  address={Long Beach, CA, United States},
  year={2019}
}

Publication2019MTG · Universitat Pompeu Fabra
musicnn: Pre-trained convolutional neural networks for music audio tagging
J. Pons, X. Serra

Dans Timbre
Base pour la valence et l’activation
Paru dans
ISMIR 2019, Late-Breaking Demo
Lien
arxiv.org/abs/1909.06654 github.com/jordipons/musicnn
BibTeX
```
@article{pons2019musicnn,
  title={musicnn: Pre-trained convolutional neural networks for music audio tagging},
  author={Pons, Jordi and Serra, Xavier},
  journal={arXiv preprint arXiv:1909.06654},
  year={2019}
}
```

Publication2022MTG · Universitat Pompeu Fabra

MusAV: A dataset of relative arousal-valence annotations for validation of audio models

D. Bogdanov, X. Lizarraga-Seijas, P. Alonso-Jiménez, X. Serra

Dans Timbre: Valence et activation, entrées du modèle d’énergie
Paru dans: ISMIR 2022, Bengaluru, pp. 650–658
Lien: doi.org/10.5281/zenodo.7316746 essentia.upf.edu/models.html

BibTeX

@inproceedings{bogdanov2022musav,
  title={MUSAV: a dataset of relative arousal-valence annotations for validation of audio models},
  author={Bogdanov, Dmitry and Lizarraga Seijas, Xavier and Alonso-Jim{\'e}nez, Pablo and Serra, Xavier},
  booktitle={Conference of the International Society for Music Information Retrieval (ISMIR)},
  pages={650--658},
  doi={10.5281/zenodo.7316746},
  year={2022}
}

Publication2013MTG · Universitat Pompeu Fabra

Essentia: an Audio Analysis Library for Music Information Retrieval

D. Bogdanov, N. Wack, E. Gómez, S. Gulati, P. Herrera, O. Mayor, G. Roma, J. Salamon, J. Zapata, X. Serra

Dans Timbre: Noyau : tonalité, chargement et exécution des modèles
Paru dans: ISMIR 2013, Curitiba, pp. 493–498
Lien: archives.ismir.net/ismir2013/paper/000177.pdf essentia.upf.edu

BibTeX

@inproceedings{bogdanov2013essentia,
  title={Essentia: an Audio Analysis Library for Music Information Retrieval},
  author={Bogdanov, Dmitry and Wack, Nicolas and G{\'o}mez, Emilia and Gulati, Sankalp and Herrera, Perfecto and Mayor, Oscar and Roma, Gerard and Salamon, Justin and Zapata, Jos{\'e} and Serra, Xavier},
  booktitle={International Society for Music Information Retrieval Conference (ISMIR)},
  pages={493--498},
  year={2013}
}

Publication2015Open Source

librosa: Audio and Music Signal Analysis in Python

B. McFee, C. Raffel, D. Liang, D. P. W. Ellis, M. McVicar, E. Battenberg, O. Nieto

Dans Timbre: Mesures du signal, contre-mesure du tempo
Paru dans: SciPy 2015, Austin, pp. 18–25
Lien: doi.org/10.25080/Majora-7b98e3ed-003 librosa.org

BibTeX

@inproceedings{mcfee2015librosa,
  title={librosa: Audio and Music Signal Analysis in Python},
  author={McFee, Brian and Raffel, Colin and Liang, Dawen and Ellis, Daniel P. W. and McVicar, Matt and Battenberg, Eric and Nieto, Oriol},
  booktitle={Proceedings of the 14th Python in Science Conference (SciPy)},
  pages={18--25},
  doi={10.25080/Majora-7b98e3ed-003},
  year={2015}
}

Modèles et licence

Timbre estime le mix de genres, les voix, l’ambiance, la valence et l’activation avec des modèles pré-entraînés du Music Technology Group. Voici leur origine et leur licence.

Création: Music Technology Group, Universitat Pompeu Fabra
Modèles: discogs-effnet-bs64-1 · msd-musicnn-1 · approachability_2c-discogs-effnet-1 · danceability-discogs-effnet-1 · engagement_2c-discogs-effnet-1 · gender-discogs-effnet-1 · mood_acoustic-discogs-effnet-1 · mood_party-discogs-effnet-1 · mtg_jamendo_genre-discogs-effnet-1 · mtg_jamendo_instrument-discogs-effnet-1 · mtg_jamendo_moodtheme-discogs-effnet-1 · mtg_jamendo_top50tags-discogs-effnet-1 · timbre-discogs-effnet-1 · tonal_atonal-discogs-effnet-1 · voice_instrumental-discogs-effnet-1 · deam-msd-musicnn-2 · emomusic-msd-musicnn-2 · muse-msd-musicnn-2
Licence: Selon la page des modèles, CC BY-NC-SA 4.0 ; selon le fichier de licence du dossier des modèles, CC BY-NC-ND 4.0. Les deux indications du MTG se contredisent.
Source: essentia.upf.edu/models.html essentia.upf.edu/models/LICENSE
Modifications: Aucune : nous utilisons les modèles sans modification. Sur leurs résultats, Timbre entraîne son propre petit modèle d’énergie.

La licence AGPL-3.0 s’applique au code d’Essentia, pas à ces modèles.

Logiciels libres

Sans publication, mais tout aussi importants : les bibliothèques avec lesquelles Timbre calcule chaque jour.

Chromaprint
Empreinte acoustique grâce à laquelle le catalogue reconnaît les tracks.
FFmpeg
Lit presque tous les formats audio et mesure le loudness selon EBU R128.
NumPy
Le calcul sur les données audio – la base de presque toutes les mesures.
SciPy
Les filtres des bandes de fréquences, comme sur la table de mixage.
scikit-learn
La méthode d’apprentissage derrière le modèle d’énergie de Timbre.

Merci

À toutes les personnes qui ont construit et partagé pendant des années méthodes, datasets et modèles. Quelqu’un manque, ou une info est fausse ? Écris-nous. hello@timbremusic.app

Écris-nous

Timbre est un projet indépendant, sans lien avec le Music Technology Group ni avec l’Universitat Pompeu Fabra. Nous citons des noms, sans montrer de logos.

Standing on the shoulders of giants.

Ce qui vient d’où

Mix de genres

Voix et dansabilité

Tonalité

Ambiance et tags

Valence et activation

Ce que Timbre construit lui-même

L’énergie en quatre niveaux

Parts de genres

Octogone de mix et valise de disques

Bandes de fréquences et piste voix

Catalogue

Publications à lire

Music Representation Learning Based on Editorial Metadata from Discogs

Key Estimation in Electronic Dance Music

TensorFlow Audio Models in Essentia

The MTG-Jamendo Dataset for Automatic Music Tagging

musicnn: Pre-trained convolutional neural networks for music audio tagging

MusAV: A dataset of relative arousal-valence annotations for validation of audio models

Essentia: an Audio Analysis Library for Music Information Retrieval

librosa: Audio and Music Signal Analysis in Python

Modèles et licence

Logiciels libres

Chromaprint

FFmpeg

NumPy

SciPy

scikit-learn

Merci