Worauf Timbre steht

Standing on the shoulders of giants.

Redewendung aus dem 12. Jahrhundert, nach Bernhard von Chartres; berühmt durch Isaac Newton (1675).

Timbre misst und schätzt, was einen Track ausmacht. Das geht nur, weil Forschende Messverfahren und Modelle offen geteilt haben – allen voran die Music Technology Group der Universitat Pompeu Fabra in Barcelona. Hier steht, was woher kommt und wie du es zitierst.

Was woher kommt

Fünf Messungen, je drei Stufen: die Forschung, das Modell daraus und was Timbre damit macht.

Genre-Mix
ForschungISMIR 2022 · MTG
ModellDiscogs-EffNet – 400 Discogs-Stile
In TimbreAnteile in Prozent, Verlauf über den Track, Genre-Regler
Vocals und Tanzbarkeit
ForschungICASSP 2020 · MTG
Modellvoice/instrumental, danceability
In TimbreVocals-Spur mit Abschnitten und Chops, Tanzbarkeit im Klangprofil
Tonart
ForschungECIR 2016 · MTG · GiantSteps
ModellEssentia Key, Profil für EDM
In TimbreOpen Key oder deine Schreibweise, „passt zu“, Abgleich mit deinen Tags
Stimmung und Tags
ForschungICML 2019 · MTG
ModellMTG-Jamendo-Köpfe
In TimbreStimmung, Instrumente und Tags als Modell-Labels
Valenz und Erregung
ForschungISMIR 2019 · ISMIR 2022 · MTG
ModellMusiCNN mit Köpfen für Valenz und Erregung
In TimbreEingaben fürs Energie-Modell (o bis +++)

Ohne Modell, direkt am Signal: Lautheit nach EBU R128, Frequenzbänder, Tempo-Gegenprobe – mit FFmpeg, librosa, NumPy, SciPy und eigenem Code.

Ganz von Timbre: Energie-Modell, Mix-Oktagon, Plattenkoffer, Katalog.

Was Timbre selbst baut

Energie in vier Stufen
Ein eigenes Modell, gelernt aus Timbres Messwerten und den Einschätzungen der MTG-Modelle. Gezeigt als o, +, ++, +++.
Genre-Anteile
Aus den 400 Stilen von Discogs-EffNet werden Anteile in Prozent, ein Leitgenre und ein Verlauf über den Track.
Mix-Oktagon und Plattenkoffer
Acht Wege vom aktuellen Track, Reihenfolge fürs Set, Export für deine DJ-Software – Tonart in deiner Schreibweise.
Frequenzbänder und Vocals-Spur
Pegel in sechs Bändern wie am Mixer; aus der Stimm-Erkennung werden Abschnitte, Chops und „unsicher“.
Katalog
Ein Track wird einmal gemessen und per Fingerabdruck wiedererkannt – für alle, ohne Musik zu speichern.

Paper zum Nachlesen

Acht Veröffentlichungen, auf denen Timbres Messungen beruhen. Im Original verlinkt, BibTeX zum Kopieren.

Paper2022MTG · Universitat Pompeu Fabra

Music Representation Learning Based on Editorial Metadata from Discogs

P. Alonso-Jiménez, X. Serra, D. Bogdanov

In Timbre: Genre-Mix (400 Discogs-Stile) und Grundlage der meisten Modell-Köpfe
Erschienen: ISMIR 2022, Bengaluru, pp. 825–833
Link: doi.org/10.5281/zenodo.7316790 essentia.upf.edu/models.html

BibTeX

@inproceedings{alonso2022music,
  title={Music Representation Learning Based on Editorial Metadata from Discogs},
  author={Alonso-Jim{\'e}nez, Pablo and Serra, Xavier and Bogdanov, Dmitry},
  booktitle={Conference of the International Society for Music Information Retrieval (ISMIR)},
  pages={825--833},
  doi={10.5281/zenodo.7316790},
  year={2022}
}

Paper2016MTG · Universitat Pompeu Fabra
Key Estimation in Electronic Dance Music
Á. Faraldo, E. Gómez, S. Jordà, P. Herrera

In Timbre
Tonart (Profil „edmm“), angezeigt in deiner Schreibweise
Erschienen
ECIR 2016, Padua · Springer, pp. 335–347 · GiantSteps (EU FP7)
Link
doi.org/10.1007/978-3-319-30671-1_25 essentia.upf.edu/reference/std_Key.html
BibTeX
```
@inproceedings{faraldo2016key,
  title={Key Estimation in Electronic Dance Music},
  author={Faraldo, {\'A}ngel and G{\'o}mez, Emilia and Jord{\`a}, Sergi and Herrera, Perfecto},
  booktitle={Advances in Information Retrieval (ECIR 2016)},
  pages={335--347},
  publisher={Springer},
  doi={10.1007/978-3-319-30671-1_25},
  year={2016}
}
```

Paper2020MTG · Universitat Pompeu Fabra

TensorFlow Audio Models in Essentia

P. Alonso-Jiménez, D. Bogdanov, J. Pons, X. Serra

In Timbre: Vocals, Tanzbarkeit, Klangfarbe und weitere Köpfe
Erschienen: IEEE ICASSP 2020
Link: essentia.upf.edu/models.html

BibTeX

@inproceedings{alonso2020tensorflow,
  title={Tensorflow Audio Models in Essentia},
  author={Alonso-Jim{\'e}nez, Pablo and Bogdanov, Dmitry and Pons, Jordi and Serra, Xavier},
  booktitle={IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  year={2020}
}

Paper2019MTG · Universitat Pompeu Fabra

The MTG-Jamendo Dataset for Automatic Music Tagging

D. Bogdanov, M. Won, P. Tovstogan, A. Porter, X. Serra

In Timbre: Stimmung, Instrumente, Tags
Erschienen: ICML 2019, Machine Learning for Music Discovery Workshop, Long Beach
Link: github.com/MTG/mtg-jamendo-dataset

BibTeX

@conference{bogdanov2019mtg,
  title={The MTG-Jamendo Dataset for Automatic Music Tagging},
  author={Bogdanov, Dmitry and Won, Minz and Tovstogan, Philip and Porter, Alastair and Serra, Xavier},
  booktitle={Machine Learning for Music Discovery Workshop, International Conference on Machine Learning (ICML 2019)},
  address={Long Beach, CA, United States},
  year={2019}
}

Paper2019MTG · Universitat Pompeu Fabra
musicnn: Pre-trained convolutional neural networks for music audio tagging
J. Pons, X. Serra

In Timbre
Grundlage für Valenz und Erregung
Erschienen
ISMIR 2019, Late-Breaking Demo
Link
arxiv.org/abs/1909.06654 github.com/jordipons/musicnn
BibTeX
```
@article{pons2019musicnn,
  title={musicnn: Pre-trained convolutional neural networks for music audio tagging},
  author={Pons, Jordi and Serra, Xavier},
  journal={arXiv preprint arXiv:1909.06654},
  year={2019}
}
```

Paper2022MTG · Universitat Pompeu Fabra

MusAV: A dataset of relative arousal-valence annotations for validation of audio models

D. Bogdanov, X. Lizarraga-Seijas, P. Alonso-Jiménez, X. Serra

In Timbre: Valenz und Erregung, Eingaben fürs Energie-Modell
Erschienen: ISMIR 2022, Bengaluru, pp. 650–658
Link: doi.org/10.5281/zenodo.7316746 essentia.upf.edu/models.html

BibTeX

@inproceedings{bogdanov2022musav,
  title={MUSAV: a dataset of relative arousal-valence annotations for validation of audio models},
  author={Bogdanov, Dmitry and Lizarraga Seijas, Xavier and Alonso-Jim{\'e}nez, Pablo and Serra, Xavier},
  booktitle={Conference of the International Society for Music Information Retrieval (ISMIR)},
  pages={650--658},
  doi={10.5281/zenodo.7316746},
  year={2022}
}

Paper2013MTG · Universitat Pompeu Fabra

Essentia: an Audio Analysis Library for Music Information Retrieval

D. Bogdanov, N. Wack, E. Gómez, S. Gulati, P. Herrera, O. Mayor, G. Roma, J. Salamon, J. Zapata, X. Serra

In Timbre: Messkern: Tonart, Laden und Ausführen der Modelle
Erschienen: ISMIR 2013, Curitiba, pp. 493–498
Link: archives.ismir.net/ismir2013/paper/000177.pdf essentia.upf.edu

BibTeX

@inproceedings{bogdanov2013essentia,
  title={Essentia: an Audio Analysis Library for Music Information Retrieval},
  author={Bogdanov, Dmitry and Wack, Nicolas and G{\'o}mez, Emilia and Gulati, Sankalp and Herrera, Perfecto and Mayor, Oscar and Roma, Gerard and Salamon, Justin and Zapata, Jos{\'e} and Serra, Xavier},
  booktitle={International Society for Music Information Retrieval Conference (ISMIR)},
  pages={493--498},
  year={2013}
}

Paper2015Open Source

librosa: Audio and Music Signal Analysis in Python

B. McFee, C. Raffel, D. Liang, D. P. W. Ellis, M. McVicar, E. Battenberg, O. Nieto

In Timbre: Signalmessungen, Tempo-Gegenprobe
Erschienen: SciPy 2015, Austin, pp. 18–25
Link: doi.org/10.25080/Majora-7b98e3ed-003 librosa.org

BibTeX

@inproceedings{mcfee2015librosa,
  title={librosa: Audio and Music Signal Analysis in Python},
  author={McFee, Brian and Raffel, Colin and Liang, Dawen and Ellis, Daniel P. W. and McVicar, Matt and Battenberg, Eric and Nieto, Oriol},
  booktitle={Proceedings of the 14th Python in Science Conference (SciPy)},
  pages={18--25},
  doi={10.25080/Majora-7b98e3ed-003},
  year={2015}
}

Modelle und Lizenz

Genre-Mix, Vocals, Stimmung, Valenz und Erregung schätzt Timbre mit vortrainierten Modellen der Music Technology Group. Hier stehen Herkunft und Lizenz.

Urheberschaft: Music Technology Group, Universitat Pompeu Fabra
Modelle: discogs-effnet-bs64-1 · msd-musicnn-1 · approachability_2c-discogs-effnet-1 · danceability-discogs-effnet-1 · engagement_2c-discogs-effnet-1 · gender-discogs-effnet-1 · mood_acoustic-discogs-effnet-1 · mood_party-discogs-effnet-1 · mtg_jamendo_genre-discogs-effnet-1 · mtg_jamendo_instrument-discogs-effnet-1 · mtg_jamendo_moodtheme-discogs-effnet-1 · mtg_jamendo_top50tags-discogs-effnet-1 · timbre-discogs-effnet-1 · tonal_atonal-discogs-effnet-1 · voice_instrumental-discogs-effnet-1 · deam-msd-musicnn-2 · emomusic-msd-musicnn-2 · muse-msd-musicnn-2
Lizenz: Laut Modellseite CC BY-NC-SA 4.0, laut Lizenzdatei im Modellordner CC BY-NC-ND 4.0 – die beiden Angaben der MTG widersprechen sich.
Quelle: essentia.upf.edu/models.html essentia.upf.edu/models/LICENSE
Änderungen: Keine: Wir nutzen die Modelle unverändert. Auf den Ausgaben der Modelle trainiert Timbre ein eigenes kleines Energie-Modell.

Die AGPL-3.0 gilt für den Code von Essentia, nicht für diese Modelle.

Offene Software

Ohne Paper, aber genauso wichtig: offene Bausteine, mit denen Timbre jeden Tag rechnet.

Chromaprint
Akustischer Fingerabdruck, mit dem der Katalog Tracks wiedererkennt.
FFmpeg
Liest fast jedes Audioformat und misst die Lautheit nach EBU R128.
NumPy
Rechnet mit den Audiodaten – Grundlage fast jeder Messung.
SciPy
Filter für die Frequenzbänder wie am Mixer.
scikit-learn
Lernverfahren hinter Timbres Energie-Modell.

Danke

An alle, die über Jahre Messverfahren, Datensätze und Modelle gebaut und geteilt haben. Fehlt jemand, oder stimmt eine Angabe nicht? Schreib uns. hello@timbremusic.app

Schreib uns

Timbre ist ein unabhängiges Projekt und nicht mit der Music Technology Group oder der Universitat Pompeu Fabra verbunden. Wir nennen Namen, zeigen aber keine Logos.

Standing on the shoulders of giants.

Was woher kommt

Genre-Mix

Vocals und Tanzbarkeit

Tonart

Stimmung und Tags

Valenz und Erregung

Was Timbre selbst baut

Energie in vier Stufen

Genre-Anteile

Mix-Oktagon und Plattenkoffer

Frequenzbänder und Vocals-Spur

Katalog

Paper zum Nachlesen

Music Representation Learning Based on Editorial Metadata from Discogs

Key Estimation in Electronic Dance Music

TensorFlow Audio Models in Essentia

The MTG-Jamendo Dataset for Automatic Music Tagging

musicnn: Pre-trained convolutional neural networks for music audio tagging

MusAV: A dataset of relative arousal-valence annotations for validation of audio models

Essentia: an Audio Analysis Library for Music Information Retrieval

librosa: Audio and Music Signal Analysis in Python

Modelle und Lizenz

Offene Software

Chromaprint

FFmpeg

NumPy

SciPy

scikit-learn

Danke