Projet de logiciel de lecture compatible LMS

[a supprimer merci]

Elle est disponible ici: https://data.discogs.com/
Je ne sais pas comment l'exploiter, je n'ai pas regardé, pas certain que je le ferai.

---

(11-21-2018, 07:07 PM)Bigga a écrit :

(11-21-2018, 01:02 PM)paulw a écrit : Une autre base intéressante sur le jazz: https://jdisc.columbia.edu/

---

Et ce site pour la musique de Duke Ellington, avec notamment une liste complète de toutes les sessions avec les musiciens, et de les titres enregistrés avec les compositeurs: http://ellingtonia.com/index.html

Je vais essayer d'exporter les données, les croiser, et compléter mes tags sur la centaine de CD d'Ellington que je possède...
Les titres dans les sessions sont associées à un enregistrement, lorsqu'un disque a été publié. A l'aide de Discogs, qui référence toutes les "release" pour un "master" donné, on doit pouvoir retrouver facilement les informations.

Voici un exemple:
- l'édition original (vinly) de "New Orleans Suite" qui est référencé sur le site "ellingtonia": https://www.discogs.com/Duke-Ellington-N...se/7706418
- le "master" associé avec toutes les "release": https://www.discogs.com/Duke-Ellington-N...ter/163644

C'est ce qui manque aujourd'hui dans Tonal (je crois) et ce serai très utile de l'avoir. Si les données sont gérées par "release", on va pas s'en sortir, puisqu'il y a de multiples éditions des mêmes oeuvres. Dans l'exemple ci-dessus, il y a 7 versions CD.

Pour info, la base de Discogs est disponible en téléchargement - le fichier zippé fait 6 Go...

Ouch! 6Go pour du texte...
Par contre c'est une fonctionnalité de Discos que je n'avais pas repéré à l'époque où je taguais ma bibliothèque.
Sinon, 100 albums juste pour le Duke... Pas mal!

La bonne approche pour constituer des bases de données utiles et exploitables serai de procéder par artiste ou thème, en fonction des centres d'intérêt de chacun, c'est à dire d'avoir des "spécialistes" (volontaires!).

[Bigga]

(11-21-2018, 07:37 PM)paulw a écrit : La bonne approche pour constituer des bases de données utiles et exploitables serai de procéder par artiste ou thème, en fonction des centres d'intérêt de chacun, c'est à dire d'avoir des "spécialistes" (volontaires!).

Oui, c'est sûr que cela serait plus efficace. Personnellement, même si j'aime beaucoup le jazz et en particulier le hard bop, je n'ai toutefois pas plusieurs éditions du même disque. J'ai commencé à acheter des CD à mon adolescence, et l'argent était encore bien plus compté qu'aujourd'hui.
Sinon, je n'aurais rien contre m'y intéresser, mais il faudrait définir un cahier des charges précis des informations à recueillir et celles à ne pas recueillir, ainsi que quelle présentation texte il faut adopter, et savoir si on récupère les jaquettes si on les trouve, et en quel format et taille.

[a supprimer merci]

Oui, bien sur. Attendons un peu de voir quelles sont les options pour héberger ces informations, et si cela peut intéresser un plus large public de développer une base.

Concernant les éditions multiples d'un même disque, je ne sais pas comment c'est géré dans tous les logiciels. Dans Roon, par exemple, je ne pense pas que toutes les versions récupèrent les mêmes données, même si les pistes sont identiques. 

Je ne pense pas avoir plusieurs éditions du même album. Ça peut arriver lorsque l'on achète une version remasterisée, mais personnellement je garde dans ma bibliothèque la meilleure version. 

C'est compliqué la demat !

EDIT: j'ai fait depuis des tests sur Discogs, et la notion de "Master" n'est pas toujours utilisable. Les pistes different parfois entre une "release" et le "master" associé ''...

[a supprimer merci]

Un petite découverte intéressante - avec le logiciel MP3TAG (que j'utilise), il est possible d'exporter la description des albums (avec images, liste de pistes, tags...) dans des fichiers. On trouve des modèles ici: https://community.mp3tag.de/t/export-con...chive/1495
Le format des exports est configurable a l'aide de scripts. On peut générer des fichiers texte, html, XML... 

Donc on peut facilement générer avec cette fonction des fichiers descriptifs des albums, dans un format donné (et à terme éventuellement stockés sur un serveur). Cela évite de lire directement les tags des fichiers, ce qui est assez complexe compte tenu des différents formats.

Une approche un peu moins ambitieuse que ce qui a été discuté précédemment serai donc  la suivante:

- utiliser un programme de gestion des tags pour renseigner les informations au niveau des pistes. Ce n'est pas idéal, mais ça reste assez simple à utiliser. La configuration des champs est très simple à réaliser, et la saisie n'est finalement pas trop laborieuse (on peut sélectionner toutes les pistes d'un album pour renseigner des données communes, il y a des champs libre multi-lignes...). 

- générer des fichiers descriptifs pour chaque album, avec une structure normalisée (et qui contiendra donc plus d'informations que ce qui est géré dans LMS). 

- utiliser ces fichiers pour la navigation/lecture de la bibliothèque. L'affichage des informations d'un album peut être travaillé pour avoir une vue claire de toutes les informations, disposer de liens, etc... 

- pour la lecture, faire le lien avec LMS en utilisant l'emplacement des fichiers. Une alternative,  évoquée précédemment, consisterai  à utiliser une référence "universelle" (la "release" de Discogs, par exemple). Ceci faciliterai les échanges, mais c'est plus lourd à mettre en place. 

Quoi qu'il en soit, si ces fichiers sont normalisés ils pourraient éventuellement être échangés ou partagés .. 

Concernant l'intégrité du référentiel (genres, artistes, compositeurs...) c'est intéressant mais ambitueux. A défaut d'avoir une base unique pour tout le monde (Tonal, MusicBrainz  etc...) un référentiel peut toujours être défini et partagé. Il doit en exister (reste à trouver le meilleur). Des utilitaires sont peut être disponibles pour effectuer des contrôles d'intégrité et identifier les erreurs. A etudier...

Pour que ce système fonctionne pour le plus grand nombre il faut effectivement essayer de "normaliser" l'utilisation des tags: la liste, leur contenu, le format utilisé... Je serai intéresser d'échanger  rapidement sur ce point. On pourrait d'ailleurs ouvrir un fil séparé pour échanger sur les "Best practice" en matiere de tags, sur les référentiels disponibles, et les normes conseillées. 


J'avance un peu sur la partie "technique" en parallèle.

[Bigga]

(11-22-2018, 11:54 PM)paulw a écrit : Un petite découverte intéressante - avec le logiciel MP3TAG (que j'utilise), il est possible d'exporter la description des albums (avec images, liste de pistes, tags...) dans des fichiers. On trouve des modèles ici: https://community.mp3tag.de/t/export-con...chive/1495
Le format des exports est configurable a l'aide de scripts. On peut générer des fichiers texte, html, XML... 

Donc on peut facilement générer avec cette fonction des fichiers descriptifs des albums, dans un format donné (et à terme éventuellement stockés sur un serveur). Cela évite de lire directement les tags des fichiers, ce qui est assez complexe compte tenu des différents formats.

Une approche un peu moins ambitieuse que ce qui a été discuté précédemment serai donc  la suivante:

- utiliser un programme de gestion des tags pour renseigner les informations au niveau des pistes. Ce n'est pas idéal, mais ça reste assez simple à utiliser. La configuration des champs est très simple à réaliser, et la saisie n'est finalement pas trop laborieuse (on peut sélectionner toutes les pistes d'un album pour renseigner des données communes, il y a des champs libre multi-lignes...). 

- générer des fichiers descriptifs pour chaque album, avec une structure normalisée (et qui contiendra donc plus d'informations que ce qui est géré dans LMS). 

- utiliser ces fichiers pour la navigation/lecture de la bibliothèque. L'affichage des informations d'un album peut être travaillé pour avoir une vue claire de toutes les informations, disposer de liens, etc... 

- pour la lecture, faire le lien avec LMS en utilisant l'emplacement des fichiers. Une alternative,  évoquée précédemment, consisterai  à utiliser une référence "universelle" (la "release" de Discogs, par exemple). Ceci faciliterai les échanges, mais c'est plus lourd à mettre en place. 

Quoi qu'il en soit, si ces fichiers sont normalisés ils pourraient éventuellement être échangés ou partagés .. 

Concernant l'intégrité du référentiel (genres, artistes, compositeurs...) c'est intéressant mais ambitueux. A défaut d'avoir une base unique pour tout le monde (Tonal, MusicBrainz  etc...) un référentiel peut toujours être défini et partagé. Il doit en exister (reste à trouver le meilleur). Des utilitaires sont peut être disponibles pour effectuer des contrôles d'intégrité et identifier les erreurs. A etudier...

Pour que ce système fonctionne pour le plus grand nombre il faut effectivement essayer de "normaliser" l'utilisation des tags: la liste, leur contenu, le format utilisé... Je serai intéresser d'échanger  rapidement sur ce point. On pourrait d'ailleurs ouvrir un fil séparé pour échanger sur les "Best practice" en matiere de tags, sur les référentiels disponibles, et les normes conseillées. 


J'avance un peu sur la partie "technique" en parallèle.

Tout à fait d'accord avec le fil concernant les pratiques de chacun et normaliser selon la meilleure manière de gérer les tags.
Pour le reste, ça me semble assez clair: pistes selon les métadonnées, et le reste d'après une base de données.
Par contre, comme le chemin des fichiers sera différent chez chaque utilisateur, il faut soit que la programmation soit vraiment très bien réalisée à ce niveau (Je n'ai aucune idée si c'est simple ou on à mettre en place), soit trouver un autre identifiant permettant de récupérer les données dans un fichier correspondant. L'idéal serait de se baser sur les release numbers de Discos, puisqu'ils permettent déjà de récupérer un certains nombre d'infos, mais si c'est trop complexe, il faudra trouver autre chose.
En attendant, bon courage pour la partie technique.

[a supprimer merci]

J'ai créé un sujet ici: http://forum-hifi.fr/thread-9864.html
Je décrirai un peu plus tard ce que je pratique.

[a supprimer merci]

J'ai compris un point intéressant avec LMS - on peut envoyer une "playlist" en faisant uniquement référence à des URL de fichiers stockés sur un repertoire visible également par LMS... Je pensais qu'il fallait que les fichiers musicaux aient été préalablement scannés et intégrés dans LMS, mais ce n'est pas le cas. Cela simplifie grandement les choses...

Par contre si le fichier n'a pas été scanné par LMS les tags s'affichent sur les lecteurs natifs de LMS (le player web, ou la Squeezebox Touch, par exemple) mais pas l'image. 

Quoi qu'il en soit, il est inutile de récupérer l'ensemble des fichiers contenus dans la base LMS, il suffit simplement de connaître le répertoire "racine" ou sont stockés les fichiers. La lecture de l'ensemble de la base LMS est assez complexe, car les instructions pour la lire retournent des chaines de caractères avec plein d'infos, et qu'il faut "décoder" (ce n'est pas bien structuré). 

Le programme pourra donc simplement scanner tout le répertoire (et les sous dossier, évidemment), récupérer toutes les pistes, les tags (à partir des fichiers descriptifs, par exemple), et piloter la lecture dans LMS. 

J'ai passé un peu de temps à tester. Je récupère la liste des "players" actifs, la liste des fichiers et je peux les envoyer en lecture sur un player (au choix). C'est déjà un bon départ !

[a supprimer merci]

Voici le "script" défini dans MP3Tag pour générer un fichier, par album:

$filename(txt,utf-8)
ALBUMARTIST  : %albumartist%
ALBUM        : %album%
GENRE        : %genre%
YEAR         : %year%
LABEL        : %PUBLISHER%
DATE ADDED   : %TAGGINGTIME% 
LINKS        : %WWW%
$loop(%DISCNUMBER%)
=== DISC %DISCNUMBER%
TITLE        : %SUBTITLE%
$loop(%TRACK%)
== TRACK %TRACK%
FILE         : %_path%
TITLE        : %TITLE%
WORK         : %WORK%
COMPOSER     : %COMPOSER%
ARTIST       : %ARTIST%
LENGTH       : %_LENGTH%
RECORDED     : %ORIGYEAR%
ORIGALBUM    : %ORIGALBUM%
COMMENT      : %COMMENT%
PERSONNEL    : %INVOLVEDPEOPLE%
$loopend()
$loopend()

Et voici un exemple de fichier créé avec ce script:



C'est un exemple, les tags ne sont pas tous renseignés, ou mal renseignés, mais cela permet d'avancer, en attendant de voir si un lien peut être fait avec une base de données commune (c.f. les discussions avec Tonal). Si à terme les fichiers sont communs et stockés dans un "cloud", on pourrai imaginer le principe suivant: le fichier en local ne contient que la référence de la "release", et la liste des fichiers par disque et piste - tous les tags seront définis dans le fichier "commun".

Pour générer ces fichiers avec MP3Tag, c'est très simple - il suffit de faire un "clique droit" sur un répertoire pour lancer MP3Tag, sélectionner toutes les pistes (Ctrl A), lancer l'export (Ctrl E), et cliquer sur OK en ayant choisi le bon format dans la liste. 

L'avantage de cette solution est double: "techniquement", c'est beaucoup plus simple que de se lancer dans la lecture des tags de chaque piste. Par ailleurs, d'une installation à l'autre, on pourra modifier le script et générer les mêmes informations à partir de tags différents. L'inconvénient est de devoir générer ces fichiers pour chaque album, mais je regarderai si on peut faire une génération en "masse" dans MP3Tag.

Cela suppose que les fichiers soient organisés avec un répertoire par album (ce qui est mon cas), chaque album pouvant contenir plusieurs disques dans des sous-répertoires.

Le programme va ensuite lire tous les fichiers descriptifs, récupérer toutes les informations, et les utiliser pour afficher les albums et faire des recherches et tris.

Au niveau de l'affichage, les éléments qui sont communs à chaque piste ne seront pas répétés. Ex: si les musiciens sont les mêmes pour toutes les pistes, ils seront indiqués en bas de l'ecran. Idem pour le compositeur (mais plutôt avant les pistes). Si le tag "Artist" défini au niveau de chaque piste, est identique au tag "Album Artist", il ne sera pas affiché. Etc...

Les tags affichés en haut, au niveau de l'album, sont en fait les tags de la première piste de l'album, et on présuppose donc que ces tags sont identiques pour toutes les pistes d'un même album. Pour le titre de l'album, l'album artist, le label, l'année de publication, c'est logique. Pour le "genre", on pourrai avoir des albums qui contiennent des genres différents - à voir.

Pour les "box sets" on pourrai avoir un fichier dédié qui contient la référence des albums du "box set". 

Pour les images, dans un premier temps, je vais partir sur le principe qu'un fichier "Folder.jpg" (ou autre) est défini dans chaque répertoire ou est défini le fichier des tags. Je ferai mieux par la suite.

[Bigga]

C'est vraiment pas mal déjà!
A voir comment on peut exploiter cela dans une interface graphique pus lisible et agréable, mais sinon, c'est déjà bien complet.
Je crois que la solution du sous dossier contenant l'image de l'album est déjà pas mal, et simplifie la logique lors d'un ajout par l'utilisateur.
N'ayant pas de PC (Je suis sous Mac), je ne peux tester MP3tag, mais ça semble vraiment bien pensé.
Bravo Paulw!

[a supprimer merci]

Dommage effectivement que MP3Tag ne soit pas disponible sur Mac, mais il doit bien y avoir un moyen de générer les mêmes fichiers - je regarderai.

Dans le script de Mp3tag on peut également rajouter les informations sur le format du fichier (ex flac, 16 bits, 44khz ..).