Projet de logiciel de lecture compatible LMS

[a supprimer merci]

Tu as un exemple de doublon d'artiste ?

Je te suggeres d'installer SongKong et de regarder le résultat. D'ici quelques jours je ratouterai un lien vers un utilitaire pour charger dans Discogs une liste d'albums, extraire les albums de LMS...

[Bigga]

(01-05-2019, 02:19 PM)paulw a écrit : Tu as un exemple de doublon d'artiste ?

Je te suggeres d'installer SongKong et de regarder le résultat. D'ici quelques jours je ratouterai un lien vers un utilitaire pour charger dans Discogs une liste d'albums, extraire les albums de LMS...

Je n'ai plus les choses en tete, mais c'était surtout pour des contributeurs africains ou afro-américains en jazz ou pop.
Il y a aussi le problème de l'orthographe qui peut varier parfois, en particulier pour des compositeurs slaves, ainsi que les accents qui peuvent être présents ou non.
Cela peut paraître de l'ordre du détail, mais dans le résultat d'affichage final ça revêt une importance pas si marginale.

[a supprimer merci]

Pour les variantes d'orthographe, c'est normalement indiqué dans Discogs, reste à savoir comment l'utiliser.

Je vais avancer pour essayer de finaliser une version et on vera ce que cela donne.

[Bigga]

(01-05-2019, 04:12 PM)paulw a écrit : Pour les variantes d'orthographe, c'est normalement indiqué dans Discogs, reste à savoir comment l'utiliser.

Je vais avancer pour essayer de finaliser une version et on vera ce que cela donne.

Bon courage à toi.

[a supprimer merci]

Plutôt qu'avancer sur le "code", j'ai passé du temps à faire le lien entre mes albums et discogs. Le diable étant dans les détails, cela m'a permis d'identifier un certain nombre de difficultés.

- pour les albums existants dans Discogs, la "complétude" des données est très variable en fonction des différentes versions d'un album. Impossible, par exemple, de trouver une version de "Tattoo you" des Stones, avec les musiciens, alors qu'on la trouve dans Wikipedia (https://fr.wikipedia.org/wiki/Tattoo_You). On peut très bien choisir une "release", et rajouter les musiciens - cela ne prends pas beaucoup de temps, mais cela s'additionne avec le reste... Pour le Jazz et le classique, les musiciens sont généralement renseignés. Pour le "rock", c'est très variable.

- je retrouve 95% des albums, mais la création des 5% restant est laborieuse. C'est surtout dans le classique qu'il y a des manques (ex: j'ai créé celui-ci: https://www.discogs.com/Quatuor-V%C3%A9g...e/13049263 et celui ci: https://www.discogs.com/Robert-Hill-JS-B...e/13049782).

- Dans certains cas, il manque des pistes. Voici un exemple:

https://www.discogs.com/Duke-Ellington-T...e/10478365

L'album comporte environ 250 titres ! L'entrée a visiblement été créée par quelqu'un qui cherche seulement à vendre son exemplaire. Il y a une procédure en "beta test" pour charger les pistes d'un album à partir d'un fichier CSV, mais je n'ai aps réussi à la faire fonctionner.

- le découpage de l'album en pistes dans Discogs ne corresponds pas toujours aux fichiers. C'est parfois le cas pour des "Medley", mais aussi en musique classique ou les contributeurs de Discogs ne s'embêtent pas toujours à détailler les différents mouvements d'un morceau.

- certaines version d'albums contiennent des pistes supplémentaires, ce qui nécessite la création d'une nouvelle "release". On peut créer une release en copie d'une autre, mais cela prends quand même un peu de temps. J'ai une version de l'album "L'Aigle Noir" de Barbara, qui contient une piste de plus que l'album "standard" (la dernière). J'ai du recréer une "release".
https://www.discogs.com/Barbara-LAigle-N...e/13048217
La version la plus complète est celle-ci - je ne l'ai vue qu'après, sinon je serai parti de celle là:
https://www.discogs.com/Barbara-LAigle-N...e/10137856

Ainsi que je l'avais déjà noté, deux informations qui manquent cruellement sont:

- la première date d'un album. Je trouve cela très pratique de pouvoir classer les albums d'un artiste en fonction de ce critère. J'ai trouvé un moyen simple de la déterminer, en reprenant la date du "master" associé à chaque "release".

Ex: sur cet album, réedition de 1999 - https://www.discogs.com/Duke-Ellington-S...se/4513619
on retrouve la date de parution initiale sur le "master" : https://www.discogs.com/Duke-Ellington-S...ter/259896
Quand il n'y a pas de "master" associé à une "release", on peut supposer qu'il s'agit de l'édition originale.

- les dates d'enregistrement. Elles sont généralement précisées dans les "notes", mais il me semble utile, notamment dans le cas de compilations, d'avoir l'information par piste.
Ex: https://www.discogs.com/Sun-Ra-The-Singl...ase/450612. Pour cet album, qui reprends des titres enregistrés entre 1954 et 1982, ce serai utile de pouvoir indiquer la date titre par titre.
J'aimerai surtout pouvoir renseigner des dates d'enregistrement pour pouvoir faire un lien à terme avec une base de sessions (c.f. mes explications précédentes).

Voici un autre exemple qui résume les difficultés rencontrées: le box set "Richter à Prague": https://www.discogs.com/Sviatoslav-Richt...e/10769516

- les pistes ne correspondent pas à celles de l'album (il manque les "mouvements")
- il manque les compositeurs

Voici le même album sur AllMusic (il manque les compositeurs par pistes/groupes de pistes):

https://www.allmusic.com/album/sviatosla...0001425004

et sur MusicBrainz (il manque le regroupement des mouvements en oeuvres):

https://musicbrainz.org/release/882d20b0...e546460b9c

[a supprimer merci]

Conclusions de tout cela. Qu'apporte Discogs ?

- le catalogue est probablement le plus complet de tous les sites disponibles (ou en tout cas, ceux qui sont "ouverts" à la consultation)

- on a systématiquement le label et les années, ce qui est utile (je pense). Le numéro de catalogue est utile pour faire des recherches.

- la classification en "genre" et "style" est sommaire mais généralement bien renseignée. Lorsqu'il y a plusieurs "genres" associés à un album, le premier est le principal.

- le titre de l'album est généralement bien renseigné et corresponds à ce qui est indiqué sur l'album même.

- les artistes ("album artist") de l'album sont également bien renseignés et correspondent à ce qui est affiché sur la pochette de l'album

- la présentation des pistes avec des regroupements est intéressante, pour le classique, évidemment, mais pas seulement. C'est assez simple à gérer dans Discogs, et c'est généralement assez bien renseigné

- l'indication des artistes ("track artist") par piste est généralement bien renseignée également.

- on retrouve fréquemment les compositeurs et musiciens (mais pas toujours)

- le référencement des artistes à le mérite d'exister (même si ponctuellement il peut faire défaut)

- l'édition des données dans Discogs est tout de même relativement simple lorsqu'il s'agit de rajouter quelques informations sur un album.

- le mode "collaboratif" fonctionne plutôt bien, et les modifications effectuées sont bien surveillées

Je trouve que la recherche d'informations dans Discogs est assez simple, et le fait d'avoir ces albums rassemblés dans sa "collection" personnelle est assez pratique. Le site de MusicBrainz, à contrario, n'est vraiment pas convivial...

Les principaux défauts:
- pour les compositeurs et musiciens, le niveau d'information est très variable
- pour les albums avec de nombreuses pistes, les pistes ne sont pas toujours bien renseignées (car évidemment c'est très laborieux)
- absences dans le catalogue essentiellement autour de la musique classique (à mon avis)

Au niveau du "modèle de données", les principaux points faibles sont à mon avis les suivants:
- pas de date d'enregistrement par piste (ou groupe de pistes)
- pas de possibilité de saisir les contributeurs pour un groupe de pistes (ou par titre). Les contributeurs sont soit renseignés piste par piste, soit indiqués pour l'album, il n'y a pas d'intermédiaire.

Le mode de fonctionnement que j'imagine maintenant est le suivant, lorsque l'on rajoute un nouvel album dans sa bibliothèque:

- avoir l'option de récupérer les informations soit à partir des tags (via LMS), soit à partir de Discogs (en indiquant le numero de "release"), soit manuellement (pour ma part, je vais partir de Discogs, et compléter manuellement). Je suis également en train de regarder comment récupérer les informations de Wikipedia (sous réserve que l'on indique le lien vers l'album). Cela n'a pas l'air très compliqué donc cela pourrais être une autre source de données potentielle.

- pour les titres, avoir un écran simple qui permette d'éditer les listes de pistes avec des regroupements, et d'indiquer les contributeurs. Un contrôle sera effectué pour vérifier que la liste correspond aux fichiers présents dans le répertoire.

- pour le "référentiel", je vais essayer de récupérer celui de Discogs et indiquer des "alertes" lorsqu'un nom d'artiste (par exemple) saisi n'est pas identifié dans la base de Discogs (peut être tout simplement en sous-lignant le nom lorsqu'il est identifié).

- chaque album aura un identifiant, et cet identifiant sera enregistré dans un fichier dans le dossier correspondant à l'album. Ce n'est pas "optimal", mais cela présente le gros avantage de pouvoir modifier les dossiers (les renommer, les déplacer), sans perdre l'information.

- pour le stockage du "contenu" de l'album (donc les informations sur les pistes, les artistes, etc..) je vais essayer de les stocker "en ligne" (sur un "cloud") avec le numéro d'identifiant, et le nom du dossier "local". Ces informations seront structurées dans le même format quelle que soit la source des données (format "JSON" pour ceux qui s'y connaissent, avec à peu près le même format que Discogs, mais certains compléments).

Ca va prendre un peu plus de temps que prévu (mais je ne suis pas pressé).

[Bigga]

Tu as bien synthétisé les écueils que j’avais trouvé sur Discogs.
J’avais souvent du compléter des informations à partir de plusieurs sources.
Il est évident que Discogs devrait être une aide idéale et non une base de données à améliorer avant que cela puisse être idéal. Je suis tout à fait d’accord avec toi sur la pertinence d’utiliser plusieurs sources pour compléter les infos utiles. Je t’en avais d’ailleurs déjà fait part.
Le souci, c’est qu’effectivement cela va demander plus de travail de programmation...

[a supprimer merci]

J'ai pensé au système suivant:

- un éditeur de texte libre, mais dans lequel chaque ligne pourra être "taggée" pour indiquer la type d'information de la ligne: compositeur, track artiste, piste, ligne d'en-tête, etc...

- si l'on fait référence à une entrée dans Discogs, le texte sera automatiquement repris avec les données de Discogs, qui pourront donc être modifiées ensuite. Idem pour les informations provenant des tags (via LMS).

- si on copie des informations d'une autre source, on pourra appliquer des règles de mise en forme en fonction de formats prédéfinis (ex: on récupère le "personnel" de Wikipedia, et on indique que le format des lignes copiées corresponds, par exemple, à "Artiste - Rôle", etc...). C'est utile surtoute pour les compositeurs dans les pistes. Wikipedia, par exemple, utilise le format suivant pour les pistes:  1. "C Jam Blues" (Barney Bigard, Ellington) - 5:14

En copiant ce texte d'une page Wikipedia, on pourra indiquer qu'il s'agit de pistes, qu'il faut convertir du format: Numéro de piste. "Titre" (Compositeur,Compositeur) - Durée, et le programme rajoutera les informations dans les bonnes "cases". On pourra ensuite supprimer une piste, en rajouter comme dans un traitement de texte.

- la classification des différentes lignes pourra être effectué ligne par ligne ou pour un ensemble de lignes sélectionnées.

Ensuite, dans l'affichage de l'album il sera très simple d'indiquer les informations que l'on souhaites afficher (ex: afficher les compositeurs, masquer les dates d'enregistrement).

Pour que les informations soient prises en compte dans les recherches "par piste", il faut que je trouve une logique pour savoir à quelles pistes s'applique une information indiquée "au dessus" ou "en dessous" des pistes. Mais c'est un détail...

Les informations qui sont valables pour toutes les pistes de l'album pourront être indiquées au début ou à la fin (il faut que je reflechisse au système...). 

Voici deux exemples (fait sur excel).




https://www.discogs.com/Duke-Ellington-J...se/6648725



Note: le couple "track artist" + "recording date" permettra de retrouver à terme les informations sur les contributeurs. En attendant, ils pourront être repris de sources habituelles.

La mise en forme dépendera de la classification de chaque ligne et de la séquence.

Evidemment, dans sa forme la plus basique, le texte pourra contenir uniquement des pistes (qui pourront d'ailleurs être numérotées automatiquement).

Dans l'editeur, on pourra aussi concevoir d'appliquer des formules du type: retirer de la piste le nom de l'oeuvre...

Bref, c'est un système qui me semble souple, efficace, et évolutif.

[Bigga]

Oui, donc en quelque sorte une base de données compatible multi sources internet, éditable et modifiable à volonté, modulable, associée à un éditeur d’affichage adapté.
Cela me semble depuis le départ la solution la plus complète et adaptable à chaque utilisateur.
Mais ça représente un sacré boulot j’imagine!

[a supprimer merci]

(01-12-2019, 10:36 PM)Bigga a écrit : Oui, donc en quelque sorte une base de données compatible multi sources internet, éditable et modifiable à volonté, modulable, associée à un éditeur d’affichage adapté.
Cela me semble depuis le départ la solution la plus complète et adaptable à chaque utilisateur.
Mais ça représente un sacré boulot j’imagine!

Ce peut être fait progressivement...

Voici un petit exemple de ce que l'on peut faire pour éditer un fichier descriptif des pistes (initialisé à partir de Discogs, ou de LMS, ou d'une autre source). C'est une illustration, c'est pas très joli, c'est juste pour comprendre le mécanisme:

- on édite le texte librement, et on indique à quoi corresponds chaque ligne (ou groupe de lignes) en cliquant sur les bouton indiquant les catégories, et le texte est formatté en fonction

- on peut aussi reconnaître automatiquement la catégorie de chaque ligne de texte en fonction de marqueurs dans le texte. Ex: si on tap "Rec. " on sait que c'est une ligne indiquant la date et lieu d'enregistrement. Pour les pistes, si on a une tabulation, suivi d'un texte, puis une autre tabulation, suivie d'une autre texte (donc "tab"+numéro de piste+"tab"+titre), on sait que c'est une ligne correspondant à une piste. Etc...



C'est le principe qu'à utilisé "Tonal" (mais il est allé plus loin)... Il faut que j'affine...

J'avais déjà fait des petits scripts pour re-formatter des bouts de textes copiés, que je complèterai. J'ai acheté par exemple cet après midi un CD sur ce site, qui comporte pas mal d'infos: https://www.jazzmessengers.com/fr/79339/...-karlsruhe (merci Chet pour l'info). En copiant la liste des artistes on pourra les incorporer facilement. Pour les artistes, comme je l'avais expliqué, j'indiquerai à terme si ils sont ou pas dans une base de référence.

Récupérer en "masse" des informations d'autres sites, c'est beaucoup plus compliqué. Il faudra donc partir d'une base existante et compléter au fur et à mesure....

Ce que l'on peut faire assez facilement, par contre, c'est ressortir une liste de différentes pages à partir d'une référence comme le numéro de catalogue de l'éditeur ou la référence EAN. Je regarderai plus tard.