Projet de logiciel de lecture compatible LMS

[Bigga]

(12-28-2018, 12:45 AM)paulw a écrit : Je trouve qu'une présentation des contributeurs par "session" avec les pistes associées est beaucoup plus "claire" qu'une simple liste pour un album complet, mais évidemment c'est plus de travail pour la préparer - j'espère pouvoir faciliter les choses à terme... Les dates d'enregistrement sont intéressantes, surtout (mais pas seulement) pour des compilations.

Oui. Ceci dit, pour l'affichage, je trouve que l'on pourrait gagner en clarté en affichant les titres à gauche et les contributeurs à droite, plutôt que les contributeurs et en dessous les titres concernés.

---

(12-28-2018, 12:45 AM)paulw a écrit : Quand j'aurai fini cette partie, dans à peu près une dizaine d'années , je m'attaquerai à la base des sessions pour pouvoir se connecter dessus et rappatrier les informations des contributeurs. La difficulté sera de faire un système assez souple pour reconnaître et sélectionner les sessions à partir des informations des albums, pour faire le lien entre les deux. Une fois que j'aurai fait cela, je pourrai vendre le service à Roon, Qobuz, et Spotify, et me retirer millionaire sur une ile déserte

Pourquoi pas? Quand on voit effectivement le peu de soin apporté à cela dans les bases de données, enfin dans les possibilités d'utilisation des bases de données de ces services sus cités (Sans même parler des autres qui sont pires), ce que tu fais est une vraie plus value pour l'utilisateur. Après, la négociation pour des millions, c'est peut être là que ça sera le plus ardu...

[a supprimer merci]

(12-28-2018, 11:44 AM)Bigga a écrit :

(12-28-2018, 12:45 AM)paulw a écrit : Je trouve qu'une présentation des contributeurs par "session" avec les pistes associées est beaucoup plus "claire" qu'une simple liste pour un album complet, mais évidemment c'est plus de travail pour la préparer - j'espère pouvoir faciliter les choses à terme... Les dates d'enregistrement sont intéressantes, surtout (mais pas seulement) pour des compilations.

Oui. Ceci dit, pour l'affichage, je trouve que l'on pourrait gagner en clarté en affichant les titres à gauche et les contributeurs à droite, plutôt que les contributeurs et en dessous les titres concernés.

En prenant un exemple assez simple, avec ce disque: https://www.discogs.com/Sonny-Rollins-3/release/2443984
Il y a en fait deux sessions, que l'on peut trouver sur ce site: https://www.jazzdisco.org/sonny-rollins/...hy/#950830



Dans Discogs la présentation est la suivante:



L'exemple est assez simple, mais cela deviens vite compliqué si il y a plus de deux sessions.

Pour info, dans Roon, on retrouve ceci... c'est faux! Stu Martin, par exemple, a joué avec Sonny Rollins, mais en 1964...:



Dans le fichier texte de l'album (que j'ai associé à la release Discogs), j'ai donc indiqué ceci, car c'est dans le format des discographies, et c'est donc plus simple à reprendre.




Pour l'instant l'association avec les pistes dans la base LMS n'est pas faite. Donc pour l'instant, je vais juste "stocker" ces infos comme des "sessions" différentes (donc 2 dans cet exemple), qui seront associées à l'album. Les différents musiciens seront "identifiés".

Pour remettre les informations des sessions dans l'ordre des pistes, il faudrait que je puisse associer les pistes dans le fichier texte aux pistes de l'album, et ce n'est pas si simple (dans un premier temps), surtout si il y a plusieurs disques dans une "release". Mais je le ferai à terme.

Pour info, je ferai un petit utilitaire qui permettra de reprendre le texte du format Discogs (Role - artistes séparés par des virgules, et éventuellement décodage des pistes) dans le format ci-dessus.

Dans le fichier texte, je rajouterai l'option d'indiquer également le "track artist" qui dans l'exemple ci-dessus est "Sonny Rollins +3", et que l'on devrait normalement retrouver dans les tags.

Je pense que ce sera plus clair quand j'aurai fait la base des discographies/sessions, que vous pourrez consulter.

---

Voici un autre exemple, qui sera peut être plus clair. Miles Davis - Blue Haze. 3 sessions, 8 titres.

Voici les sessions:



Si on les réorganise par titre:



L'information en "entrée" doit être renseignée selon le premier format, par session, pour éviter les redondances.

[a supprimer merci]

Après réflexion, je pense que je vais faire deux systèmes:

- un système "simple" pour renseigner des musiciens directement dans l'application - les données seront saisies et stockées dans le fichier correspondant du répertoire. L'avantage de les saisir dans l'application est de pouvoir utiliser des formats différents (ex: artiste - rôle, ou rôle - artiste, multiples séparateurs) et vérifier "visuellement" les données saisies. Pour rendre la saisie "robuste", je vais juste prévoir deux séries de "pavés" - artistes et pistes (pour info) - sans autres indications (date, lieu, track artist). L'objectif est de renseigner des données rapidement, et avoir les musiciens identifiés. Le rôle et l'association avec les pistes seront juste informatifs, mais les musiciens seront bien inclus dans les recherches. Le fichier texte contiendra les mêmes pavés ([Discs], [Contributors], [Notes])

- un système qui permettra de récupérer automatiquement des informations d'une base de sessions, qui sera plus riche (nom du groupe, dates et lieux, etc...) et bien sur plus exhaustive. On pourra associer précisément des sessions aux pistes, en utilisant la référence Discogs pour faire le lien. Les données seront stockées sur une base web. Cette base de sessions sera alimentée par des fichiers, qui auront tous le même format, et consultable indépendamment.

A suivre...

[a supprimer merci]

A défaut, donc, d'avoir un système automatisé dans l'immédiat, j'ai rajouté une conversion des contributeurs à partir de 4 formats différents: 
- Wikipedia
- Discogs
- Music Brainz
- format générique de l'application (illustré précédemment).

On peut donc copier un text à gauche  (repris ici de MusicBrainz), et mettre à jour à droite la liste correspondante des artistes. Je rajouterai les rôles/instruments. Evidemment, on perds l'identification des pistes, mais c'est peut être déjà intéressant de faciliter la mise à jour des musiciens pour en profiter dans les recherches.

J'essaierai à l'occasion d'identifier automatiquement les pages concernées sur les sites, notamment wikipedia et discogs. Si c'est utile à certains, je pourrais en faire une petite application autonome pour récupérer une liste de musiciens, afin de mettre à jour les tags.

[a supprimer merci]

Voici un exemple un peu plus simple. Je rajouterai à droite le rôle de chaque contributeur, pour plus de clarté. C'est assez sympa de pouvoir consulter ces informations - évidemment, ce serai mieux d'avoir des automatismes... Un lien vers des biographies (wikipedia, par exemple) serai sympa. Pour le lien vers les sites de streaming, à étudier...

[a supprimer merci]

Ayant l'intention d'utiliser la référence Discogs, j'ai passé pas mal de temps sur Discogs depuis hier, pour consulter les données liées à certains de mes albums. En fonction des différentes versions d'un même album, les données sont plus ou moins complètes. Toutefois:

- on trouve généralement une version complète (contributeurs + compositeurs)

- il est très simple de soumettre des modifications, qui sont d'ailleurs immédiatement prises en compte. J'ai modifié ce soir cet album, pour retirer les oeuvres des titres, et rajouter le compositeur: 

https://www.discogs.com/release/10941126

Et quelques corrections mineures sur ce box set de Mosaic, pour lequel les informations sont très complètes:

https://www.discogs.com/The-Nat-King-Col...se/7238516

On trouve quasiment tous les titres sous discogs, même les plus récents.

L'exhaustivité des compositeurs laisse un peu à désirer, et sur ce point Rovi/All Music est meilleur, mais ce n'est pas l'essentiel pour moi (sauf en musique classique, ou les données sont beaucoup plus exhaustives).

Les musiciens sont bien repertoriés, mieux que sur Rovi/All Music (l'erreur que j'avais identifiée sur Roon viens en fait de All Music). L'identification des musiciens par piste n'est pas parfaite, mais je pourrais compléter avec cette base des sessions, lorsque je m'y serai mis.

Les musiciens sont bien catalogués, avec des variantes d'orthographe, et généralement une courte "bio" - c'est moins riche que sur Wikipedia ou AllMusic, mais grâce à WikiData, on peut généralement faire le lien entre Discogs et Wikipedia et AllMusic, ce qui présente un gros avantage. Voici un exemple d'artiste sur WikiData: https://www.wikidata.org/wiki/Q498723. Dans la page, on retrouve l'identifiant de l'artiste sur Discogs, ainsi que sur AllMusic, et tout en bas la page de l'artiste dans Wikipedia. Cela signifie qu'en partant des données Discogs, on peut facilement tout retrouver. Je pourrais donc facilement rajouter une page par artiste (puisque j'aurai la référence de Discogs), afficher un contenu,  et indiquer les liens vers d'autres sources.

On peut également faire le lien entre l'album dans Discogs et les pages Wikipedia et AllMusic, au travers de la "master release" de Discogs. 

Voici un exemple: https://www.wikidata.org/wiki/Q4839377 et un autre https://www.wikidata.org/wiki/Q547315

J'ai testé l'API de discogs, et à partir du numéro de "release" Discogs, on peut récupérer toutes les informations de l'album dans un format assez facile à interpréter.

Conclusion, je pense que je vais revenir à ma solution d'origine, qui est d'utiliser les données de Discogs, et non les tags de LMS. Cela présente également plusieurs avantages "techniques":

- les données complémentaires aux tags de LMS ne sont plus gérés localement, mais obtenues intégralement de Discogs

- On peut travailler avec des dates de modifications pour mettre à jour uniquement les données modifiées, ce qui est impossible avec LMS (il faut systématiquement tout scanner).

Ainsi que je l'avais noté, plusieurs logiciels permettent d'identifier automatiquement les références Discogs correspondant à vos albums - j'ai testé SongKong, et cela marche plutôt bien. Par ailleurs, on peut également indiquer dans Discogs les albums de sa collection afin de les retrouver facilement. Plus tard, je pourrais rajouter un mécanisme de reconnaissance automatique des albums dans Discogs.

Pour faire le lien entre Discogs et les fichiers locaux, je conserverai le système d'un album par répertoire, avec l'identifiant stocké dans un fichier. Ensuite, je partirai du principe que l'ordre des fichiers dans le répertoire est identique à celui des pistes dans Discogs - je pense que la grande majorité d'entre nous organisons nos répertoires avec des sous dossiers numérotés (CD1, CD2...) et des pistes numérotées également (01, 02...). Dans le cas d'albums avec plusieurs disques, cela peut fonctionner même si les pistes sont toutes dans un seul dossier, dès lors que le tri respecte celui de l'album.

La lecture des pistes pourra toujours s'effectuer avec LMS.

Je vais pouvoir réutiliser 90% de ce que j'ai déjà fait, il faut juste que je remplace la lecture des tags de LMS par la lecture des informations de Discogs.

Pour les pochettes, je vais également devoir revenir à l'option d'origine, qui était de lire les images dans les répertoires, avec une convention de nommage type "folder", "cover".... Là aussi, ce sera beaucoup plus performant car je pourrais lire uniquement les modifications - la mise à jour à partir de LMS de toutes les pochettes prenait pas mal de temps, et il était impossible de savoir quelles images avaient été modifiées entre deux scans.

Bref, ce système me paraît offrir beaucoup plus de potentiel. Les tags dans les fichiers pourront être maintenus de manière "basique", tout en bénéficiant d'informations plus riches provenant de Discogs, et à terme d'autres bases. L'effort nécessaire pour identifier les différents albums de sa bibliothèque dans Discogs sera peut être important (même si SongKong, par exemple, peut accélerer les choses), mais c'est une solution qui me semble "robutste" et évolutive.

[a supprimer merci]

J'ai passé du temps à comprendre comment étaient gérées les données dans Discogs. Il y a pas mal de choses intéressantes.

Tout d'abord, on peut définir des "collections" (Library) et y asssocier des albums, avec des attributs personnels (notes et commentaires). Un même album peut être présent dans plusieurs collections, et on peut les déplacer d'une collection à l'autre.




Sur le site web, on ne peut pas charger "en masse" des albums dans une collection, mais j'ai fait un utilitaire qui permet de le faire (car Discogs fournit un "API" pour le permettre). Donc on peut scanner toute sa biblilothèque avec SongKong, récupérer les résultats dans un fichier excel (ce que permet SongKong), les compléter éventuellement, et charger la liste des albums identifiés dans Discogs dans une collection spécifique.

En conséquence, plutôt que de faire le lien entre les fichiers locaux et les albums de Discogs au travers d'un identifiant dans un fichier local, ce qui est assez laborieux, je vais faire un automatisme en utilisant le nom du dossier et le nom de l'album. 
Toutefois, pour éviter de devoir redéfinir ses répertoires systématiquement avec "nom de l'artiste - titre de l'album", ou pour gérer certains cas particuliers, je vais prévoir de récupérer par exception un nom de répertoire spécifique.

Dans sa collection Discogs, on peut également mettre des commentaires, donc on pourra indiquer le repertoire racine si on ne souhaites pas faire l'identification au travers du nom du dossier.

Voici l'exemple du fichier excel généré par SongKong:



Songkong n'a pas réussi à identifier le premier album d'Art Pepper, que j'ai retrouvé sur le site, et j'ai indiqué son numéro de "release". Dans la quatrième colonne, j'ai une formule pour récupérer le nom du dossier "racine" sur mon disque. Je pourrais donc le charger dans Discogs. Exemple:



On aura un écran qui permettra de visualiser tous les répertoires qui ont été associés avec un album dans sa collection Discogs, et les autres non associés.

Il me semble que ce système devrait être assez facile à maintenir.

Un des avantages de ce système est que l'on peut récupérer la date de rajout de l'album dans sa collection Discogs, qui est donc "permanente" et indépendante des modifications faites sur la bibliothèque locale.

Un autre avantage est de pouvoir changer de référence Discogs facilement.

On pourra également identifier si les albums ont été modifiés dans Discogs, puisque toutes les modifications sont tracées, et ne récupérer que les dernières mises à jour.

Il est également possible de rajouter dans Discogs des champs personalisés, que l'on peut récupérer via l'API (interface). Voici un exemple de rajout d'un champ "Original Release Date" (à droite), que je compte utiliser pour faire des tris sur mes albums:



Voici l'ecran de définition des champs personalisés:

---

Au niveau des données définies dans Discogs par album ("release"), voici ce qui existe:

1) Par album
- le(s) artistes(s) de l'album (équivalent "Album Artist" dans les tags)
- le titre de l'album
- le format (CD, Vinyl...)
- le label et la référence
- la date de sortie (et l'année)
- des contributeurs, avec leurs rôles respectifs et une indication éventuelle des pistes concernées
- le(s) "genre" et le(s) "style".

2) Pistes

- Les pistes peuvent être regroupées
- chaque piste contient un identifiant, un titre, une durée
- une piste peut être associée à un ou plusieurs artistes (équivalent du "Track Artist" des tags)
- une piste peut être associée à un ou plusieurs autres contributeurs. C'est essentiellement utilisé pour les auteurs, mais cela peut être utilisé également pour des musiciens.

La liste des genres est assez réduite (ce qui me plaît), et les styles peuvent être utiles. Par exemple: un genre "Latin" est défini, auquel on peut associer un style "tango". Plusieurs genres peuvent être associés à un album, mais le premier est le plus "courant".

Au niveau des "contributeurs", la liste est assez exhaustive, comme dans Roon (mais pas "buggée"...). Les rôles sont définis ici: https://www.discogs.com/help/creditslist


On peut donc définir une classification de rôles qui correspondra aux catégories définies habituellement dans les tags:
- musicien
- compositeur
- chef d'orchestre
- autres (plusieurs sous-catégories éventuelles)

Il y a pas mal d'autres informations, parfois plus techniques.

Il y a également la notion de "série" qui permet de rattacher des albums à une "collection" (un "box set" par exemple).

Voici un exemple:

https://www.discogs.com/label/538138-Igo...ky-Edition

[a supprimer merci]

Voici un exemple de ma collection (test sur quelques albums) avec les données de Discogs:



Voici l'affichage de l'album. Je mettrai comme dans Discogs, un bouton pour afficher le détail des titres. Comme dans la version précédente, il y aura les informations de l'album sous la pochette. 




L'album correspondant dans Discogs:



Je reprendrai peut être le format d'affichage de Discogs qui est assez clair. 

Tout ne fonctionne pas encore, mais c'est un début...et cela me semble très prometteur. 

Ce sera intéressant de voir si je peux faire le lien avec des sites de Streaming (Spotify pour commencer). 

Il y a tout de même un point que je dois vérifier, c'est la disponibilité dans Discogs d'albums vendus uniquement en téléchargement (j'en ai certains, qui d'ailleurs ne sont pas reconnus dans Roon non plus...).

[a supprimer merci]

Le catalogue de Discogs est vraiment exhaustif, et comprends également les albums vendus en ligne. Voici un exemple d'un album qui n'est pas identifié dans Roon mais correctement identifié dans Discogs, avec une bonne qualité de données (ici: https://www.discogs.com/Sviatoslav-Richt...se/8579294):



Les flèches à côté des trois premières pistes indique qu'elles sont des "sous titres" de la première ligne, ce qui est correct.


Voir le catalogue ici: https://www.highdeftapetransfers.com/pro...hter-piano

Si un album n'est pas présent dans Discogs, c'est assez simple de le rajouter. Pour ce genre de catalogue, ce sont surtout des ré-editions d'albums existants, donc en reprenant l'album d'origine, cela prends quelques secondes pour créer une nouvelle entrée avec les données de l'album.

Dans la solution que je vais mettre en oeuvre, je ne lirai pas (dans un premier temps) les données des fichiers: ni les tags, ni les formats. Concernant les formats (bits, fréquence), je pourrais le faire dans un second temps, afin de pouvoir les afficher et les utiliser dans les recherches/sélections. 

Dans un premier temps, il sera toujours possible d'indiquer ces informations dans un champ utilisateur de Discogs, et de le charger à partir d'un fichier (je suis en train de faire la procédure de chargement pour le catalogue, et rajouterai la possibilité de mettre à jour les champs utilisateur). Si le même album est présent deux fois dans la bibliothèque, car sous deux formats différents, ce sera géré...

[a supprimer merci]

J'ai fait un utilitaire pour charger des albums dans les dossiers personnels de Discogs, à partir d'un fichier texte (que j'ai constitué avec SongKong, et des ajustements manuels).

C'est assez intéressant d'avoir sa bibliothèque dans Discogs. On peut la consulter de n'importe ou (ça peut être utile...), on peut faire des recherches facilement, et évidemment c'est pratique pour consulter des informations. On reçoit également des notifications (dans la boite de message Discogs, pas avec notre email), lorsque des informations ont été modifiées sur un album dans notre collection.

Voici un exemple - des albums dans ma collection (tout n'était pas chargé) qui contiennent le texte "1969", la recherche prends en compte les dates d'enregistrement indiquées dans les notes de l'album. C'est amusant...




Note: pour faire des filtres sur sa propre bibliothèque, il faut utiliser ce bouton:




Le seul "hic" (pour l'instant), c'est que les interfaces entrantes/sortantes avec Discogs sont limitées à 60 requêtes par minute. Donc pour charger environ 1000 albums, ça a pris environ 15 minutes. 

Pour faire une mise à jour de champs "personnels" (j'en ai créé trois pour l'instant: notes, date d'enregistrement, et dossier local), l'interface ne peut traiter qu'un album et qu'un champ à la fois. Donc si on a 1000 albums, avec 3 champs, cela prendra 45 minutes pour initialiser sa collection dans Discogs. Evidemment, l'opération n'a pas besoin d'être faite régulièrement, mais c'est un peu dommage.