Projet de logiciel de lecture compatible LMS

[a supprimer merci]

Maintenant que je maîtrise bien la récupération des données de Discogs, je vais faire la même chose avec MusicBrainz. Pour AllMusic (Tivo), l'utilisation des API est "sur demande". J'ai obtenu une clé pour un mois, et je vais demander un accès régulier (qui j'espère sera gratuit). Les données de AllMusic peuvent être obtenues en "scannant" directement les pages web mais ce n'est pas une méthode très robuste et cela demande beaucoup plus de travail.

Pour info, j'avais mentionné le fait que l'export des pistes de Roon comporte un bug, mais l'export des albums fonctionne bien. On peut donc sélectionner tous ses albums et faire un export sur Excel. Le fichier contient une colonne indiquant la référence pour les meta-données, qui est soit ROVI soit MusicBrainz. Je pense que cette fonctionalité est disponible même pour un abonnement à l'essai de 15 jours.

[Janacek]

Hello
J’ai vu pas mal de tweaks pour foobar
J’adore ce genre


C’est faisable?

Sinon comme le faire avec foobar?

Édit
https://www.deviantart.com/popular-all-t...offset=672

Il y en a un paquet....

[a supprimer merci]

Je ne sais pas comment configurer foobar de manière aussi perfectionné que l'exemple donné. Par contre je viens d'essayer le "plugin" qui récupère des infos de lastfm et allmusic et ça marche plutôt bien. Voici un exemple:



Voir ici pour le plugin: https://hydrogenaud.io/index.php/topic,112914.350.html

Je me demande comment est fait le lien avec AllMusic - je jeterai un oeil.
EDIT: j'ai regardé le script et la recherche est fait en scannant les pages HTML correspondant aux pages de recherche. Ex: le script lance la page html suivante pour recherche l'album "original voice" du "manhattan jazz quintet" 
https://www.allmusic.com/search/albums/original_voice. Puis il doit scanner la page et récupérer le lien vers la page qui contient la critique de l'album: https://www.allmusic.com/album/the-origi...0000533127
C'est laborieux, mais visiblement ça marche plutôt bien.

Ce mode de présentation (indiqué dans le message précédent) est effectivement sympa, si les albums n'ont pas trop de pistes.
Ca m'a d'ailleurs donné des idées - j'ai fait un système  "basique" pour afficher des dossiers sur des clés USB, donc pas lié à LMS et pas fait pour jouer les pistes, et repris dans les grandes lignes cet affichage (mais sans les informations de l'artiste!): https://paulstephane.github.io/UPL2/list_tracks.html.

[a supprimer merci]

J'ai passé pas mal de temps à "nettoyer" ma bibliothèque d'albums (organisation en dossiers, harmonisation des noms de fichiers, des tags, des images...) et identifier pour la plupart des albums les sources d'informations: Discogs, Wikipedia, etc...

Je reste sur l'idée d'avoir pour chaque dossier un fichier descriptif contenant les informations de l'album, avec quatre sections:
- en-tête (titre, artiste(s), genre, label, année de publication, année d'origine...)
- pistes (3 niveaux de titres, artiste, compositeur, et "sesssion" optionnelle)
- contributeurs (avec une organisation optionnelle par "session")
- notes (texte libre)

Les objectifs sont les suivants:
(1) Pouvoir récupérer automatiquement ces informations de différentes sources
(2) Pouvoir les éditer facilement (mise en forme et contenu)
(3) Pouvoir les intégrer dans une application pour l'affichage de la bibliothèque/lecture de pistes (donc avoir un format "structuré")

Après avoir testé pas mal de solutions, j'ai trouvé que le meilleur système pour récupérer des données de différentes sources et les éditer est.. Excel !

Sur la base de ce que j'avais déjà fait, j'ai constitué des macros VBA dans Excel pour récupérer les informations de Discogs. C'est asssez simple, et je vais l'étendre à d'autres sites. Le gros avantage de Excel est que l'on peut facilement modifier/compléter les données récupérées, puis les sauvegarder en les exportant dans un format plus "simple".

L'avantage des marcros Excel, est qu'elles sont assez faciles à maintenir, on trouve plein d'exemples sur internet, et plein de gens qui savent comment les utiliser si on souhaite en rajouter. 

Pour le format du fichier stocké dans les répertoires, je pense que je vais utiliser un format "markdown", qui présente l'avantage d'être "lisible" et facilement éditable, tout en étant "structuré" (sur ce dernier point, il faut que je fasse des tests complémentaires). Ceci permettra de rajouter facilement des commentaires, ou quelques informations "simples" sans passer par Excel. 

Il faut que je trouve un moyen simple de générer le même fichier à partir des tags des fichiers musicaux, mais je pense avoir des pistes (soit MP3Tag avec ces fonctions export, ou avec des macros également).

Voici un exemple "simple" d'informations récupérées automatiquent de Disocgs - ce n'est pas très "imprésssionant", mais ça marche bien:







Un exemple un peu plus complet. Les titres/sous-titres sont ceux de Disogs. Si ils sont absents, ou mal faits, c'est très simple de les réorganiser dans Excel, voir d'utiliser quelques macros pour redécouper les oeuvres:



Avec les "credits" correspondant:




Dans le fichier Excel j'ai rajouté dans un onglet la liste complète de tous les rôles de Discogs (qui son nombreux) et cela permettra de filtrer automatiquement les rôles annexes (production, etc...) si on le souhaites.  Pour ma part, je compte conserver dans les "credits" uniquement les musiciens, et indiquer les compositeurs soit par pistes (ou groupe de pistes) soit au niveau de l'en-tête de l'album lorsque le compositeur est unique.

En organisant les contributeurs par "session" (qui correspondent à la séquence des pistes), c'est tout de suite plus clair (on trouve les informations sur le site de Deutsche Grammophon):



Sur cet exemple, j'ai réorganisé les titres (grisés) dans la liste des pistes pour correspondre aux sessions, avec un titre explicite.

Même principe sur cet album "Mosaic" de Mingus (https://www.discogs.com/Charles-Mingus-T...se/4035137). Les informations sont disponibles sur le site "jazz discography", ou sur le livret de l'album (je n'ai pas encore fait de "macro" pour présenter les informations dans le même format que le précédent):



Evidemment, si l'on a le livret en pdf (ou sous la main), l'information à l'affichage n'est pas essentielle, mais c'est aussi utile dans les recherches.

C'est tout de même plus intéressant que le pot pourri que l'on retrouve dans Discogs (ou dans Roon):



Parenthèse: concernant Roon, je tombe régulièrement sur des erreurs dans les "credits", surtout lorsque les informations proviennent de "AllMusic". J'écoutais ce soir "Satch Plays Fats" de Louis Armstrong, et AllMusic indique que Earl Hines joue dessus (au piano), ce qui est inexact. Je me demande comment sont constituées les informations de AllMusic - c'est assez mysterieux... Je pense qu'ils doivent faire des croisements entre les titres des pistes et les artistes/contributeurs, avec des automatismes, qui visiblement sont perfectibles.

Bref, cela demande un peu de temps pour rechercher les bonnes informations à ce niveau de détail, mais c'est optionnel. 

A minimum, je compte renseigner la liste des musiciens, la date de paturtion initiale de l'album (ou les principales dates d'enregistrements lorsqu'il s'agit de compilations) et des commentaires (soit les miens, soit ceux récupérés sur des sites lorsqu'ils sont intéressants). Je passerai plus de temps à compiler les sessions exactes pour des musiciens dont j'ai un nombre important d'albums et qui m'intéressent particulièrement. 

Passer du temps à faire ces recherches c'est aussi un moyen d'en apprendre plus sur les oeuvres/musiciens concernés.

[a supprimer merci]

En ce qui concerne l'initialisation des informations pour l'ensemble de ma "bibliothèque", après avoir longuement étudié la question, et fait pas mal d'essais, j'ai retenu la solution suivante:

1) utiliser Roon (via les export excel), pour récupérer les informations suivantes:
- le titre de l'album, le ou les artistes de l'album, l'année de l'album, le format
- le titre des pistes, les compositeurs.

Les données peuvent être exportées de Roon dans deux fichiers: un pour les albums, un pour les pistes.

Les avantages de Roon:

- on bénéficie de l'identification automatique des albums, et on peut facilement les modifier. Sur 1500 albums, il m'en reste une quarantaine qui ne sont pas reconnus.

- les titres des albums, et les années, sont bien présentés. L'année de l'album corresponds généralement à la première année de publication  ce qui est utile. 

- le fichier excel comporte la référence AllMusic ou MusicBrainz, ce qui permet de récupérer des informations complémentaires (ex: les critiques de AllMusic pourraient être extraites et stockées dans les notes de l'album)

- les titres des pistes, en musique classique, comportent l'oeuvre, séparée du mouvement par un ":", ce qui permettra donc après d'afficher les informations de manière distincte.

- en utilisant les fonctions export de Roon, on est certain d'avoir une base correspondant exactement à chaque fichier de musique que l'on a stocké dans sa bibliothèque.

- ces fonctions d'export sont disponibles, je pense, même sans abonnement, c'est à dire dans la période d'essai de 15 jours.

- un autre point qui peut être intéressant, c'est que l'on peut recopier l'intégralité de sa bibliothèque avec Roon, sur un disque dédié, ce qui permet notamment de récupérer les images de Roon (qui sont incluses dans les tags des fichiers). Dans mon cas, j'ai beaucoup de fichiers assez anciens - des disques que j'avais "rippé" il y a plus de 10 ans à une époque ou l'espace disque était plus "cher" et les bases d'images moins nombreuses. J'ai donc utilisé cette fonctionnalité pour récupérer de meilleures pochettes (c.à.d. en plus haute résolution) pour de nombreux albums. Il existe toutefois maintenant plein de logiciels qui permettent également de faire cela.

Les points faibles:

- les "track artists" ne sont pas toujours fiables. Je les ai retravaillé dans Excel.

- Les compositeurs non plus, malheureusement, et c'est plus problématique:

- Roon rajoute souvent des compositeurs erronés notamment, d'après mes tests, sur des titres homonymes 

- Roon rajoute les "arrangers" en tant que compositeurs, ce qui est erroné. J'ai signalé le point au support de Roon. 

- Les compositeurs indiqués sur AllMusic ne sont pas systématiquement repris. C'est assez mystérieux. J'ai remonté le point sur le forum de Roon mais j'ai peu d'espoir qu'il soit résolu. 

- sur Allmusic il y a également des erreurs, notamment des doublons dans les noms. 

Pour la musique classique, c'est ok, mais pas pour le reste. Le fichier excel comporte toutefois la référence de la piste "AllMusic", et avec une Macro, je vais reconstituter les compositeurs, puis essayer de faire du nettoyage. 

Pour les compositeurs, les données de Discogs ne sont pas très exhaustives, mais quand elles existent elles sont de meilleur qualité. Par ailleurs  l'utilisation de Discogs pour récupérer des informations au niveau des pistes est problématique car on a pas la garantie que le découpage des pistes dans, Discogs corresponde au découpage de ses fichiers. 

2) Contributeurs

Pour les contributeurs, je vais m'appuyer sur Discogs essentiellement, ou sur d'autres sites ponctuellement (Wikipedia, les sites de discographies...). 

Ces contributeurs (musiciens) seront repris dans le fichier descriptif de l'album. J'ai choisi de ne pas les gérer par piste, mais par album, pour les raisons indiquées au dessus, et surtout pour une question de présentation. La notion de "session", illustrée dans mon précédent message, permettra de faire le lien entre des regroupements de pistes et les contributeurs correspondants  


L'utilisation de SongKong est utile pour avoir une première liste de Discogs, mais cela prends du temps ensuite pour la compléter, et trouver les entrées dans Discogs qui fournissent les meilleurs informations. En rythme de croisière, une fois sa bibliothèque initialisée, et donc lors de l'ajout d'un nouvel album, l'ajout de contributeurs dans un fichier descriptif devrait être simple et rapide. 

Les données de Roon, pour les contributeurs, ne peuvent pas être exportées, et ne sont pas toujours trés fiables. L'information peut plus facilement être récupérée de Discogs, ou d'autre sites.

A partir des fichiers excel de Roon, je vais générer un fichier descriptif par album, qui sera donc stocké dans le répertoire de l'album, et qui sera complété des informations des musiciens avec les données de Discogs ou autres. Les contributeurs ne seront pas indiqués par piste, mais pour l'album complet (avec un système de regroupement par session si besoin).

On pourra, je pense, générer un fichier dans un format identique à partir de MP3Tag si l'on souhaites initialiser les informations à partir des tags.

D'ici une semaine ou deux je publierai un exemple de restitution des informations pour l'ensemble de ma bibliothèque sur un site internet.

[a supprimer merci]

Les compositeurs dans Roon sont inexploitables (hormis pour la musique classique), ainsi que les "Track artists".

Pour les compositeurs, j'ai trouvé ce site qui permet de faire des recherches par "recording artist" et sortir des listes de titres avec les Compositeurs (en distinguant musique et parole): http://www.dbopm.com. Les données semblent correctes. Je vais contacter l'administrateur du site pour voir si il y a moyen de faire des recherches automatisées.

Je récupérerai avec des macros les données sur les principaux artistes qui m'intéressent.

Pour les "track artists" la logique de Roon est assez floue, et on retrouve un peu tout et n'importe quoi, avec énormément de doublons. Si l'on indique un nom de groupe, Roon rajoute également les principaux artistes du groupe, etc..

Finalement, la notion de "Track artist" n'est véritablement utile que pour les compilations ou albums comportant plusieurs "groupes" ou "formations" et c'est donc uniquement par exception que je vais les renseigner. 

J'ai constitué un fichier Excel "propre" avec tous mes albums, et vais compiler à partir de la une liste d'artistes (et groupes), que je compléterai avec un certain nombre d'informations:
- pour les groupes, le leader, si il y en a un, ce qui permettra de faire des recherches et affichages plus "compacts" (ex: sans toutes les variantes de noms de groupes que certains artistes utilisent)
- pour les individus, l'année de naissance/deces
- le genre associé
- les liens vers les pages Wikipedia et allmusic

Je n'ai pas encore vu comment récupérer en masse tous les liens Wikipedia/Allmusic des artistes de mes albums (et contributes lorsque je les aurai renseigner). Je pense pouvoir le faire à partir des références Allmusic de Roon, et des données de Discogs.

J'ai pu récupérer pour 90% de mes albums les critiques de Allmusic, qui sont souvent intéressantes. J'aimerai également récupérer la référence de la page Wikipedia des albums, mais je n'ai pas non plus creusé ce point.

[Bigga]

(02-03-2019, 01:24 AM)paulw a écrit : Les compositeurs dans Roon sont inexploitables (hormis pour la musique classique), ainsi que les "Track artists".

Pour les compositeurs, j'ai trouvé ce site qui permet de faire des recherches par "recording artist" et sortir des listes de titres avec les Compositeurs (en distinguant musique et parole): http://www.dbopm.com. Les données semblent correctes. Je vais contacter l'administrateur du site pour voir si il y a moyen de faire des recherches automatisées.

Je récupérerai avec des macros les données sur les principaux artistes qui m'intéressent.

Pour les "track artists" la logique de Roon est assez floue, et on retrouve un peu tout et n'importe quoi, avec énormément de doublons. Si l'on indique un nom de groupe, Roon rajoute également les principaux artistes du groupe, etc..

Finalement, la notion de "Track artist" n'est véritablement utile que pour les compilations ou albums comportant plusieurs "groupes" ou "formations" et c'est donc uniquement par exception que je vais les renseigner. 

J'ai constitué un fichier Excel "propre" avec tous mes albums, et vais compiler à partir de la une liste d'artistes (et groupes), que je compléterai avec un certain nombre d'informations:
- pour les groupes, le leader, si il y en a un, ce qui permettra de faire des recherches et affichages plus "compacts" (ex: sans toutes les variantes de noms de groupes que certains artistes utilisent)
- pour les individus, l'année de naissance/deces
- le genre associé
- les liens vers les pages Wikipedia et allmusic

Je n'ai pas encore vu comment récupérer en masse tous les liens Wikipedia/Allmusic des artistes de mes albums (et contributes lorsque je les aurai renseigner). Je pense pouvoir le faire à partir des références Allmusic de Roon, et des données de Discogs.

J'ai pu récupérer pour 90% de mes albums les critiques de Allmusic, qui sont souvent intéressantes. J'aimerai également récupérer la référence de la page Wikipedia des albums, mais je n'ai pas non plus creusé ce point.

Je n'ai pas trop le temps de me pencher sur la question en ce moment, mais je vois que tu avances bien! Même si les écueils de référencement existent, tu découvres aussi des perles, tel ce site que tu as mis en lien, et qui m'aurais permis de moins perdre de temps sur les tags de certains albums aux infos floues. Merci pour ce lien, donc, et bon courage pour la finalisation!

[a supprimer merci]

Après avoir passé pas mal de temps (un mois ?) à remettre de l'ordre dans ma "discothèque", je comprends mieux certains points que tu avais noté précédemment.

L'accumulation des albums au fil des années fait que le travail est laborieux !
Je progresse en parallèle, et cela prends du temps...

[Bigga]

(02-03-2019, 11:51 AM)paulw a écrit : Après avoir passé pas mal de temps (un mois ?) à remettre de l'ordre dans ma "discothèque", je comprends mieux certains points que tu avais noté précédemment.

L'accumulation des albums au fil des années fait que le travail est laborieux !
Je progresse en parallèle, et cela prends du temps...

Oui, et au fil du temps on change parfois un détail dans la logique des tags, parce qu'on a évolué, mieux réfléchi, mais tout ce qui a été taqué avant n'est du coup plus idéal. Sans compter les "trous" des infos qu'on avait pas (Compositeurs ou auteurs, contributeurs...).
Pour le reste, tu es en train de faire une synthèse de tout ce qui existe comme offre d'infos sur les morceaux musicaux, donc c'est un travail énorme de toutes façons.

[a supprimer merci]

J'ai avancé, mais les choses se compliquent, d'un point de vue technique. Vu que je veux avoir une interface web, c'est assez compliqué de développer quelque chose qui va non seulement piocher des informations dans la base LMS, mais également récupérer des données dans les répertoires.

J'ai exploré une autre piste, intéressante, qui se base sur des pages web "statiques". C'est très simple à mettre en oeuvre, mais cela comporte des limites lié justement au fait que les pages sont "statiques".

J'ai exploré l'utilisation du serveur de pages web "Hugo" (https://gohugo.io/). C'est assez intéressant:
- on peut l'installer sur toute les plateformes: Windows, Mac, Linux... et l'installation est extrêmement simple
- les pages web peuvent être générées à partir du contenu de sa bibliothèque (mais qu'il faut copier dans un répertoire particulier, créé lors de l'installation de Hugo). Il faut toutefois avoir pour chaque album un fichier descriptif qui reprend les données de l'album et des pistes. Je génère ces fichiers avec MP3Tag. Hugo permet d'afficher automatiquement les pochettes (si on adopte une règle du type "folder.jpg" dans le dossier de chaque album), et on peut également facilement afficher les PDF des jaquettes, les autres images. Pour chaque album, j'ai crée un fichier comportant des notes (dans lequel j'ai repris des critiques de AllMusic, ou d'autres sites), et un fichier avec les contributeurs.
- les pochettes peuvent etre automatiquement copiées dans un format réduit 
- la base se mets a jour automatiquement dès qu'un fichier est modifié/rajouté/supprimé  

Voici quelques exemples. J'ai essayé de reprendre les modes d'affichage qui avaient été discutées précédemment.

1) Affichage de tous les albums (triés par ordre d'ajout - les fonctions de tri ne posent pas de problème)



2) Affichage d'un album, avec la pochette (on peut cliquer dessus pour l'afficher en entier), un lien vers le PDF, les notes, les pistes, et les contributeurs. La mise en page n'est pas terrible, ce sont des tests.



3) Un autre exemple, avec une entête pour un ensemble de pistes (que je stock dans le champ "commentaire" des tags, mais cela pourrait être dans un autre champ, l'important est de récupérer les infos dans le fichier d'export sous un même format)
Les oeuvres sont identifiées également dans les tags (le découpage peut être automatisé dans MP3Tag). Les compositeurs sont affichés en en-tête si ils sont uniques, ou en dessous de chaque piste.



4) un autre exemple



5) un dernier. Quand il y a des "track artists" différent, je les affiche au dessus du titre en italique.



Dans le fichier descriptif de l'album, j'ai indiqué pour chaque piste le nom de fichier correspondant (qui ne s'affiche pas), et doit permettre la lecture des pistes vers LMS. J'ai commencé à tester, mais n'ai pas fini. Dans un premier temps je compte avoir un simple bouton pour lancer la lecture de tout un album.

L'avantage de cette solution est qu'elle est extrêmement simple à développer - ça tiens, pour l'instant, sur deux pages - un fichier pour afficher l'ensemble des albums (avec une fonction de recherche basique) et un fichier pour afficher le contenu de l'album.

Les pages étant "pré-générées", leur affichage est très rapide.

On peut également facilement synchroniser le tout vers un hebergeur exrerne (ex: Google Cloud) si on souhaite pouvoir consulter sa bibliothèque "a distance". En theorie, si tous les fichiers de musique etaient également stockés sur un "cloud" cela pernettrait de les lire en "remote".

Les limites sont les suivantes:

- il faut générer des fichiers descriptifs pour chaque album. Avec MP3Tag, c'est très simple de le faire "individuellement", mais il n'y a pas de fonction pour générer en masse un fichier par dossier/album. J'ai essayé d'utiliser des macros pour automatiser le truc, mais ce n'est pas si simple. Une autre option, si je devais poursuivre avec l'utilisation de ces sites "statiques", serait de récupérer les tags de LMS et générer les fichiers descriptifs, mais ce n'est pas simple non plus à partir d'une page web. 

- les générateurs de pages web de type "Hugo" ne comportent pas de fonctions de recherches "avancées" (voir simples non plus ! ). Il y a des possibilités, mais cela demande encore un investissement (que je vais faire). 

- l'edition des données n'est pas possible (de manière simple) a partir des pages web. C'est un peu paradoxal pour un outil qui est essentiellement destiné a heberger des blogs... Il y a des possibilités mais qui ne sont pas simples. Cela ne concerne que les fichiers de notes et contributeurs, mais j'aurai bien aimé pouvoir les editer "en ligne". 

- ce sont des outils conçus pour des "développeurs" ou "concepteurs". On pars d'une page blanche... 
Ils ne sont pas vraiment concus pour cet usage, mais je vais poursuivre mes recherches. Ce n'est pas inintéressant. 

Bref, je suis pas sorti de l'auberge ! Je persévère...