Page 1 sur 5

[Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Publié : 08 oct. 2017 14:41
par Kooka
Voilà, j'ai besoin de votre aide et des vos lumières pour planifier au mieux un vrai test ABX "MP3 320 - FLAC" au cours du prochain meeting TN de Janvier. Je m'y prend à l'avance histoire de faire les choses proprement et sérieusement.

Le matériel disponible : un Macbook Air sous Mac OSX (dernière version à jour). Plus tout ce qui est dans ma signature, niveau matériel "audiophile". Et les TNiens sur place, une 40aine de personnes : mais à voir combien voudront bien faire le test, ça... :-?

Je me dis que si je le propose sur place avec mon matos (mon DAC/AMP, mon casque), on va me dire les choses suivantes en retour :
- ton matériel n'est pas assez discriminant.
- ton casque n'est pas assez discriminant.
- les participants ne sont pas habitués à ce matériel.
- ...
Mais difficile de le faire en disant à chacun de faire le test en déployant son propre matos, si tant est qu'il l'ait apporté...

Bref, rien de simple. Donc il me faut votre aide !! :DD

Peut-être pourrait-on réussir à réunir un ensemble de test considérer comme "audiophile", comme un Senn HD600 avec un bon DAC/AMP "reconnu", qui ne pousse pas à dire que les résultats sont biaisés par le matériel mis à disposition. Est-ce utile d'après vous ? (cf ma signature pour voir ce que j'ai comme matériel).

Je me dis aussi que l'on est sur Tellement Nomade. Donc pourquoi pas faire le test sur du matos...Nomade !! J'ai un Cowon Plenue 1 et un Onkyo DP-X1, ça me parait audiophile et discriminant, largement assez pour un test pareil. Même chose du côté des casques, mes Sennheiser Momentum 2.0 et Focal Spirit Classic me paraissent eux-aussi suffisamment "sérieux" pour faire le test, mais là encore : à vous de me dire...

Enfin : le protocole. Quel protocole ? Sur Mac, avez-vous une bonne application d'ABX à me soumettre ? Si je le fait sur un DAP, avez-vous un protocole à soumettre ? (je pourrais faire le suivi sur mon Mac, avec un tableur, par ex).

Merci de votre participation, ça pourrait être très intéressant d'avoir enfin une étude "sérieuse" et "interne" sur ce sujet polémique, je trouve ! (et oui, quelque en soit le résultat, bien entendu !! Dans un sens ou dans l'autre, ce sera passionnant à savoir, j'ai hâte, personnellement ! (Y) ).

Edit au fur et à mesure
Idées émises par les TNiens :

- MrButchi :
il faudrait voir avec lebouzin pour avoir un coin plus tranquille.
Parce que les meetings restent bruyants et ça risque d être un ennemi pire que le fait de ne pas connaître le matos, amha.

- MrLocoLuciano :
Je pense que chacun doit avoir le choix d'écouter sur ses intras / casques ou sur un modèle à disposition.
La source, un Mac ou PC, c'est bien mais un DAC externe (un DAP) cela me semble indispensable.
Pour les morceaux, ABX, c'est 2 qualités différentes, donc uniquement MP3 320 et Flac / Wav.
1 seul morceau, test à reproduire 16 fois, c'est un minimum pour un résultat valable d'un point de vue statistique.
1 morceau, 16 fois. Le reste c'est pas de l'ABX / 10 fois tu as droit à 1 seule erreur pour réussir le test / 16 fois tu as droit à 4 erreurs.

- comte zero :
Les testeurs auront sûrement leur casques/intras préférés avec eux alors pourquoi ne pas faire le test avec?
Un seul morceaux discriminant pour servir de base à tout le monde sinon ça va être compliqué à gérer (allez, 2-3 maxi)
S'il y a bcp de testeurs, une fiche de renseignement de chacun (matos, age, goûts musicaux,...) serait intéressante à collecter
Tout ça peux faire une bonne base de renseignement pour pouvoir faire un peu d'analyses derrière

- Albatros98 :
Je suggèrerais quand même de choisir un morceau assez riche en terme de dynamique et musicalement aussi, c'est dans ce cadre que je ressens le plus de différence. J'utilise souvent le morceau Touch de Daft Punk qui combine synthés, voix, orchestre, percussions et des silences pour mes tests de matériel.
Il faudra du matériel de qualité pour que ce test puisse être concluant.

Re: [Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Publié : 08 oct. 2017 14:49
par Kooka
J'ai oublié des trucs ! 8-)

1/ Quelles pistes ? Quels morceaux sont "idéaux" pour faire cela ? (c'est à dire : connu du plus grand nombre, j'imagine, non ??)

2/ Je ferai les MP3 320 à partir du fichier FLAC, bien entendu, pour qu'ils proviennent de la même source. En MP3 320 CBR, avec le logiciel "MAX" sous Mac OSX. Ca vous parait bon ?

3/ On fait aussi un fichier "MP3 128", pour avoir trois fichiers à classer pour chaque piste ? Comme ici : http://www.npr.org/sections/therecord/2 ... io-quality

Re: [Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Publié : 08 oct. 2017 14:53
par MrButchi
J’aime beaucoup l’idée.
Surtout kooka, il faudrait voir avec lebouzin pour avoir un coin plus tranquille.
Parce que les meetings restent bruyants et ça risque d être un ennemi pire que le fait de ne pas connaître le matos, amha.

Re: [Help] Organisation d'un test ABX

Publié : 08 oct. 2017 14:55
par Kooka
MrButchi a écrit : Surtout kooka, il faudrait voir avec lebouzin pour avoir un coin plus tranquille.
Bien vu. Noté. Je ferai ainsi, tu as raison.

Re: [Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Publié : 08 oct. 2017 14:55
par Murl0c
Excellente idée kooka !
Deux choses me viennent à l'esprit :
1) La plupart des gens auront du matériel de gamme supérieur au HD600, je pense que ça pourrait être plus judicieux que de passer directement à un HD800, que beaucoup de gens connaissent également.
2) Pour les morceaux c'est compliqué. Le mieux ça serait que chacun puisse demander un morceau à tester en ABX, et de préparer les FLACs/320 en avance mais ça peut être un peu le bordel.
L'autre possibilité c'est de proposer puis d'annoncer les morceaux que tu auras choisi à l'avance, pour que les gens puissent écouter/analyser ces morceaux chez eux, avant le meeting.
C'est chaud de comparer ce qu'on ne connait pas/mal... Je n'ai eu que des échecs sur les tracks que j'écoutais pour la première fois. Je ne connais pas Max sur OSX, mais XLD est la reference.

Ça serait bien pour vous d'avoir un lecteur bitperfect sur OSX, tu peux télécharger Clementine, c'est opensource & gratuit.

J'oubliais... Le MP3 320 est une référence pour beaucoup mais le format v0 est beaucoup plus intéressant, même qualité pour un gain de place considérable.

Re: [Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Publié : 08 oct. 2017 15:35
par MrLocoLuciano
Super idée.

Je pense que chacun doit avoir le choix d'écouter sur ses intras / casques ou sur un modèle à disposition.
La source, un Mac ou PC, c'est bien mais un DAC externe (un DAP) cela me semble indispensable.
Pour les morceaux, ABX, c'est 2 qualités différentes, donc uniquement MP3 320 et Flac / Wav.
Pour le protocole, ne pas regarder ce qu'on trouve un peu partout sur le net.
1 seul morceau, test à reproduire 16 fois, c'est un minimum pour un résultat valable d'un point de vue statistique.
Plugin foobar pour l'ABX https://www.foobar2000.org/components/view/foo_abx
Ici tu trouveras une explication claire du plugin http://forum.hardware.fr/hfr/VideoSon/T ... 2560_1.htm

Edit : sur Mac OS tu as ça https://itunes.apple.com/fr/app/abxtest ... 4135?mt=12 si ça fonctionne encore. Mais tu n'as que 5 essais, donc à refaire 3 fois mais je ne sais pas comment on peu analyser le résultat cumulé.

Re: [Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Publié : 08 oct. 2017 15:56
par Kooka
Murl0c a écrit : 1) La plupart des gens auront du matériel de gamme supérieur au HD600, je pense que ça pourrait être plus judicieux que de passer directement à un HD800, que beaucoup de gens connaissent également.
2) Pour les morceaux c'est compliqué. Le mieux ça serait que chacun puisse demander un morceau à tester en ABX, et de préparer les FLACs/320 en avance mais ça peut être un peu le bordel.
L'autre possibilité c'est de proposer puis d'annoncer les morceaux que tu auras choisi à l'avance, pour que les gens puissent écouter/analyser ces morceaux chez eux, avant le meeting.
C'est chaud de comparer ce qu'on ne connait pas/mal... Je n'ai eu que des échecs sur les tracks que j'écoutais pour la première fois.

Ça serait bien pour vous d'avoir un lecteur bitperfect sur OSX, tu peux télécharger Clementine, c'est opensource & gratuit.
1/ Le HD600 comme le HD800 pose le problème de la source, il faut "que ça suive", mais dans l'absolu, pourquoi pas !
2/ Je pensais à faire le choix d'une tracklist choisi ici à l'avance, en commun, comme ça tout le monde pourra retrouver quelque chose qu'il connait (voir "s'entrainer", si certains veulent être sûr d'y arriver :mrgreen: ). Pas de truc "surprise" sur place, ce n'est pas spécialement le but de "piéger" l'auditeur, de toute façon, mais bien de voir quelle proportion de TNiens est capable de faire la différence entre MP3 320 et FLAC, dans une situation de meeting.
(ce qui limite de toute façon l'expérience à ça : une expérience particulière dans un contexte particulier avec des pistes "moyennement connues" : mais c'est mieux que rien, comme maintenant !!).

Lecteur BitPerfect : j'ai "Swinsian" actuellement. Mais si vous préférez le faire sous Clementine, ça me va aussi.
MrLocoLuciano a écrit : Je pense que chacun doit avoir le choix d'écouter sur ses intras / casques ou sur un modèle à disposition.
Intéressant !
J'ai un Headstage Arrow 5TX qui est capable de driver tous les intras et casques nomades que je connais, qui devrait être une bonne source pour le test. Et chacun fait le test avec ce qu'il veut en sortie, avec ce qu'il a amené et qu'il connait. Ca le fait, en effet. Et c'est "nomade", comme TN. :P
MrLocoLuciano a écrit : Pour les morceaux, ABX, c'est 2 qualités différentes, donc uniquement MP3 320 et Flac / Wav.
Ok !!
MrLocoLuciano a écrit : Pour le protocole, ne pas regarder ce qu'on trouve un peu partout sur le net.
1 seul morceau, test à reproduire 16 fois, c'est un minimum pour un résultat valable d'un point de vue statistique.
Plugin foobar pour l'ABX https://www.foobar2000.org/components/view/foo_abx
Ici tu trouveras une explication claire du plugin http://forum.hardware.fr/hfr/VideoSon/T ... 2560_1.htm
Edit : sur Mac OS tu as ça https://itunes.apple.com/fr/app/abxtest ... 4135?mt=12 si ça fonctionne encore. Mais tu n'as que 5 essais, donc à refaire 3 fois mais je ne sais pas comment on peu analyser le résultat cumulé.
Il faut que l'on trouve une formule simple et efficace. Donc tu dis "1 seul morceau, le même pour tout le monde, avec plus de 16 participants", c'est bien cela ? :-?
MrLocoLuciano a écrit :Edit : sur Mac OS tu as ça https://itunes.apple.com/fr/app/abxtest ... 4135?mt=12 si ça fonctionne encore. Mais tu n'as que 5 essais, donc à refaire 3 fois mais je ne sais pas comment on peu analyser le résultat cumulé.
Je vais aller voir ça, et tester. Merci.
edit : il ne prend pas en charge le FLAC, que le WAV. Mais ça reste du Lossless vs Compressed, ça le fait.

Re: [Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Publié : 08 oct. 2017 15:58
par MrLocoLuciano
kookaburra a écrit :
MrLocoLuciano a écrit : Pour le protocole, ne pas regarder ce qu'on trouve un peu partout sur le net.
1 seul morceau, test à reproduire 16 fois, c'est un minimum pour un résultat valable d'un point de vue statistique.
Il faut que l'on trouve une formule simple et efficace. Donc tu dis "1 seul morceau, le même pour tout le monde, avec plus de 16 participants", c'est bien cela ?  :-?
Non, 16 fois le test par personne ;-/
Donc essayer de reconnaître 16 fois quel morceau est joué (le 320 ou le Flac).

Re: [Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Publié : 08 oct. 2017 16:01
par Kooka
Houla !! Le problème va être de trouver un certain nombre de participants voulant faire ça, comparer 16 fois de suite, au lieu de participer au meeting (qui est bien intéressant à faire)... |-)

Re: [Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Publié : 08 oct. 2017 16:02
par MrLocoLuciano
Tu peux prendre 5 minutes comme 1 heure effectivement...
Après tu peux réduire à 10 essais mais tu auras plus de chances de rater le test :p

Re: [Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Publié : 08 oct. 2017 16:06
par Murl0c
Eh oui, un ABX ça prend du temps, c'est clair. Et c'est moins convivial devant des enceintes que devant son PC tout seul avec son casque. ;)

Re: [Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Publié : 08 oct. 2017 16:06
par MrLocoLuciano
Jettes un oeil ici Kooka si pas déjà fait : https://en.wikipedia.org/wiki/ABX_test

Re: [Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Publié : 08 oct. 2017 16:09
par Kooka
Merci MrLoco, effectivement : pas pensé à aller sur wikipédia... Je vais lire ça !

Re: [Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Publié : 08 oct. 2017 16:15
par comte zero
En voilà une idée intéressante!
En vrac les idées qui me viennent:
- Les testeurs auront sûrement leur casques/intras préférés avec eux alors pourquoi ne pas faire le test avec?
- un seul morceaux discriminant pour servir de base à tout le monde sinon ça va être compliqué à gérer (allez, 2-3 maxi)
- s'il y a bcp de testeurs, une fiche de renseignement de chacun (matos, age, goûts musicaux,...) serait intéressante à collecter
- tout ça peux faire une bonne base de renseignement pour pouvoir faire un peu d'analyses derrière (c'est un peu mon dada en ce
moment)

Re: [Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Publié : 08 oct. 2017 16:18
par Kooka
comte zero a écrit :- tout ça peux faire une bonne base de renseignement pour pouvoir faire un peu d'analyses derrière (c'est un peu mon dada en ce
moment)
Quoi qu'il arrive, je m'engage bien sûr à communiquer les résultats "bruts" à tous ceux qui le souhaitent.
Et si quelqu'un veut m'aider sur place, c'est aussi avec plaisir !!