[Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Pour débattre sur tous les sujets audiophiles, ou poser vos questions sur l'audio
Kooka

[Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

Message par Kooka »

Voilà, j'ai besoin de votre aide et des vos lumières pour planifier au mieux un vrai test ABX "MP3 320 - FLAC" au cours du prochain meeting TN de Janvier. Je m'y prend à l'avance histoire de faire les choses proprement et sérieusement.

Le matériel disponible : un Macbook Air sous Mac OSX (dernière version à jour). Plus tout ce qui est dans ma signature, niveau matériel "audiophile". Et les TNiens sur place, une 40aine de personnes : mais à voir combien voudront bien faire le test, ça... :-?

Je me dis que si je le propose sur place avec mon matos (mon DAC/AMP, mon casque), on va me dire les choses suivantes en retour :
- ton matériel n'est pas assez discriminant.
- ton casque n'est pas assez discriminant.
- les participants ne sont pas habitués à ce matériel.
- ...
Mais difficile de le faire en disant à chacun de faire le test en déployant son propre matos, si tant est qu'il l'ait apporté...

Bref, rien de simple. Donc il me faut votre aide !! :DD

Peut-être pourrait-on réussir à réunir un ensemble de test considérer comme "audiophile", comme un Senn HD600 avec un bon DAC/AMP "reconnu", qui ne pousse pas à dire que les résultats sont biaisés par le matériel mis à disposition. Est-ce utile d'après vous ? (cf ma signature pour voir ce que j'ai comme matériel).

Je me dis aussi que l'on est sur Tellement Nomade. Donc pourquoi pas faire le test sur du matos...Nomade !! J'ai un Cowon Plenue 1 et un Onkyo DP-X1, ça me parait audiophile et discriminant, largement assez pour un test pareil. Même chose du côté des casques, mes Sennheiser Momentum 2.0 et Focal Spirit Classic me paraissent eux-aussi suffisamment "sérieux" pour faire le test, mais là encore : à vous de me dire...

Enfin : le protocole. Quel protocole ? Sur Mac, avez-vous une bonne application d'ABX à me soumettre ? Si je le fait sur un DAP, avez-vous un protocole à soumettre ? (je pourrais faire le suivi sur mon Mac, avec un tableur, par ex).

Merci de votre participation, ça pourrait être très intéressant d'avoir enfin une étude "sérieuse" et "interne" sur ce sujet polémique, je trouve ! (et oui, quelque en soit le résultat, bien entendu !! Dans un sens ou dans l'autre, ce sera passionnant à savoir, j'ai hâte, personnellement ! (Y) ).

Edit au fur et à mesure
Idées émises par les TNiens :

- MrButchi :
il faudrait voir avec lebouzin pour avoir un coin plus tranquille.
Parce que les meetings restent bruyants et ça risque d être un ennemi pire que le fait de ne pas connaître le matos, amha.

- MrLocoLuciano :
Je pense que chacun doit avoir le choix d'écouter sur ses intras / casques ou sur un modèle à disposition.
La source, un Mac ou PC, c'est bien mais un DAC externe (un DAP) cela me semble indispensable.
Pour les morceaux, ABX, c'est 2 qualités différentes, donc uniquement MP3 320 et Flac / Wav.
1 seul morceau, test à reproduire 16 fois, c'est un minimum pour un résultat valable d'un point de vue statistique.
1 morceau, 16 fois. Le reste c'est pas de l'ABX / 10 fois tu as droit à 1 seule erreur pour réussir le test / 16 fois tu as droit à 4 erreurs.

- comte zero :
Les testeurs auront sûrement leur casques/intras préférés avec eux alors pourquoi ne pas faire le test avec?
Un seul morceaux discriminant pour servir de base à tout le monde sinon ça va être compliqué à gérer (allez, 2-3 maxi)
S'il y a bcp de testeurs, une fiche de renseignement de chacun (matos, age, goûts musicaux,...) serait intéressante à collecter
Tout ça peux faire une bonne base de renseignement pour pouvoir faire un peu d'analyses derrière

- Albatros98 :
Je suggèrerais quand même de choisir un morceau assez riche en terme de dynamique et musicalement aussi, c'est dans ce cadre que je ressens le plus de différence. J'utilise souvent le morceau Touch de Daft Punk qui combine synthés, voix, orchestre, percussions et des silences pour mes tests de matériel.
Il faudra du matériel de qualité pour que ce test puisse être concluant.
Kooka

Message par Kooka »

J'ai oublié des trucs ! 8-)

1/ Quelles pistes ? Quels morceaux sont "idéaux" pour faire cela ? (c'est à dire : connu du plus grand nombre, j'imagine, non ??)

2/ Je ferai les MP3 320 à partir du fichier FLAC, bien entendu, pour qu'ils proviennent de la même source. En MP3 320 CBR, avec le logiciel "MAX" sous Mac OSX. Ca vous parait bon ?

3/ On fait aussi un fichier "MP3 128", pour avoir trois fichiers à classer pour chaque piste ? Comme ici : http://www.npr.org/sections/therecord/2 ... io-quality
Avatar de l’utilisateur
MrButchi
== Modérateur ==
Messages : 6516
Inscription : 28 févr. 2014 14:58
Contact :

Message par MrButchi »

J’aime beaucoup l’idée.
Surtout kooka, il faudrait voir avec lebouzin pour avoir un coin plus tranquille.
Parce que les meetings restent bruyants et ça risque d être un ennemi pire que le fait de ne pas connaître le matos, amha.
Mon passé, mon présent, mon futur ?
Passé
Lecteurs : iPod V2 - Rio Karma - iBasso DX50 - Sony F887 - ZX1 - Questyle QP1R - iPhone 6S
IEMs : Shure E4c - Shure SE530 PTH - Sleek Audio SA6 - Earsonics SM3v2 - Earsonics SM64 - Sleek Audio SA7 - Custom Art Ei.3 - Custom Art Harmony Pro - Custom Art Ei.XX - Spiral Ears SE5-Ref - Custom Art Harmony 8.2 - Lime Ears Aether
Amp : Headstage Arrow 4G - Fostex HP-P1 - Oppo HA-2 - Headstage Arrow 5TX - Schiit Lyr 2 (Reflektors '74) - Eddie Current Black Widow 2
DAC : Schiit Bifrost Uber Analog / USB Gen 2 - Schiit Gungnir MultiBit

Casque : Bose QC35

Présent
Lecteur : Lotoo Paw 6000 - ES100
IEMs : VE8
Casque : Stax SR007MKII - Focal Utopia - HD800 - Bose QC700
Amp : Eddie Current Aficionado (Kron et Raytheon) et Stax SRM 727 MKII moddé
DAC : Schiit Yggdrasil et RME Adi 2 Pro Anniversary Edition
Transport : MSB Universal Transport Plus


Futur
Kooka

Message par Kooka »

MrButchi a écrit : Surtout kooka, il faudrait voir avec lebouzin pour avoir un coin plus tranquille.
Bien vu. Noté. Je ferai ainsi, tu as raison.
Avatar de l’utilisateur
Murl0c
Je me suis greffé des intras
Je me suis greffé des intras
Messages : 1708
Inscription : 29 sept. 2015 14:02

Message par Murl0c »

Excellente idée kooka !
Deux choses me viennent à l'esprit :
1) La plupart des gens auront du matériel de gamme supérieur au HD600, je pense que ça pourrait être plus judicieux que de passer directement à un HD800, que beaucoup de gens connaissent également.
2) Pour les morceaux c'est compliqué. Le mieux ça serait que chacun puisse demander un morceau à tester en ABX, et de préparer les FLACs/320 en avance mais ça peut être un peu le bordel.
L'autre possibilité c'est de proposer puis d'annoncer les morceaux que tu auras choisi à l'avance, pour que les gens puissent écouter/analyser ces morceaux chez eux, avant le meeting.
C'est chaud de comparer ce qu'on ne connait pas/mal... Je n'ai eu que des échecs sur les tracks que j'écoutais pour la première fois. Je ne connais pas Max sur OSX, mais XLD est la reference.

Ça serait bien pour vous d'avoir un lecteur bitperfect sur OSX, tu peux télécharger Clementine, c'est opensource & gratuit.

J'oubliais... Le MP3 320 est une référence pour beaucoup mais le format v0 est beaucoup plus intéressant, même qualité pour un gain de place considérable.
Dernière modification par Murl0c le 08 oct. 2017 15:48, modifié 2 fois.
Live as if you were to die tomorrow. Learn as if you were to live forever.

Audio Engineering Society
HydrogenAudio
AudioScienceReview
diyAudio
Avatar de l’utilisateur
MrLocoLuciano
1 euros par message, Stax me voilà!
1 euros par message, Stax me voilà!
Messages : 8577
Inscription : 30 mars 2016 23:12
Localisation : 38200 Vienne
Contact :

Message par MrLocoLuciano »

Super idée.

Je pense que chacun doit avoir le choix d'écouter sur ses intras / casques ou sur un modèle à disposition.
La source, un Mac ou PC, c'est bien mais un DAC externe (un DAP) cela me semble indispensable.
Pour les morceaux, ABX, c'est 2 qualités différentes, donc uniquement MP3 320 et Flac / Wav.
Pour le protocole, ne pas regarder ce qu'on trouve un peu partout sur le net.
1 seul morceau, test à reproduire 16 fois, c'est un minimum pour un résultat valable d'un point de vue statistique.
Plugin foobar pour l'ABX https://www.foobar2000.org/components/view/foo_abx
Ici tu trouveras une explication claire du plugin http://forum.hardware.fr/hfr/VideoSon/T ... 2560_1.htm

Edit : sur Mac OS tu as ça https://itunes.apple.com/fr/app/abxtest ... 4135?mt=12 si ça fonctionne encore. Mais tu n'as que 5 essais, donc à refaire 3 fois mais je ne sais pas comment on peu analyser le résultat cumulé.
Sony WF-1000XM5
Lotoo PAW6000 / Fiio BTR7
Ambient Acoustics MAD24 / Craft Ears Aurum / Itsfit Fusion / Oriolus Oriolus
Kooka

Message par Kooka »

Murl0c a écrit : 1) La plupart des gens auront du matériel de gamme supérieur au HD600, je pense que ça pourrait être plus judicieux que de passer directement à un HD800, que beaucoup de gens connaissent également.
2) Pour les morceaux c'est compliqué. Le mieux ça serait que chacun puisse demander un morceau à tester en ABX, et de préparer les FLACs/320 en avance mais ça peut être un peu le bordel.
L'autre possibilité c'est de proposer puis d'annoncer les morceaux que tu auras choisi à l'avance, pour que les gens puissent écouter/analyser ces morceaux chez eux, avant le meeting.
C'est chaud de comparer ce qu'on ne connait pas/mal... Je n'ai eu que des échecs sur les tracks que j'écoutais pour la première fois.

Ça serait bien pour vous d'avoir un lecteur bitperfect sur OSX, tu peux télécharger Clementine, c'est opensource & gratuit.
1/ Le HD600 comme le HD800 pose le problème de la source, il faut "que ça suive", mais dans l'absolu, pourquoi pas !
2/ Je pensais à faire le choix d'une tracklist choisi ici à l'avance, en commun, comme ça tout le monde pourra retrouver quelque chose qu'il connait (voir "s'entrainer", si certains veulent être sûr d'y arriver :mrgreen: ). Pas de truc "surprise" sur place, ce n'est pas spécialement le but de "piéger" l'auditeur, de toute façon, mais bien de voir quelle proportion de TNiens est capable de faire la différence entre MP3 320 et FLAC, dans une situation de meeting.
(ce qui limite de toute façon l'expérience à ça : une expérience particulière dans un contexte particulier avec des pistes "moyennement connues" : mais c'est mieux que rien, comme maintenant !!).

Lecteur BitPerfect : j'ai "Swinsian" actuellement. Mais si vous préférez le faire sous Clementine, ça me va aussi.
MrLocoLuciano a écrit : Je pense que chacun doit avoir le choix d'écouter sur ses intras / casques ou sur un modèle à disposition.
Intéressant !
J'ai un Headstage Arrow 5TX qui est capable de driver tous les intras et casques nomades que je connais, qui devrait être une bonne source pour le test. Et chacun fait le test avec ce qu'il veut en sortie, avec ce qu'il a amené et qu'il connait. Ca le fait, en effet. Et c'est "nomade", comme TN. :P
MrLocoLuciano a écrit : Pour les morceaux, ABX, c'est 2 qualités différentes, donc uniquement MP3 320 et Flac / Wav.
Ok !!
MrLocoLuciano a écrit : Pour le protocole, ne pas regarder ce qu'on trouve un peu partout sur le net.
1 seul morceau, test à reproduire 16 fois, c'est un minimum pour un résultat valable d'un point de vue statistique.
Plugin foobar pour l'ABX https://www.foobar2000.org/components/view/foo_abx
Ici tu trouveras une explication claire du plugin http://forum.hardware.fr/hfr/VideoSon/T ... 2560_1.htm
Edit : sur Mac OS tu as ça https://itunes.apple.com/fr/app/abxtest ... 4135?mt=12 si ça fonctionne encore. Mais tu n'as que 5 essais, donc à refaire 3 fois mais je ne sais pas comment on peu analyser le résultat cumulé.
Il faut que l'on trouve une formule simple et efficace. Donc tu dis "1 seul morceau, le même pour tout le monde, avec plus de 16 participants", c'est bien cela ? :-?
MrLocoLuciano a écrit :Edit : sur Mac OS tu as ça https://itunes.apple.com/fr/app/abxtest ... 4135?mt=12 si ça fonctionne encore. Mais tu n'as que 5 essais, donc à refaire 3 fois mais je ne sais pas comment on peu analyser le résultat cumulé.
Je vais aller voir ça, et tester. Merci.
edit : il ne prend pas en charge le FLAC, que le WAV. Mais ça reste du Lossless vs Compressed, ça le fait.
Avatar de l’utilisateur
MrLocoLuciano
1 euros par message, Stax me voilà!
1 euros par message, Stax me voilà!
Messages : 8577
Inscription : 30 mars 2016 23:12
Localisation : 38200 Vienne
Contact :

Message par MrLocoLuciano »

kookaburra a écrit :
MrLocoLuciano a écrit : Pour le protocole, ne pas regarder ce qu'on trouve un peu partout sur le net.
1 seul morceau, test à reproduire 16 fois, c'est un minimum pour un résultat valable d'un point de vue statistique.
Il faut que l'on trouve une formule simple et efficace. Donc tu dis "1 seul morceau, le même pour tout le monde, avec plus de 16 participants", c'est bien cela ?  :-?
Non, 16 fois le test par personne ;-/
Donc essayer de reconnaître 16 fois quel morceau est joué (le 320 ou le Flac).
Sony WF-1000XM5
Lotoo PAW6000 / Fiio BTR7
Ambient Acoustics MAD24 / Craft Ears Aurum / Itsfit Fusion / Oriolus Oriolus
Kooka

Message par Kooka »

Houla !! Le problème va être de trouver un certain nombre de participants voulant faire ça, comparer 16 fois de suite, au lieu de participer au meeting (qui est bien intéressant à faire)... |-)
Avatar de l’utilisateur
MrLocoLuciano
1 euros par message, Stax me voilà!
1 euros par message, Stax me voilà!
Messages : 8577
Inscription : 30 mars 2016 23:12
Localisation : 38200 Vienne
Contact :

Message par MrLocoLuciano »

Tu peux prendre 5 minutes comme 1 heure effectivement...
Après tu peux réduire à 10 essais mais tu auras plus de chances de rater le test :p
Sony WF-1000XM5
Lotoo PAW6000 / Fiio BTR7
Ambient Acoustics MAD24 / Craft Ears Aurum / Itsfit Fusion / Oriolus Oriolus
Avatar de l’utilisateur
Murl0c
Je me suis greffé des intras
Je me suis greffé des intras
Messages : 1708
Inscription : 29 sept. 2015 14:02

Message par Murl0c »

Eh oui, un ABX ça prend du temps, c'est clair. Et c'est moins convivial devant des enceintes que devant son PC tout seul avec son casque. ;)
Live as if you were to die tomorrow. Learn as if you were to live forever.

Audio Engineering Society
HydrogenAudio
AudioScienceReview
diyAudio
Avatar de l’utilisateur
MrLocoLuciano
1 euros par message, Stax me voilà!
1 euros par message, Stax me voilà!
Messages : 8577
Inscription : 30 mars 2016 23:12
Localisation : 38200 Vienne
Contact :

Message par MrLocoLuciano »

Jettes un oeil ici Kooka si pas déjà fait : https://en.wikipedia.org/wiki/ABX_test
Sony WF-1000XM5
Lotoo PAW6000 / Fiio BTR7
Ambient Acoustics MAD24 / Craft Ears Aurum / Itsfit Fusion / Oriolus Oriolus
Kooka

Message par Kooka »

Merci MrLoco, effectivement : pas pensé à aller sur wikipédia... Je vais lire ça !
Avatar de l’utilisateur
comte zero
Je me suis greffé des intras
Je me suis greffé des intras
Messages : 1830
Inscription : 17 nov. 2010 16:20
Contact :

Message par comte zero »

En voilà une idée intéressante!
En vrac les idées qui me viennent:
- Les testeurs auront sûrement leur casques/intras préférés avec eux alors pourquoi ne pas faire le test avec?
- un seul morceaux discriminant pour servir de base à tout le monde sinon ça va être compliqué à gérer (allez, 2-3 maxi)
- s'il y a bcp de testeurs, une fiche de renseignement de chacun (matos, age, goûts musicaux,...) serait intéressante à collecter
- tout ça peux faire une bonne base de renseignement pour pouvoir faire un peu d'analyses derrière (c'est un peu mon dada en ce
moment)
Elevage DAPS Hifiman: HM-901S (Balanced card) / HM-801 / HM-602 | DAPS Divers: Ipod Classic / Shozy Alien / Lotoo Paw 5000 / Onkyo DP-X1A / Hiby R3II
Amp: Alo Continental V
IEM: EM32 / Jaws / EM64 | Casques: Grado SR60 / SR325e / Grado like / Beyer T51P DM
Statique: AirTunes + Denon + mémés JMLab Rpi3/Pcp + Algoryhtm / Libratone Zipp Mini
Kooka

Message par Kooka »

comte zero a écrit :- tout ça peux faire une bonne base de renseignement pour pouvoir faire un peu d'analyses derrière (c'est un peu mon dada en ce
moment)
Quoi qu'il arrive, je m'engage bien sûr à communiquer les résultats "bruts" à tous ceux qui le souhaitent.
Et si quelqu'un veut m'aider sur place, c'est aussi avec plaisir !!
Répondre

Revenir à « Discussions et Débats Audiophiles »