[Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

[Fabaaroan]

Parce que maintenant il faut s entrainer en plus.
Je croyais que vous étions tous capable de faire la difference sans faute.

Perso je serai même pour pour faire des pièges. Genre 2 morceaux identiques en mp3. Car sinon vous avez une chance sur deux de réussir.

Ou bien vous donnez une piste de votre choix et c est nous qui choisissons si on mets du flac ou mp3. Là ce serait très bien je trouve.

[Kooka]

Perso je serai même pour pour faire des pièges. Genre 2 morceaux identiques en mp3. Car sinon vous avez une chance sur deux de réussir.

Après, tout cela se calcule d’après des lois statistiques qui permettent de différencier ce qui tient du hasard (50/50) de ce qui pourrait indiquer une certaine tendance, dans un sens ou dans l’autre, avec un % de marge. Car on n’obtiendra rien de plus que cela : une tendance, pas de certitude. Sauf à avoir du 0% ou du 100%, mais bon...

[MrButchi]

@fab : d’où les 16 tests successifs - 50% ^ 16 = pas vraiment de chance que ça se passe bien ;)

[fresnel]

Quels morceaux sont "idéaux" pour faire cela ?

Les gus qui ont créé le MP3 utilisaient une chanson enregistrée avec un micro à 2 balles : http://mentalfloss.com/article/19727/ho ... -tuned-mp3

Plus y'a de résolution dans le son plus la compression devient dure voire impossible et même Mme Vega n'était pas satisfaire de son diner de Tom en mp3

A mes oreilles le top en réso ce sont les trucs FR années 70's genre Gainsbarre et Joe Dassin par ex, bonne chance pour encoder "je suis venu te dire que je m'en vais" ou "l'été indien", il faudra du 2 passes en qualité max et on verra

Un de mes morceaux de tests reste

Très dur de reproduire tous ces instruments, je t'envoie un extrait en FLAC si tu veux

[Kooka]

Ton but avec cette piste "difficile à coder" est de piéger le MP3 à tout prix c'est ça ? Pour prouver que tu as raison ?

Le but du test est de voir si en conditions standards d'écoute, sur du matos "correct et répandu", les TNiens font la différence, sur un test ABX... Pas de démontrer que certains pistes particulièrement n'aiment pas le codage MP3.

On peut aussi carrément donner les subtils indices à écouter, avec entraînement intensif, tant qu'on y est, pour que tout le monde y arrive... Mais ça représentera quel intérêt au final ?

On va plutôt rester sur une ou plusieurs pistes connues et écoutées du plus grand nombre, sans piège ni aide particulière.

[fresnel]

qui peut le plus peut le moins, quand je poste des comparaisons d'algos de madVR sur doom9 j'utilise des blurays de démo avec la plus haute qualité possible.

sans utiliser du contenu HiRes tu influences tout autant le test AMHA, le MP3 est calibré pour encoder du low/mid-res il le fait très bien.

[MrLocoLuciano]

Je comprends ce que veut dire fresnel sans que l'on parle de piéger qui que ce soit.

Il me semble judicieux effectivement de partir sur une piste avec un bon enregistrement et un DR de 8-10 minimum.
Il est clairement plus dur de faire une différence sur un DR de 5...

Edit : sans vouloir présumer des résultats et de la qualité des oreilles des futurs testeurs, je serai très heureux qu'un TNien réussisse l'ABX.

[Kooka]

Il me semble judicieux effectivement de partir sur une piste avec un bon enregistrement et un DR de 8-10 minimum.
Il est clairement plus dur de faire une différence sur un DR de 5...

Je vous comprends messieurs !

Mais je pense que ça reste un "biais" dans l'expérience : car si il faut choisir un type de piste particulier, faire une "sélection" pour y arriver, et non pas sur du "tout venant" - les Daft Punk vous remercie, au passage ! - (= ce que tout le monde écoute au quotidien), l'expérience ne sert plus à rien. En effet, on aura déjà démontré sans la faire qu'il n'est pas possible d'entendre une différence au quotidien, avec des oreilles "normales" et du matos "normal" et des pistes "normales". On ne sera pas plus avancé, non ?

Est-ce notre but de se mettre dans les conditions "parfaites" pour entendre absolument une différence ? Pas plus que l'inverse (trouvé une piste impossible à différencier car mal enregistrée... juste pour démontrer que "aucune différence"... Ni l'un ni l'autre, juste notre "quotidien", aucune inflexion dans un sens ou l'autre qui pourrait "tronquer" le résultat final. Je me trompe ?

Edit : sans vouloir présumer des résultats et de la qualité des oreilles des futurs testeurs, je serai très heureux qu'un TNien réussisse l'ABX.  

Moi de même !! Des oreilles d'OR sur TN, la classe.
Reste à savoir quelle proportion en est capable VS quelle proportion s'en croit capable... D'ailleurs je rajouterai bien une question dans les questions à poser à fin statistique, du style "pensez-vous être capable de faire la différence : totalement / peut-être / je ne sais pas / pas du tout", vous en pensez quoi ?"

[Murl0c]

Ouaip c'est ça.
Mais d'un autre côté, si tu n'optimises pas le test pour que les gens aient plus de chance de le réussir, tu vas justement te retrouver avec des "j'ai raté le test, mais sur mon matos/ma zick, je le réussis sans aucun problèmes".

Donc à toi de voir ce que tu veux démontrer ;)

[Kooka]

Je sais bien, là est tout le probléme.

Donc à toi de voir ce que tu veux démontrer ;)

Je ne veux rien démontrer à l'avance, en tout cas, ni dans un sens ni dans l'autre. Vraiment (même si vous connaissez mon avis sur la question, je ne demande qu'a être mis en erreur, ça m'intéresse aussi, sérieusement, d'être mis en défaut : ça fait parti de la vie ! ).

Donc un choix le plus "neutre" possible, justement, qui casse le plus possible de réserves, avant le test. Aussi bien au niveau de la source que du choix des écouteurs, que de la piste... Vous voyez l'idée ?

Mais il y aura de toute façon des "raleurs" pour trouver ce test pourri et/ou sans valeur. J'essaye juste qu'il y en ait le moins possible ! C'est pour ça que je m'y prends 3 mois à l'avance, d'ailleurs.

[MrLocoLuciano]

Il me semble judicieux effectivement de partir sur une piste avec un bon enregistrement et un DR de 8-10 minimum.
Il est clairement plus dur de faire une différence sur un DR de 5...

Je vous comprends messieurs !  :jap:

Mais je pense que ça reste un "biais" dans l'expérience : car si il faut choisir un type de piste particulier, faire une "sélection" pour y arriver, et non pas sur du "tout venant" - les Daft Punk vous remercie, au passage !  :PP - (= ce que tout le monde écoute au quotidien), l'expérience ne sert plus à rien. En effet, on aura déjà démontré sans la faire qu'il n'est pas possible d'entendre une différence au quotidien, avec des oreilles "normales" et du matos "normal" et des pistes "normales". On ne sera pas plus avancé, non ?  |-)

On est quand même des audiophiles 8 à 10 c'est pas non plus le summum. C'est juste au dessus de la m*r*e en boîte que vomissent les radios (en général hein)...
De toute façon il faut des hypothèses à toute démonstration donc bon...

Est-ce notre but de se mettre dans les conditions "parfaites" pour entendre absolument une différence ? Pas plus que l'inverse (trouvé une piste impossible à différencier car mal enregistrée... juste pour démontrer que "aucune différence"... Ni l'un ni l'autre, juste notre "quotidien", aucune inflexion dans un sens ou l'autre qui pourrait "tronquer" le résultat final. Je me trompe ?

Parfaite non, mais suffisamment bonne pour qu'on ne puisse pas nous reprocher de mettre des morceaux pourris à discerner.

Reste à savoir quelle proportion en est capable VS quelle proportion s'en croit capable... D'ailleurs je rajouterai bien une question dans les questions à poser à fin statistique, du style "pensez-vous être capable de faire la différence : totalement / peut-être / je ne sais pas / pas du tout", vous en pensez quoi ?"

Obligatoire

[Kooka]

"j'ai raté le test, mais sur mon matos/ma zick, je le réussis sans aucun problèmes".

Si c'est moi qui choisit la piste pour l'auditeur, sur son matos et qu'il me dit "c'est du MP3 / c'est du FLAC" sans voir son matos, ça me va aussi. Mais à condition que tout le monde s'engage à présenter des pistes MP2 320 "clean" issus du FLAC (pas un MP3 d'une autre source), sans baisser le bitrate pour "réussir", ça peut se faire, aussi. Au moins, pas de biais niveau source et casque, là !

Mais il reste que chacun peut quand même choisir sa musique à l'avance et chercher la "petite bête" pour dire "j'y arrive" lors du test : est-ce un reflet de la réalité de nos écoutes ? Est-ce que ça ferait avancer le débat et nous donnerai une réponse sur "MP3 320 / FLAC, y'a-t-il une différence audible en situation normale d'écoute ?" => pas sûr.

A cogiter, donc...

Est-ce notre but de se mettre dans les conditions "parfaites" pour entendre absolument une différence ? Pas plus que l'inverse (trouvé une piste impossible à différencier car mal enregistrée... juste pour démontrer que "aucune différence"... Ni l'un ni l'autre, juste notre "quotidien", aucune inflexion dans un sens ou l'autre qui pourrait "tronquer" le résultat final. Je me trompe ?

Parfaite non, mais suffisamment bonne pour qu'on ne puisse pas nous reprocher de mettre des morceaux pourris à discerner.

Totalement d'accord !
Il ne faut pas non plus faire le biais inverse et qu'il soit impossible de réussir "à priori", juste pour aller dans le sens des "contres". Même punition : test non valable et non discriminant, qui n'apporte aucune réponse, donc inutile, on est d'accord.

[fresnel]

le souci des tests sur le web c'est que c'est resamplé par DirectSound donc bonne chance pour entendre la diff sur de la zik hyper compressée dynamiquement, enfin à priori tu veux faire un truc IRL sur du vrai matos

[Eykxas]

Quand je fais des tests de ce genre (aucune idée si ça s’appelle ABX ou non) je procède de la manière suivante : déjà je prends le matériel le plus qualitatif que je possède avec surtout la plus grande extension possible (c’est souvent sur les extensions qu’on constate des différences). Après pour le déroulement je prends plusieurs fichiers en 3 ou 4 versions. Deux MP3 identiques, un flac de même échantillonnage et parfois je rajoute un flac d’un échantillonnage supérieur. Les personnes ne voient pas le matos et ne touche pas le matos non plus (afin que la personne ne puisse pas reconnaître le casque au touché). Ensuite je passe les différents sample autant de fois que la personne désire et qu’elle me donne les deux qu’elle préfère. Ensuite pause de 5 / 10 min, et entre les deux sample qui reste je lui demande lequel elle préfère. Je fais ça sur 5 musique.

[fresnel]

mais bon les tests ABX lossy/lossless c'est yesterday, les vrais y ABX FLAC et WAV : https://www.head-fi.org/threads/flac-is ... av.242039/