[Help] Organisation d'un test ABX "MP3 320 - FLAC" IRL

[Kooka]

Partant du principe que la communauté est divisée sur le sujet (cf les topics MP3/FLAC), sur TN c'est encore d'actualité.

[Kooka]

Quand je fais des tests de ce genre (aucune idée si ça s’appelle ABX ou non) je procède de la manière suivante : déjà je prends le matériel le plus qualitatif que je possède avec surtout la plus grande extension possible (c’est souvent sur les extensions qu’on constate des différences). Après pour le déroulement je prends plusieurs fichiers en 3 ou 4 versions. Deux MP3 identiques, un flac de même échantillonnage et parfois je rajoute un flac d’un échantillonnage supérieur. Les personnes ne voient pas le matos et ne touche pas le matos non plus (afin que la personne ne puisse pas reconnaître le casque au touché). Ensuite je passe les différents sample autant de fois que la personne désire et qu’elle me donne les deux qu’elle préfère. Ensuite pause de 5 / 10 min, et entre les deux sample qui reste je lui demande lequel elle préfère. Je fais ça sur 5 musique.

As-tu déjà partagé tes résultats sur TN ? Car ça serait intéressant !!

[Eykxas]

Non jamais partagé. Je sais pas si j’ai conservé les résultats. Mais au besoin je peux le refaire

[MrLocoLuciano]

D'aucun (comme moi) te dirons que le protocole n'est pas scientifique et que le nombre de tests n'est pas suffisant pour enlever le rôle du hasard "juste"...

[Eykxas]

Absolument rien de scientifique. Et d’ailleurs, je sais même pas si ce protocole à un intérêt car les résultats ne montraient pas grand chose.

Par exemple, j’avais des personnes (ami et famille pas forcément portée sur l’audio), qui me sortait au premier round un fichier flac et un mp3 pour me sortir ensuite un fichier mp3. Si le mp3 leur plaisait mieux, pourquoi j’ai pas eu deux mp3 ? Et si la personne à trouvé que le flac était mieux au départ, pourquoi on l’a pas retrouvé ensuite ? Pour moi ça ressemble à du hasard.

[fresnel]

c'était une boutade pour l'ABX FLAC/WAV hein, Patrick82 est un troll de première classe

ouaip y' a ça aussi, les gosses préfèrent le MP3 car le son est moins détaillé et de fait moins fatiguant

[Kooka]

c'était une boutade pour l'ABX FLAC/WAV hein, Patrick82 est un troll de première classe

Laisse tomber comment j'avais pas capté, là !

[Thom]

Dans les stats et pour éviter de froisser un scienteux, il faut faire des contrôles afin de permettre de conclure si oui ou non on peut valider (où réfuter) les résultats de l'expérience.

Je ne suis pas certain par contre. Mais je pense que commencer l'expérience pour chaque personnes par :

- On annonce la couleur FLAC ou MP3, on joue un morceau.
- On rejoue le même morceau (parfois identique en qualité, parfois non)
- Poser la question est-ce la même qualité ?

Afin de passer ensuite à la playlist.

En fin d'expérience, quand on dépouille le tout. Trop d'erreurs à cette première question invaliderait pour moi totalement l'expérience. Dans une étude stats des contrôles qui foirent sont pour moi un marqueur très net de je ne peux pas m'appuyer sur les résultats pour conclure car mon étude n'est pas pertinente afin de répondre à la question souhaitée.

Plus précisément ici en cas d’échec des contrôles, Comment peut-on espérer comparer, si on ne sait identifier ?

[MrLocoLuciano]

Les mecs, franchement, un ABX c'est un protocole particulier, pas un truc qu'on invente sur un coin de table et dont on ne peut rien déduire...

[Kooka]

Comment peut-on espérer comparer, si on ne sait identifier ?

C'est là toute la question...

D'autant plus que ça m'étonnerait que ceux qui disent savoir faire la différence MP3 320 / FLAC (en partant du postulat qu'ils ont raison, ils y arrivent, dans mon raisonnement présent) puissent dire avec une simple écoute si c'est du MP3 ou du FLAC, sans "comparer" plusieurs fois le morceau à suivre en qualité différente. Je pense qu'ils disent entendre des différences à l'écoute comparative, et donc dire "c'est le FLAC parce que j'entends plus de choses", et non dire à l'écoute seule "c'est du FLAC", sans point de comparaison.
PS : je peux me tromper, c'est juste ce que j'ai compris de leur propos.

[Kooka]

Les mecs, franchement, un ABX c'est un protocole particulier, pas un truc qu'on invente sur un coin de table et dont on ne peut rien déduire...

[Thom]

Ça n'empêche pas de devoir faire des contrôles. Il y a dans toutes les expériences de stats, ce n'est pas pour rien. Le fait que ABx soit un test avec un protocole fréquemment utilisé en audio ne change pas la donne. Il ne faut pas croire mais tous les tests qu'on peut faire tourner en trois ronds de cuillère sur des jeux de données sur R ou SAS comme Wilcoxon, Mann-Whitney, Siegel, Shapiro sont des tests de chapacan. Ils sont aussi soumis à des protocoles précis... qui ne valent pas un clou si l'expérience n'est pas faite correctement.

Si on veut un parallèle parlant et plus connu (bien qu'un peu différent). C'est un peu comme dans une démonstration par récurrence pour des suites.
- Faire des contrôles = Tester l'hypothèse au rang 0.
- Faire ABx = Démontrer que c'est vrai au rang N+1

Si on ne fait pas de contrôle, on ne peut pas conclure. Si le contrôle revient négatif, on peut conclure... qu'on ne peut pas conclure.

https://en.wikipedia.org/wiki/ABX_test
partie : Potential flaws

... Après, merci le document qui décrit les contrôles à faire est dans un alphabet peu commun.

--------------

Et non pour moi, identifier un et comparer deux n'est clairement pas la même expérience et ne permet pas la même conclusion. Ce ne sont pas les mêmes mots en Français et ce n'est pas pour rien. Comparer est l'étape d'après.

Dans le premier cas, on se pose la question de savoir si on arrive à reconnaître un fichier. Les réponses sont :
- Oui, j'arrive à reconnaître un même fichier.
- Non, je n'arrive pas à reconnaître un même fichier.

Dans le deuxième cas, on se pose la question de la comparaison. Les réponses sont :
- Oui, les fichiers sont reconnus différents.
- Non, les fichiers ne sont pas reconnus différents.

Pour continuer avec les exemples un peu miteux, c'est comme demander à un illettré de dire si un caractère est un chiffre ou une lettre. Quelques soit le résultat du test dans lequel il est facile de confondre 0 et O, 1 et l 5 et S... Le test n'a aucune valeur car il est illettré. Il n'a pas le droit de comparer car il ne sait identifier.

[MrLocoLuciano]

Il y a effectivement une phase d'accoutumance aux morceaux. C'est pour cela qu'une fois le morceaux choisi, il faudra mettre à disposition la version FLAC et la version MP3 bien identifiées pour que les gens puissent se familiariser avant le jour J.
Mais il y aura toujours le biais du matos différent le jour du test...
Après Kooka je me disais qu' on pouvait mettre que 45 ou 60 secondes du morceau non ?

[Kooka]

Après Kooka je me disais qu' on pouvait mettre que 45 ou 60 secondes du morceau non ?

Oui, je suis assez d'accord.

Ce topic apporte déjà pas mal d'idées et de points de vue, ça m'aide vraiment à (commencer à) voir dans quel sens aller pour que ce soit le plus "véridique" possible. Ca ne sera pas parfait, les conditions du test non plus, mais ça fera avancer - un peu - le débat je l'espère !! Et ça donnera surtout une idée de la situation réelle => des TNiens présents dans les conditions du test. Mieux que rien.

[Eykxas]

Léger HS, mais auparavant je ne faisais pas la différence entre le bitperfect ou le non bitperfect. Désormais, sans doute que mon oreille s’est affinée, je fais la différence à chaque fois.

Il faut garder à l’esprit que pour les fichiers il y a la même chose (d’ou toute la difficulté de ce genre de test).