I test de audio digital: WAV vs OGG ¿qué nos estamos perdiendo?

[hifiliberator]

Este hilo no es idea mía, mas quisiera yo. Es de pablopi. Pero como se ha olvidado de este foro, me tomo la libertad de replicar lo publicado en otro.

Pablo, espero me disculpe la intromisión 

Copio y pego.






Os propongo participar en un experimento colectivo. El objetivo es analizar la calidad de audio que podemos conseguir utilizando el codec OGG/Vorbis de modo comparado con la de muestras de audio almacenadas sin compresión de ningún tipo, en formato WAV, a 16 bits y 44 Khz.

OGG/Vorbis (simplemente OGG en adelante) es un veterano codec de audio digital desarrollado por la Fundación Xiph.Org. Pertenece a la familia de codecs llamados perceptivos. Esto quiere decir que utiliza un modelo psicoacústico para reducir el tamaño del archivo resultante del proceso de codificación por lo que cuando se emplea se produce una pérdida en la fidelidad del audio de las muestras originales que se recodifican. Dicho de otro modo, su funcionamiento no es transparente puesto que opera bajo la premisa de descartar información que teóricamente no es audible, del mismo modo que los archiconocidos MP3 y AAC.

Lo que vamos a tratar de determinar precisamente es en qué medida esa pérdida es audible o no, y bajo qué condiciones.

Aunque es posible que existan otros codecs más eficientes, he escogido OGG por el hecho de ser de código abierto, por su popularidad (es el empleado por Spotify) y su buen rendimiento contrastado. En cualquier caso, OGG ofrece mejores resultados que MP3 a igual tasa de bits

La sistemática de la prueba es la siguiente:

He seleccionado 5 pistas de audio a partir de mis propios CDs y las he extraído en formato WAV.
A continuación, he escogido un fragmento de entre 30 y 50 segundos de cada una de ellas y he generado 5 archivos en formato WAV.
Estos 5 archivos se han recodificado en formato OGG. En este punto se ha producido una pérdida en la fidelidad del audio de las muestras originales.
Para evitar que el tamaño del archivo delatara el codec empleado en cada caso, las muestras en formato OGG se han re-empaquetado nuevamente como archivos WAV.
Los 5 pares de archivos resultantes (versión en WAV / versión en OGG, pero ambos conjuntos presentados en contenedores WAV) han sido renombrados de modo uniforme: Pista 1-A, Pista 1-B, Pista 2-A, Pista 2-B… asignando aleatoriamente los sufijos A y B a cada par de pistas.
Se ha construido una página web en la que se han publicado todos los archivos, así como un cuestionario que contiene una serie de preguntas.
El test estará abierto durante un periodo de tiempo que, en principio, voy a establecer en 30 días. Además, se publicará en diferentes foros y en mi cuenta de Twitter, Facebook y blog personal.
Pasado ese periodo de tiempo, que espero sea suficiente para conseguir un cierto número de ensayos (idealmente del orden de cientos), el cuestionario se cerrará y procederé a analizar las respuestas enviadas.
Tanto la hoja de cálculo con los datos recogidos como las distintas tablas dinámicas y gráficos resultantes del análisis serán publicados y quedarán a disposición de cualquiera que quiera revisarlos.

El cuestionario a responder tras la audición tiene 3 secciones. En la primera hay que marcar qué versión de cada uno de los pares de pistas nos suena mejor. Existe también una tercera respuesta posible si no se aprecian diferencias. Del mismo modo, hay que indicar qué grado de confianza se tiene en las elecciones realizadas. Las siguientes dos secciones contienen preguntas que son opcionales, pero se incluyen para recoger datos que permitan segmentar los resultados y tratar de interpretarlos.

Hay alguna cuestión más que comentar al respecto de la prueba y del formulario de respuesta, no obstante he incluido la información que me parece más relevante en la propia página web del experimento.

Así que, sin más, aquí tenéis la web de la prueba:

                                                                          http://www.testaudiocomprimido.tk/

Muchas gracias a todos los participantes por adelantado.

Nota: Este mensaje ha sido publicado en varios foros dedicados al audio con el objetivo de darle la mayor difusión posible, mis disculpas si eso contraviene la política de uso de este espacio.



Fin de la cita.
Pablo, si consideras que debo borrar el hilo, solo has de decirlo.
Saludos

[hifiliberator]

Y AQUÍ TENEMOS LOS RESULTADOS

A continuación os muestro una serie de gráficos que detallan los resultados obtenidos. Si alguien desea analizar los datos en bruto, respuesta por respuesta, así como revisar detenidamente todas las tablas dinámicas y gráficos generados a partir de ellos, puede hacerlo en esta hoja de cálculo de Google:

Test audio comprimido (publicado)

Este documento es de solo lectura. No obstante podéis hacer una copia (es necesario para ello disponer de una cuenta de Google) haciendo Archivo > Crear una copia para disponer de una versión propia, ya editable, en la que se pueden ver las fórmulas empleadas, editar los gráficos o realizar nuevos análisis. Por ejemplo, quizás sería interesante estudiar en qué modo las variables (tipo de escucha, perfil, nivel del equipo, etc.) determinan el número de aciertos en cada una de las pistas de modo específico e independiente. Yo he hecho el análisis que os presento de modo global, puesto que de lo contrario el trabajo se hubiera alargado mucho, y solo he descendido a este nivel de detalle para relacionar aciertos con confianza en la elección, que sí podréis encontrar más abajo representados pista a pista.

Esta es por tanto una prueba de código abierto :-), así que os animo a utilizar la hoja de cálculo con las respuestas para obtener más información y a compartir los resultados.

Vamos con los gráficos. Hay muchos y su carga puede demorarse, paciencia.


1. Información estadística de los participantes

1.1 Participantes


1.2 Edad Media


1.3 Sexo


1.4 Escucha con auriculares / altavoces


1.5 Nivel del equipo


1.6 Perfil de usuario


1.7 Modo de realización de la prueba


1.8 Uso de mejoras eléctricas


1.9 Sala acondicionada


1.10 Uso de corrección digital / EQ




2. Resultados generales

La secuencia de pistas que se corresponde con los archivos wav era:

BAAAB

No había ninguna pista “trampa” (ambos archivos idénticos).

2.1 Porcentaje de aciertos generales


2.2 Respuestas por pista


2.3 Confianza por pista

• Solo 4 personas de los 83 participantes han identificado correctamente las pistas WAV (4,8%). Si calculamos la probabilidad de que esto ocurra (4 personas de 83 participantes identifican las 5 pistas WAV) utilizando una distribución binomial B(83,4) en la que la probabilidad de acierto de cada ensayo es p= 0,004115 (1/3⁵), nos resulta un 0,038% ¿Algún matemático en la sala para corroborar esto?
  
• Por último, aunque solo un pequeño porcentaje de usuarios ha identificado las pistas WAV, lo que podríamos denominar la inteligencia audiófila colectiva ha optado claramente por las versiones WAV de las 5 pistas, lo que no deja de parecerme intrigante.
  

3. Aciertos en función del tipo de escucha

3.1 Aciertos por tipo de escucha


3.2 Porcentaje aciertos altavoces


3.3 Porcentaje aciertos auriculares


Contrariamente a la creencia popular los resultados apuntan a que resulta más fácil identificar las pistas WAV (4 o 5 pistas correctamente identificadas como WAV) con altavoces que con auriculares (37,5% frente a 12,2%).


4. Aciertos en función del perfil del usuario

4.1 Aciertos por perfil


4.2 Porcentaje aciertos novatos


4.3 Porcentaje aciertos aficionados


4.4 Porcentaje aciertos usuarios con experiencia


4.5 Porcentaje aciertos profesionales


4.6 Porcentaje aciertos músicos

• El bajo número de muestras pertenecientes a determinados colectivos no permite extraer, en mi opinión, conclusiones claras (3 músicos, 3 usuarios que se consideran profesionales del sector) en determinados casos.
• El porcentaje de usuarios que se consideran aficionados o usuarios con experiencia e identifican 4 o 5 de las pistas WAV es prácticamente idéntico (24,4% frente a 23,1%). Este factor por tanto no parece ser relevante.

5. Aciertos en función del nivel del equipo

5.1 Aciertos por nivel del equipo


5.2. Porcentaje aciertos equipos nivel bajo


5.3. Porcentaje aciertos equipos nivel medio


5.4. Porcentaje aciertos equipos nivel alto

• Los participantes con equipos de nivel medio - alto han obtenido un porcentaje mayor de aciertos que los que empleaban equipos de nivel bajo. La calidad del equipo sí contribuye, aparentemente, a facilitar la detección de diferencias.
• Ningún usuario con equipo de nivel bajo ha identificado las 5 pistas WAV.

6. Aciertos en función del modo en que se ha realizado la prueba

6.1 Aciertos por modo de realización de la prueba


6.2. Porcentaje aciertos archivos descargados


6.3 Porcentaje aciertos escucha desde el navegador


Las gráficas sugieren que los usuarios que han descargado los archivos para realizar la prueba han tenido más éxito a la hora de identificar las versiones WAV (29,4% frente a 15,6% a la hora de obtener 4 o 5 aciertos).


7. Aciertos en función del uso de mejoras en alimentación

7.1 Aciertos por uso de mejoras en alimentación


7.2. Porcentaje aciertos usuarios sin mejoras


7.3. Porcentaje aciertos usuarios con mejoras


Los resultados obtenidos no permiten vincular un mayor porcentaje de éxito a la hora de identificar los archivos WAV con el uso de mejoras en la alimentación eléctrica del equipo empleado (25,9% frente a 25% a la hora de obtener 4 o 5 aciertos).


8. Aciertos en función del acondicionamiento de la sala

8.1 Aciertos por uso de acondicionamiento pasivo


8.2. Porcentaje aciertos usuarios sin acondicionamiento


8.3. Porcentaje aciertos usuarios con acondicionamiento

• 2 usuarios han indicado que utilizaron auriculares para realizar la prueba pero también respondieron afirmativamente a la pregunta correspondiente al acondicionamiento acústico. Ambos no han sido tenidos en cuenta en las gráficas de (únicamente) este apartado.
• En este caso, y paradójicamente, los usuarios que han realizado la prueba sin contar con una sala acondicionada han obtenido mejores resultados a la hora de identificar correctamente 4 o 5 de los archivos WAV que los que sí disponían de esta mejora (42,3% frente a 30%). Este resultado incongruente me hace pensar que el tamaño escaso de la muestra (solo 10 usuarios participantes que disfrutan de acondicionamiento pasivo) impide obtener conclusiones concluyentes.

9. Aciertos en función del uso de ecualización

9.1 Aciertos por uso de ecualización


9.2. Porcentaje aciertos usuarios sin ecualización


9.3. Porcentaje aciertos usuarios con ecualización


El uso de EQ y/o corrección digital de sala parece tener un impacto positivo en el índice de aciertos (45,5% frente a un 20,9% en el caso de los participantes que no disponían de esta mejora). No obstante, y nuevamente, el relativamente reducido número de usuarios que han indicado que empleaban EQ obliga a ser muy prudente a la hora de correlacionar estos factores.


10. Confianza en la elección: Pistas 1

10.1 Confianza personas que NO identifican el archivo WAV


10.2 Confianza personas que SÍ identifican el archivo WAV


En este caso los participantes que no identifican correctamente el archivo WAV demuestran más confianza en su elección que los que sí lo identifican (39,5% frente a 22,5%).


11. Confianza en la elección: Pista 2

11.1 Confianza personas que NO identifican el archivo WAV


11.2 Confianza personas que SÍ identifican el archivo WAV


En la pista 2, como podemos ver, el grado de confianza es similar en ambos grupos.


12. Confianza en la elección: Pista 3

12.1 Confianza personas que NO identifican el archivo WAV


12.2 Confianza personas que SÍ identifican el archivo WAV


En la pista 3 se obtienen resultados en lineas similares a los de la pista 2. La cosa está igualada, con una pequeña ventaja para los usuarios que no identifican correctamente el archivo WAV.


13. Confianza en la elección: Pista 4

13.1 Confianza personas que NO identifican el archivo WAV


13.2 Confianza personas que SÍ identifican el archivo WAV


En la pista 4 las tornas se invierten: los usuarios que identifican correctamente la versión WAV lo hacen con mayor confianza (37,5% frente a 25,6%).


14. Confianza en la elección: Pista 5

14.1 Confianza personas que NO identifican el archivo WAV


14.2 Confianza personas que SÍ identifican el archivo WAV


Finalmente, en la pista 5 se repite un resultado similar al evidenciado en la pista 3: porcentajes similares en ambos grupos, con una cierta ventaja para los usuarios que no identifican correctamente el archivo WAV.


Conclusiones personales

Y llegamos por fin al final de este análisis, pero antes de concluir me gustaría agradecer nuevamente a los participantes su colaboración en este estudio informal.

Personalmente extraigo varias conclusiones:

La primera y principal es que el tamaño de la muestra me parece demasiado pequeño como para tomarse esto muy en serio. Mis expectativas iniciales eran, quizás, demasiado altas (cientos de muestras). Esto es especialmente cierto si tenemos en cuenta el reducido número de participantes pertenecientes a determinados colectivos:

• Usuarios que identifican las 5 versiones WAV (4).
• Participantes que se consideran novatos.
• Músicos.
• Usuarios profesionales.
• Usuarios que disponen de salas acondicionadas.
• Usuarios que emplean ecualización.

Esto invalida en gran medida cualquier análisis que pretenda correlacionar la influencia de estas variables entre ellas o con otras de las manejadas por esta prueba.

Por otro lado, me ha sorprendido enormemente que la respuesta colectiva a la hora de determinar qué pistas sonaban mejor ha convergido de un modo claro hacia los archivos WAV (BAAAB), a pesar de que solo 4 usuarios (4,8%) los han identificado correctamente a título individual.

Además, durante el tiempo en que la prueba ha estado abierta he podido comprobar en tiempo real cómo este comportamiento colectivo se iba perfilando y tendía progresivamente hacia esos 5 aciertos. De hecho, la tendencia ha sido muy clara desde los 20 - 30 primeros participantes en el caso de las pistas 1, 4 y 5, no tanto en las número 2 y 3. Especialmente la 3ª pista no ha tendido a su valor final (A) hasta prácticamente los últimos 10 días. Ha sido francamente curioso ver cómo, poco a poco, también en este caso las respuestas iban decantando la balanza por la versión WAV.

Tampoco debemos perder de vista que, aunque 10 participantes (12%), casi todos utilizando auriculares, no han identificado correctamente ninguna de las pistas WAV, esto no debe interpretarse como que han preferido de un modo consistente las versiones OGG, puesto que existía una 3ª respuesta posible (suenan igual). De hecho, tan solo se ha registrado 1 respuesta en la que el usuario ha preferido las 5 versiones OGG. (ABBBA).

Con respecto a las pistas de prueba, los espectrogramas de las versiones codificadas en OGG muestran una (muy sutil en algunos casos) disminución en su densidad espectral en la parte alta, quedando ligeramente desmochados, como se puede ver en estas imágenes. Creo que es innegable que el codec OGG hace un gran trabajo, al menos desde el punto de vista del análisis espectral.

Espectros de las pistas de muestra, versión WAV a la izquierda, OGG a la derecha (archivos para descarga aquí).







Por último, y tras pensar detenidamente en los resultados que arroja esta prueba, me inclino a pensar que sí existen diferencias audibles, hablando en términos absolutos y bajo determinadas condiciones, perceptibles por ciertas personas, entre un archivo WAV y su homólogo codificado en OGG utilizando una compresión con pérdidas.

Ahora bien, creo que es procedente cuestionarse si en condiciones normales de escucha esto resulta relevante o no. Al fin y al cabo nadie se sienta en el sofá a disfrutar de su música preferida en estado de alerta mental permanente, repitiendo una y otra vez determinados fragmentos de cada pieza, para detectar deficiencias en lo que está oyendo. O al menos no debería hacerlo si en algo aprecia su cordura. Las diferencias, de ser significativas, deberían ser evidentes y aflorar per se en lugar de requerir una escucha activa y analítica.

Y me temo que la respuesta a esta pregunta es, en última instancia, personal e intransferible.

[pablopi]

Antonio, no solo me parece bien que repliques aquí el mensaje original sino que te doy las gracias por ello  .


Mi intención ha sido darle la máxima difusión posible para que participen usuarios de todas las comunidades online dedicadas a la alta fidelidad. De entrada lo he publicado en los foros que más frecuento, que son fundamentalmente audioplanet (muy especialmente) y forodvd, a sabiendas de que muchos de los aficionados que participáis en otros espacios también leéis los anteriores.


Aprovecho por tanto tu iniciativa para invitar también a los usuarios de esta casa a que se unan a la prueba. Estoy seguro de que los resultados serán interesantes.

[jazz]

Desde la amistad y la admiración que me une a Pablo creo que hay un factor que no se ha tenido en cuenta y es la calidad del equipo o equipos con que se haga la prueba, por mi parte la voy a hacer, pero de dos maneras, con mi equippo A y mi equipo B, a ver si las conclusiones son las mismas, sobre todo en lo que tiene que ver a lo seguro que esté en la elección de una u otra opción. Me ofreceria mas garantias la misma prueba en la misma sala mismo equipo. En otro caso, sea cual sea el resultado, me parecerá una conclusión más voluntariosa que cientítica. Insisto que es mi opinión y por Pablo tengo un enorme cariño y admiración.

Saludos

[hifiliberator]

Quizás lo mas determinante de todo sea que la muestra resulte ser lo suficientemente amplia. Después, y no por ello menos importante, como se "cocinen" los resultados.

Un ejemplo. Si nos referimos exclusivamente a los porcentajes, el ser humano es incapaz de correr los 100 metros lisos en menos de 9,59 segundos. Se llega a este resultado ya que el 100% de los humanos no lo consigue ni de lejos. Pero hay una anomalía estadística jamaicana, solo una entre 7.470 millones, que demuestra que el ser humano si es capaz de hacerlo.

Por ello entiendo que si hay una desviación estadística, aunque sea pequeña y solamente en uno de los temas propuestos, indicaría que si nos estamos perdiendo algo, aunque la mayoría no sepamos apreciarlo.

Saludos

[jazz]

A todo esto pueda parecer que tengo un oido privilegiado y que creo que hay diferencias enormes. La única prueba que he hecho al respecto hace muchos años me demostró que si la copia a baja resolución (a partir de 192, hasta 192 si percibia diferencias)  estaba bien hecha no percibia diferencia alguna. Teniedo en cuenta que ahora tengo menos oido aunque seguramente mucho más entrenado no tengo ni idea lo que puede salir.

Saludos

[pablopi]

Hola, Jazz / Hifiliberator.

Bueno, de entrada tengo que decir que esto dista mucho de ser un estudio científico. Las condiciones de prueba en casa de cada participante son las que son. Incluso cabe la posibilidad de que alguien analice los archivos para tratar de reconocer cuál es cuál. Hay mil formas de sabotear la prueba ante las cuales yo poco puedo hacer.

Por todo ello mi pretensión es simplemente pasar un buen rato con todo esto comentando los resultados con otros aficionados, ver si podemos llegar a alguna conclusión interesante y afinar el protocolo para futuros experimentos. Y hacerlo todo del modo más transparente posible. Nada más (que no es poco).

Antonio apunta al modo en que se cocinen los resultados, y tiene mucha razón. Os cuento alguna cosa más acerca de cómo será la cocina de este restaurante.

Para recoger las respuestas se ha empleado un formulario de Google Drive. Ahora mismo, y en tiempo real, puedo ir ya viendo cuál es la frecuencia de cada respuesta posible a cada una de las preguntas. Lo cuál ya de entrada está dando información interesante.

Cuando el cuestionario se cierre, todos los datos se volcarán a una hoja de cálculo de Google. Haré una copia de ella y eliminaré los emails dejados por algunos usuarios. Esta copia se publicará (como hoja de cálculo) para que cada cual pueda analizarlos como le plazca.

A partir de ahí, emitiré un informe general en el que se puedan apreciar cosas como el nº de usuarios que han participado, distribución entre hombres y mujeres, nº de respuestas acertadas en promedio, nº de personas que hayan acertado 1, 2, 3, 4 o 5, etc.

La parte que puede arrojar más luz y resultar más reveladora es la que viene después. Si rellenaáis el cuestionario a través de la web comprobaréis que en las páginas 2 y 3 se hacen preguntas "de contorno" tales como:

- Nivel del equipo (alto, medio, bajo).
- Experiencia del usuario.
- Mejoras en el circuito eléctrico.
- Uso de acondicionamiento pasivo.
- Uso de corrección digital / EQ.

Estas variables se cruzarán con los aciertos en la identificación de las pistas (tanto globalmente como pista a pista) para ver si, en el ámbito de este experimento, alguna de ellas tiene una influencia significativa en el resultado.

Soy consciente de que, realmente, de un test como este jamás se podría concluir un rotundo "no hay diferencias". Para ello habría que probar todas las pistas del mundo en todos los equipos. Pero del cruce de variables, efectuado pista a pista, probablemente obtengamos conclusiones, menos generales, pero en cualquier caso valiosas.

[jazz]

Hecha la prueba con mis dos sistemas arrojan un resultado sorprendente, o no: solo coincido en una de las pistas, el resto los resultados son diferentes. Jajajaja. No sirvo de muestra. La haré con el resultado del equipo Stax. Otra variable el Stax es muy musical más que el ifi idsd como ampli.

No obstante me apetece hacer la misma prueba con lamúsica que conozco y sé donde están sus trampas.

Saludos

[pablopi]

Jazz, para el II test de audio digital (16/44 vs 24/96 vs 24/192) te consultaré para que me sugieras pistas  .


Veo que te sigues cuidando con los cacharrines.

[hifiliberator]

Jazz, para el II test de audio digital (16/44 vs 24/96 vs 24/192) te consultaré para que me sugieras pistas  .

Aunque no he realizado muchas comparativas de ese tipo, en el único archivo que si he notado diferencias de calidad, es con el Jazz at the Pawnshop de Arne Domnerus. Hablo de diferencias entre la versión CD y la de 88,2khz. En otros discos, como el Buena Vista Social Club o con Diana Krall, la masterización es diferente. Con los archivos HR, relajan el sonido y le dan mas rango dinámico, con lo que la prueba no es válida.

Lo que nunca he hecho es bajar la resolución a un archivo y escuchar lo que sucede.

Saludos

[hifiliberator]

A todo esto, ¿como vamos?. ¿Se ha llegado ya a las 1000 contribuciones? 

Saludos

[pablopi]

Exactamente vamos por 29 

[pablopi]

Lo que nunca he hecho es bajar la resolución a un archivo y escuchar lo que sucede.

Pues justamente eso haremos.

[jazz]

Jazz, para el II test de audio digital (16/44 vs 24/96 vs 24/192) te consultaré para que me sugieras pistas  .


Veo que te sigues cuidando con los cacharrines.

Sabes que conmigo puedes contar para lo que necesites -)

[jazz]

Hoy he hecho la prueba con las pistas que me conozco de memoria y la diferencia estaba ahí, a veces muy notable. Enhorabuena a quien pueda distinguir la diferencia en pistas que no conoce, mi oido no es un oido educado, sino con buena memoria.

Animaos, a ver si todos los que leis este hilo haceis la prueba, no es un examen 

Saludos