Un amplificador, como bien dice la palabra "amplifica" pero dependiendo de su arquitectura interna lo hará de una u otra manera, no todos los amplificadores, a no ser que sean exactamente iguales, tratan la señal de la misma manera.
Si no no habría amplificadores, clase A, D, A/B...
Los auriculares así mismo se pueden comportar de manera diferente en su respuesta dependiendo de parámetros como la potencia, el voltaje y la impedancia de salida del amplificador.
Realmente con esos amplificadores básicos no se pueden mover bien auriculares grandes, para los cuales es necesario algo de más potencia y calidad.
Entre los amplis portátiles buenos destacaría el Headstage Arrow o el Portaphile Micro, esos son 2 de los mejores que he podido probar entre otros. Ahí las diferencias frente un FiiO E6, utilizando la salida "line out" adecuada, no vale la salida de auriculares de un teléfono móvil, son bastante grandes.
Como creo que tu idea es utilizarlo con el teléfono, lo mejor es que optes a por un DAC/Ampli, combo todo en uno. Sacando la señal digital mediante USB OTG.
Un saludo.