Hace algún tiempo que tenía previsto escribir sobre dos técnicas de evaluación de usabilidad: la “evaluación heurística” (heuristic evaluation) y el “recorrido cognitivo” (cognitive walkthrough). Sin embargo, Jeff Sauro se me ha adelantado y lo ha hecho en su muy recomendable artículo What’s the difference between a Heuristic Evaluation and a Cognitive Walkthrough?
Haciendo un resumen muy breve, ambos métodos son realizados por expertos, sin la intervención de usuarios, y están orientados a encontrar problemas de usabilidad; en la evaluación heurística el experto se basa en una serie de principios y buenas prácticas (las heurísticas) mientras que en el recorrido cognitivo el experto detecta los problemas a medida que hace una simulación de la ejecución de las tareas como si fuera un usuario.
En la práctica creo que el recorrido cognitivo tiene importantes ventajas:
- está basado y obliga a definir las tareas más importantes de la aplicación;
- la situación del experto suele ser similar a la del usuario enfrentándose a la interfaz.
Eso hace que los problemas detectados sean habitualmente problemas realmente relevantes. En cambio, en una evaluación heurística, al estar basada de hecho en un checklist, puede que no se siga el mismo flujo de interacción que el usuario (el comportamiento del experto es menos real), y se corre el riesgo de reportar problemas menores y pasar por alto los realmente importantes.
De manera similar a Jeff Sauro, creo que los principios heurísticos pueden complementar al recorrido cognitivo para detectar problemas adicionales después de haber realizado el recorrido, y también para clasificar los problemas detectados.
Evaluación heurística, ¿técnica objetiva?
¿Por qué entonces es mucho más popular la evaluación heurística que el recorrido cognitivo como técnica de usabilidad? Quizás porque está basada, al menos en teoría, en unos principios generales y objetivos, lo que debería reducir la subjetividad de la técnica. Sin embargo, en la práctica esos principios generales no suelen funcionar, y el resultado de cualquier técnica de revisión de usabilidad (incluida la evaluación heurística) va a depender en gran medida de la pericia y conocimientos del experto evaluador.
De hecho, tengo la impresión de que muchos expertos y empresas que, por costumbre o imitación, afirman realizar evaluaciones heurísticas, llevan a cabo realmente recorridos cognitivos. Quizás una de las primeras cosas que debiéramos hacer para mejorar la popularidad de los recorridos cognitivos como técnica de usabilidad debiera ser encontrarle un nombre que “venda más”.
No estoy de acuerdo, la situación del experto nunca es la de un usuario, como se ve a menudo en los test de usuario. Por otra parte de la pericia y el conocimiento del experto dependerán tanto la evaluación heuristica como el recorrido cognitivo. Tampoco estoy para nada de acuerdo en que los principios generales “no suelen funcionar”, mi experiencia me dice lo contrario.
En lo q sí estoy de acuerdo es q a menudo las revisiones de usabilidad q se realizan son una mezcla de evaluación heurística y recorrido cognitivo.
Sí q es interesante el recorrido plural en el q participan usuarios, expertos y desarrolladores.
Olga,
está claro que la situación del experto nunca es exactamente la del usuario; pero mientras en un recorrido cognitivo quien guía la evaluación es la secuencia de la tarea, en una evaluación heurística quien lo hace es el checklist. Parece claro que la primera situación es mucho más cercana al uso real del usuario.
Lo de que los principios generales de diseño no funcionan no lo digo yo, sino Jared Spool (http://jordisan.net/blog/2011/diseno-las-guias-de-estilo-no-sirven). Y estoy bastante de acuerdo con él: a mí me parece que se usan más para justificar decisiones a posteriori, que para guiar un proceso de diseño.
Si lo que quieres evaluar son tareas entonces te dará mucha más información un test de usuarios.
Decir que los principios generales en los que se fundamentan las evaluaciones heurísticas no funcionan, en fin,frente a Jared Spool prefiero a los grandes de la UX q opinan lo contrario.
Yo recomiendo la evaluación heuristica con el sistema Sirius para detectar los problemas generales del sitio y el test con usuarios posterior para evaluar tareas concretas.
Que los tests de usuarios son más efectivos es algo que parece claro; la comparación es entre técnicas de evaluación por parte de expertos (sin intervención de usuarios).
Hola,
No cabe duda de que cualquier test realizado por experto siempre podrá estar algo viciado si se compara con un test directo con usuarios. Sin embargo creo que cada uno hace un aporte diferente.
En realidad decir que los principios generales “no suelen funcionar” es una afirmación bastante fuerte. Pues precisamente hay muchos aspectos de la usabilidad que han sido modelados a partir de estándares de facto y que funcionan en la mayoría de los casos.
Yo creo que todos estamos de acuerdo en que un análisis heurístico va más allá de un checklist y como ya lo decía olga, los buenos análisis generalmente también conllevan a unrecorrido cognitivo. Lo que es interesante de una revisión de experto sea cual sea, es la facilidad que tiene éste para identificar y hacer explícito el problema de usabilidad. Yo creo que a los estándares de facto y recomendaciones generales debemos mucho, pues nos han brindado herramientas para conceptualizar los problemas de diseño y expresarlos claramente.
Gracias por el artículo, aprendí que después de todo lo que hago en muchas evaluaciones tiene nombre y es “recorrido cognitivo”. Saludos
Hola,
No cabe duda, cualquier test realizado por experto siempre podrá estar algo viciado si se compara con un test directo con usuarios. Sin embargo creo que cada tipo de test hace un aporte diferente.
En realidad decir que los principios generales “no suelen funcionar” es una afirmación bastante fuerte. Pues precisamente hay muchos aspectos de la usabilidad que han sido modelados a partir de estándares de facto y que funcionan en la mayoría de los casos.
Yo creo que todos estamos de acuerdo en que un análisis heurístico va más allá de un checklist y —como ya lo decía olga— los buenos análisis generalmente también conllevan a un recorrido cognitivo. Lo que es interesante de una revisión de experto, sea cual sea, es la facilidad que tiene el experto para identificar y hacer explícito el problema de usabilidad. Yo creo que debemos mucho a los estándares de facto y recomendaciones pues nos han brindado herramientas para conceptualizar los problemas de diseño y expresarlos con claridad, en un lenguaje generalmente común entre los profesionales de la materia.
Gracias por el artículo, aprendí que después de todo, lo que hago en muchas evaluaciones tiene nombre y es “recorrido cognitivo”. Saludos
Puede que los recorridos cognitivos busquen realizar simulaciones que acerquen lo más posible a las situaciones que los usuarios encuentran, pero los conocimientos del experto influyen en gran medida.
Si las evaluaciones heurísticas, que dependen de un conjunto de mejores prácticas ya formadas y establecidas con base científica pueden depender tanto como dices de la habilidad del experto, porqué iba a ser mejor con un recorrido cognitivo?
El problema que presentan los recorridos cognitivos es que permiten al experto realizar suposiciones, lo que puede llevar a que ignore muchos detalles y variables que un usuario normal no pasaría por alto.
Quizás es que, en el fondo, las evaluaciones heurísticas “puras” no existen, o no tienen mucho sentido.
El peligro que yo les veo es que puede parecer que, para hacer una evaluación, basta con tener el checklist; algo así es lo que piden las empresas con menos experiencia: una lista de lo que tienen que cumplir sus interfaces para ser usables.
Por eso habría que dejar claro que los checklists son sólo una referencia, y que para hacer una evaluación efectiva es necesario conocer los perfiles de usuario y las tareas que realizan.
Si resulta que al final acabamos haciendo algo más parecido a un recorrido cognitivo, por algo será.
Al final creo que todos estamos de acuerdo en lo importante: no dejan de ser técnicas que ayudan al experto a evaluar un sitio para emitir un informe, y que depende de los conocimientos y de la experiencia de dicho profesional para que sepa llevarlas a cabo correctamente e interpretar los resultados para que tengan algún valor.
Hola,
Ambas son correctas. En mi caso aplico ambas, en primer lugar la “Cognitiva” realizada por mi y por otros usuarios (que estén involucrados y entiendan algo de usabilidad, y por usuarios lo mas finales posibles, inexpertos quizás). Y la Heuristica suelo aplicarla luego, de manera mas detallada con los checklist.
La combinación de ambas me sirven para disparar nuevas tareas para los Sprints siguientes, y la experiencia me permite decir que ambas me brindan experiencia y problemas diferentes.
Gracias por el post, y la mejor forma de aprender y crecer en esto, es compartiendo conocimiento y discutir.
Gracias