Combien de testeurs pour un test utilisateur ? La règle des 5

Combien de testeurs pour un test utilisateur ? C'est la première question que posent les équipes qui préparent un test, et c'est celle à laquelle on répond le plus mal, parce qu'on y répond avec un chiffre. Le bon nombre de testeurs dépend de ce que vous voulez apprendre. Une fois la question posée correctement, le chiffre vient tout seul.

Combien de testeurs selon la question posée : trois cas

« Où est-ce que ça coince ? » : un test qualitatif

Vous cherchez à découvrir les frictions d'un parcours : les endroits où les gens hésitent, se trompent, abandonnent ou comprennent autre chose que ce que vous vouliez dire. C'est le cas le plus fréquent, et c'est celui où l'on a besoin de moins de monde qu'on ne le croit.

La règle des « cinq utilisateurs » vient d'un modèle publié par Jakob Nielsen et Thomas Landauer en 1993 : sur les projets qu'ils ont étudiés, un participant révèle en moyenne 31 % des problèmes d'utilisabilité, et chaque participant supplémentaire en découvre de moins en moins de nouveaux. Robert Virzi avait observé la même chose en 1992 : 80 % des problèmes trouvés avec quatre ou cinq participants. Nielsen en a tiré en 2000 la règle que tout le monde cite : cinq personnes suffisent pour trouver la plupart des problèmes d'un parcours donné, pour un public homogène.

Dans la pratique d'un test à distance, nous recommandons plutôt huit à douze participants, pour trois raisons :

• À distance, il y a de la perte. Sans animateur, il y a toujours des réponses inutilisables, trop courtes ou hors sujet, qui sont écartées à la relecture. Il faut de la marge pour que le panel final reste solide.
• Votre cible n'est presque jamais homogène. Si votre produit s'adresse à des gérants de TPE et à des freelances, à des gens à l'aise avec le numérique et à d'autres qui ne le sont pas, chaque sous-groupe doit compter au moins trois ou quatre personnes pour qu'un problème observé ne soit pas un cas isolé. Laura Faulkner l'a mesuré en 2003 : des groupes de cinq tirés au hasard parmi soixante participants trouvaient entre 55 % et 99 % des problèmes selon les personnes du groupe. Avec dix, aucun groupe ne descendait sous 80 %.
• Un chiffre par scénario devient lisible. « 9 sur 12 ont envoyé le devis » se comprend immédiatement. « 3 sur 4 » laisse un doute.

Au-delà de quinze, le rendement chute : vous relisez deux fois plus de réponses pour apprendre à peine plus. Si vous avez le budget pour trente testeurs, faites plutôt deux tests de douze à un mois d'intervalle, avant et après vos correctifs.

« Quelle version est la meilleure ? » : une comparaison

Vous hésitez entre deux parcours, deux formulations, deux structures de page. Ici, chaque participant ne voit qu'une version, ou voit les deux dans un ordre alterné. Il faut donc au minimum doubler le panel, soit une vingtaine de participants pour une comparaison à deux branches, et davantage si les différences attendues sont subtiles.

Avant de lancer ce type de test, posez-vous une question honnête : la différence entre les deux versions est-elle assez grande pour qu'un test qualitatif la détecte ? Si vous comparez deux nuances d'un même bouton, la réponse est non, et un test A/B en production sur du trafic réel fera mieux, moins cher.

« Quel pourcentage de nos utilisateurs réussit ? » : une mesure

Vous voulez un chiffre fiable, avec une marge d'erreur, pour le présenter à un comité ou le suivre dans le temps. C'est de la mesure quantitative, et ses règles sont celles des statistiques : à trente participants, une proportion observée autour de 50 % reste entourée d'une marge d'erreur de quinze à vingt points. Pour descendre sous cinq points, il faut plusieurs centaines de réponses. Le calcul est détaillé dans « Quantifying the User Experience » de Jeff Sauro et James Lewis.

Un test utilisateur à distance, avec recrutement à la main et relecture humaine, n'est pas l'outil adapté pour ça. Les analytics de votre produit le sont. Le test utilisateur vous dit pourquoi le chiffre est ce qu'il est ; les analytics vous disent combien.

Les questions à se poser avant de fixer le chiffre

• Combien de segments distincts dans ma cible ? Comptez trois à quatre personnes par segment que vous voulez vraiment observer.
• Combien de scénarios ? Au-delà de quatre ou cinq scénarios, la fatigue dégrade les réponses de fin de test. Mieux vaut deux vagues plus courtes qu'une longue.
• Est-ce une première version ou un produit mature ? Sur une première version, les problèmes sont gros et visibles : huit personnes les trouveront. Sur un produit déjà poli, les frictions restantes sont plus fines et plus dispersées : allez vers douze.
• Quelle est ma capacité de relecture ? Chaque testeur supplémentaire, c'est autant de réponses à lire sérieusement. Un panel qu'on n'a pas le temps de relire ne vaut rien.

Ce qui compte plus que le nombre

Le nombre de participants est la variable la plus visible et la moins déterminante. Trois choses pèsent davantage :

1. La qualité du recrutement. Dix personnes qui ressemblent à vos clients valent mieux que trente volontaires tirés d'un panel généraliste. Le métier, la situation et l'équipement réel font la différence, pas l'effectif.
2. La qualité des scénarios. Un scénario qui guide la réponse ne produit rien, quel que soit le panel.
3. La discipline de relecture. Écarter les réponses insuffisantes et ne garder que les participations complètes est ce qui donne du sens au « 9 sur 12 ». Un chiffre qui compte tout le monde, y compris ceux qui n'ont pas fini, ne veut rien dire.

C'est pour cette raison que les missions earlypanel sont dimensionnées selon le format, cinq à dix testeurs sur une maquette, huit à quinze sur un funnel, dix à vingt avant un lancement, tous choisis à la main, avec une relecture de chaque réponse avant qu'elle n'entre dans le rapport. Pour savoir quel format convient à votre cas, décrivez-le sur la page entreprises.

Sources

• Jakob Nielsen et Thomas K. Landauer, « A mathematical model of the finding of usability problems », CHI 1993 : dl.acm.org
• Robert A. Virzi, « Refining the Test Phase of Usability Evaluation: How Many Subjects Is Enough? », Human Factors, 1992 : journals.sagepub.com
• Jakob Nielsen, « Why You Only Need to Test with 5 Users », Nielsen Norman Group, 2000 : nngroup.com
• Laura Faulkner, « Beyond the five-user assumption: Benefits of increased sample sizes in usability testing », Behavior Research Methods, Instruments, & Computers, 2003 : link.springer.com
• Jeff Sauro et James R. Lewis, « Quantifying the User Experience: Practical Statistics for User Research », 2e édition, 2016 : measuringu.com

Questions fréquentes

Combien de testeurs pour un test utilisateur qualitatif ?

Huit à douze participants proches de la cible. Cinq suffisent en théorie pour un public homogène, mais à distance il faut de la marge pour les réponses inutilisables et pour couvrir plusieurs sous-groupes.

Pourquoi pas trente testeurs ?

Au-delà de quinze, chaque participant supplémentaire apporte peu de problèmes nouveaux et double le temps de relecture. Avec le budget de trente testeurs, deux tests de douze à un mois d'intervalle, avant et après correctifs, apprennent davantage.

Cinq testeurs suffisent-ils vraiment ?

Pour un parcours donné et un public homogène, cinq participants révèlent la majorité des problèmes d'utilisabilité, selon l'observation popularisée par le Nielsen Norman Group. Dès que la cible mélange plusieurs profils, chaque profil a besoin de ses trois ou quatre participants.

Un test utilisateur peut-il donner un taux de conversion ?

Non. « 9 sur 12 ont réussi » décrit un panel, pas une base d'utilisateurs, et n'a pas de marge d'erreur exploitable. Le test utilisateur explique pourquoi un chiffre est ce qu'il est ; les analytics ou un A/B test mesurent combien.