Usability Diplomarbeit

Auf die Frage, wer die Teilnehmer eines Usability Tests sein sollten, gibt es zwei mögliche Antworten. Jakob Nielsen vertritt die Meinung, dass die Testteilnehmer so repräsentativ wie möglich für die intendierte Zielgruppe sein sollten. So ist eine Zielgruppe zu definieren, die bei umfangreichen Tests auch in Untergruppen eingeteilt werden kann.
Steve Krug dagegen vertritt dagegen eine entgegengesetzte Meinung:

“The best-kept secret of usability testing is the extent to which it doesn’t matter who you test.”
Steve Krug

Seines Erachtens wird viel zu viel Zeit damit verbracht, Testpersonen zu rekrutieren, die die Zielgruppe möglichst genau repräsentieren sollen. Für den Test der meisten Webseiten reicht es aus, Personen zu rekrutieren, die ein Internet-Grundwissen aufweisen können. Wichtigster Grund hierfür ist, dass es keine gute Idee ist, nur für eine bestimmte Gruppe von Benutzern die Seiten zu optimieren. Da die Erfahrungen der Nutzer ständig steigen, entwickeln sich viele Benutzer von Anfängern zu erfahrenen Usern. Dies hat zur Folge, dass die Anforderungen an die Seite sich ständig ändern.
Letztendlich ist es eine Kosten- und Aufwandsfrage, ob die anvisierte Zielgruppe getestet wird oder nicht. Ist eine Feststellung der Demografiedaten problemlos oder besteht durch eine frühere Erhebung ein genaues Bild der Nutzer, so sollte auch mit der Zielgruppe getestet werden. Ist dagegen eine Erhebung schwierig oder zu langwierig, so sollte auf eine genaue Auswahl verzichtet werden.
Die nächste Frage bzgl. der Auswahl der Testpersonen ist, wie viele Personen getestet werden sollten. Dabei ist zu bemerken, dass es sich beim Usability Testing nicht um eine qualitative Methode oder gar eine empirische Umfrage handelt. Das Hauptziel ist, wie oben betont, die schwerwiegendsten Probleme eines Interfaces zu identifizieren.
Verschiedene Quellen (wie Krug (2000) und Dumas (2000)) zitieren eine Studie von Nielsen und Landauer, in der herausgefunden wurde, dass mehr als die Hälfte der Probleme einer Webseite mit drei Testpersonen gefunden werden. Mit nicht mehr als fünf Testpersonen erhält man die besten Ergebnisse.
Dabei gehen Nielsen und Landauer von folgender Formel aus:

N(1-(1-L)n)

N stellt die Gesamtsumme der Probleme dar, n ist die Anzahl der User und L ist die proportionale Anzahl der Probleme, die mit Hilfe einer Person gefunden werden. Der typische Wert für L ist 31%, der als Querschnittswert aus vielen durchgeführten Studien ermittelt worden ist. Mit L gleich 31% ergibt sich folgende Kurve:

Abbildung 40: Die Problemfindungskurve von Nielsen und Landauer.
Quelle: Nielsen, Landauer (2000)

Die erste wichtige Annahme ist, dass null User auch null Probleme finden. D.h. jeder Usability Test ist besser als gar keiner. Sobald man mit der ersten Testperson in Kontakt kommt und Daten sammelt, hat man schon ca. ein Drittel der möglichen Probleme ausfindig gemacht.
Die zweite Person wird die meisten Probleme der ersten Person erkennen. Durch die Unterschiedlichkeit der Personen läßt die zweite Testperson neue Erkenntnisse ermitteln, allerdings nicht so viele neue wie die erste.
Der dritte User wird wieder die meisten Probleme finden, die die zwei vor ihm getesteten fanden, er wird aber auch neue erkennen.
Umso mehr User man testet, umso weniger neue Erkenntnisse wird man finden können. Man wird die gleichen Probleme immer und immer wieder sehen und somit eine Bestätigung der schwerwiegendsten Fehler bekommen.
Nach fünf Testpersonen sollten 85 % der Probleme gefunden sein. 15 Personen decken schließlich alle möglichen Usability-Probleme auf. Trotzdem empfiehlt Nielsen nicht mit 15 Personen zu testen, sondern nur mit fünf und mit Hilfe dieser Ergebnisse den Redesign durchzuführen.
Insgesamt sieht Nielsen den Prozess des Redesigns und der Usability Tests als iterativen Prozess.
Nach einem Test wird das Redesign angeregt, danach wird mit der Neuentwicklung ein zweiter und ein dritter Test mit jeweils 5 Usern durchgeführt. Somit können neu auftauchende sowie die letzten 15 % der nicht gefundenen Probleme erkannt werden.
Ausnahmen von dieser 5-Testpersonen-Regel sollten nur gemacht werden, wenn die Benutzergruppe sehr heterogen ist. So sollte bspw. bei einem Spielzeugshop sowohl mit Kindern als auch mit den Eltern Tests durchgeführt werden. Allerdings sind die Beobachtungen bei zwei solch unterschiedlichen Gruppen sehr ähnlich.
Die Gründe liegen hier in der fundamentalen Art und Weise wie Menschen mit dem Web interagieren.
Nachdem das Problem der “richtigen” Testpersonen angesprochen wurde, soll nun die genaue Planung bzw. der Ablauf von Usability Tests erläutert werden.