Heuristische Evaluation bedeutet, dass eine geringe Zahl von Gutachtern eine Benutzerschnittstelle eines Produktes untersucht und die Übereineinstimmung zu anerkannten Usability Prinzipien, den sogenannten Heuristiken, überprüft.

Ein Beispiel für diese Prinzipien stellt die Heuristikenliste von Nielsen aus dem Jahr 1994 dar. Die Erläuterungen, die sich hier auf das Web beziehen, wurden McKenzie entnommen.

• Zeigen des Systemstatus: Der Nutzer sollte immer über den Status des Systems informiert sein: So z.B. auf welcher Webseite der Benutzer sich gerade aufhält.
• Übereinstimmung Welt – System: Die Sprache des Benutzers sprechen. Ist die Zielgruppe vor allem international, sollte die Webseite auf Englisch verfasst sein. Dazu gehört eine adäquater Gebrauch der Fachtermini.
• Kontrolle dem Nutzer überlassen: Webbrowser haben einen Back-Button, um auf die vorherige Seite zurückzukommen. Seiten mit Flash ignorieren so etwas.
• Konsistenz und Standards: Stylesheets garantieren ein konsistentes Erscheinungsbild. Ein Standard ist z.B. der Homebutton.
• Fehlervermeidung: Besser als eine gute Fehlermeldung ist, Fehler ganz zu vermeiden. Beim Ausfüllen von Formularen sollten die Mussfelder markiert sein.
• Erkennung statt Wiedererkennung: Buttons, Links, Logos und Farben sollten immer eindeutig und erkennbar auf jeder Seite stehen, so dass eine Erinnerung unnötig ist.
• Flexibilität und Effizienz: Benutzung sogenannter “Beschleuniger”, die von Neulingen unerkannt bleiben, dem Experten aber ermöglichen schneller mit dem System zu interagieren.
• Ästhetik und minimales Design: Content ist das wichtigste einer Webseite, woraus eine Reduzierung aller ablenkenden Gimmicks folgt.
• Dem User helfen, Fehlermeldungen zu erkennen, zu verstehen und sich von diesen zu erholen. Individualisierte 404-Fehlermeldungen helfen dem User sich neu zu organisieren.
• Hilfe und Dokumentation: kleinere Webprojekte sollten ohne Hilfe-Seite auskommen.

Die obige Liste stellt nur eine von vielen Vorschlägen dar, die inzwischen gemacht worden sind. Entsprechend der jeweiligen Situation lassen sich diese Heuristiken erweitern und abändern.

Die Durchführung erfolgt folgendermaßen: Jeder einzelne Gutachter prüft für sich alleine. Die Prüfer vergleichen die einzelnen Ergebnisse erst, wenn alle Untersuchungen abgeschlossen sind. Die Prüfungen dauern je nach Umfang ein bis zwei Stunden.

Ebenso wie sich beim Usability Testing die Frage ergibt, wie viele Testpersonen in die Tests einzubeziehen sind, stellt sich hier die Frage, wie viele Prüfer eine Inspektion durchführen sollen. Experten sind grundsätzlich effektiver als Laien, allerdings gilt auch hier, dass jeder zusätzliche Prüfer eine Verbesserung bringt. Die Verbesserungsrate sinkt aber auch hier mit der Zahl der Prüfer.

Nielsen und Molich kommen unter Bezugnahme von sechs Studien zu dem Ergebnis, dass jeder einzelne Prüfer ca. 35 % aller Usability Probleme finden sollte. Folgende Kurve zeigt die einzelnen Erkennungsraten. Daraus resultiert seine Empfehlung, drei bis fünf Gutachter einzusetzen, die ca. 60 bis 70 % der Probleme finden sollten. Erinnern wir uns an Kap 7.2., Abb. 40, so kommen fünf Testpersonen auf 85 % der Fehler.

Um nicht zu sehr ins Detail zu verfallen, soll auf einen Vergleich der zwei Kurven verzichtet werden, dieser ist bei Nielsen (1994b), S. 43ff nachzulesen.

Abbildung 41: Die Erkennungsratenkurven der Heuristischen Evaluation.Quelle: Nielsen (1994b), S. 33.

Die zweite wichtige Usability Inspection Methode ist der Cognitive Walkthrough.

Der Cognitive Walkthrough (im folgenden CW) ist eine Usability Inspection Methode, bei dem ein Gutachter einen simulierten Weg eines Benutzers durch eine Benutzerschnittstelle durchläuft.

Der CW soll korrekte Handlungsabläufe analysieren und fragen, ob dieser Ablauf tatsächlich von den Benutzern gefolgt wird. Im Unterschied zu den meisten anderen Methoden konzentriert sich der CW nicht direkt auf das Interface, sondern eher auf die mentalen Prozesse eines möglichen Users. Angenommen wird hier, dass ein erfolgreiches Produkt mit den mentalen Fähigkeiten eines Benutzers übereinstimmen muss.

Betont wird bei dieser Methode vor allem der Aspekt der leichten Erlernbarkeit eines Produktes. Durch den Vorgang der Exploration soll eine Erleichterung des Lernprozesses unterstellt werden. Deshalb liegt ein Schwerpunkt der Analyse bei der Frage, in welchem Ausmaß ein Produkt explorierendes Lernen unterstützt.

Die Durchführung des CW besteht meist aus vier Schritten:
Erstens sollte die Definition des Inputs erfolgen. Dies umfasst Vorarbeiten und Vorüberlegungen zu den Benutzercharakteristiken (Wer wird das System benutzen?), den Beispielaufgaben, den Handlungssequenzen (Welche Folge von Aktionen ist für jede Aufgabe auszuführen?) und einer Beschreibung des Interfaces.

Im zweiten Schritt beginnt der eigentliche CW. Der Prüfer arbeitet sich durch die einzelnen Handlungsschritte des korrekten Lösungsweges. Aus diesen Überlegungen soll geschlossen werden, ob der Benutzer das Aufgabenszenario korrekt bearbeiten kann.

Der dritte Schritt besteht in der Protokollierung von kritischen Informationen. Im letzten Schritt sollte dann eine Revision des Interfaces stattfinden um Lösungsalternativen für die aufgetretenen Probleme zu finden.

Zweck des CW ist es, dem Designer zu vermitteln wo und warum das Design Schwierigkeiten bereiten wird. Die Ergebnisse sollen dazu dienen, durch Produktänderungen gezielt auf die erkannten Schwachstellen einzuwirken.

Im Gegensatz zum Usability Testing benötigt man bei dieser Methode keinen fertigen Prototyp, sondern sie kann in einer sehr frühen Produktphase angewendet werden. Allerdings werden beim CW weniger Probleme identifiziert als beim Testing, was die Entwickler des CW dem komplexen Zusammenspiel von Design, Benutzerwissen, Aufgabendetails und Zufallseinflüssen zuschreiben.

Nun sollen die wichtigsten Methoden des Usability Testing, allen voran die Thinking Aloud Methode, erläutert werden.

7.4.2.1 Thinking Aloud Methode (TAM)
7.4.2.2 Observation
7.4.2.3 Interviews und Fragebögen
7.4.2.4 Focus Groups
7.4.2.5 Eye Tracking

Ursprünglich kommt diese Methode aus der traditionellen psychologischen Forschung und wird zunehmend zur Evaluation von Benutzer-Interfaces verwendet.

Die Grundvoraussetzung dieser Aufgabe ist die Testperson zu ermutigen, laut zu denken, während diese eine Testaufgabe durchführt. Sämtliche Gedanken, Eindrücke und Emotionen sollen wiedergegeben werden. Dadurch ist es möglich zu verstehen, wie die Testperson über das Computersystem oder die Webseite denkt. Dies macht die Identifikation der falschen Vorstellungen der User besonders einfach. Der Moderator kann direkte Rückschlüsse ziehen, was und warum an dem jeweiligem Interface die meisten Probleme verursacht. Der Moderator erhält also direkten Zugang zum mentalen Denkmodell des Probanten.

Diese Methode sollte angewendet werden, wenn die Gedankengänge der User besonders wichtig erscheinen. Dabei ist es wichtig die Aussagen nicht einfach hinzunehmen, sondern auch zu beobachten, was die Testperson tut. Dies ist wiederum eine der Stärken dieser Methode: Die User zeigen, was sie am Bildschirm tun, wie sie es tun und sagen warum sie es tun. Falsch wäre es zum Beispiel einer Gruppe von Testpersonen alternative Designvorschläge zu zeigen und dann zu fragen, welches dieser Designs sie vorziehen würden. Wenn die Personen es nicht ausprobieren können, basieren die Aussagen nur auf Oberflächlichkeiten.

Des weiteren ist es möglich, nur mit einer kleinen Anzahl von Testpersonen hochwertige Ergebnisse zu erzielen. Wie im Teil 7.2. angesprochen, reichen fünf bis sechs User aus, die meisten Probleme ausfindig zu machen. Dies liegt hier in der Methode, da die Kommentare der Testpersonen meist lebhafte und explizite Zitate darstellen. Diese Kommentare können genutzt werden, um den Testbericht lesbarer und denkwürdiger zu formulieren.

Allerdings erscheint vielen Personen diese Methode als unnatürlich, da sie während der Bewältigung einer Aufgabe nicht sprechen. Dies macht die Durchführung einer Aufgabe nicht nur schwieriger, sondern kann auch die Testergebnisse verfälschen. Zunächst kann es dazu führen, dass die Personen die Aufgaben langsamer als gewöhnlich erfüllen. Dies kann die Testergebnisse, speziell wenn die Zeiten gemessen werden, weniger repräsentativ erscheinen lassen.

Wichtig allerdings ist hier, dass die Probanten immer wieder vergessen laut zu denken, so dass der Moderator Fragen stellen muss. “Was denken Sie gerade?” oder “Was meinen Sie, bedeutet diese Meldung?” sind solche typischen Erinnerungsfragen.

Deshalb erscheint es nötig, in der Einführung möglichst oft zu erwähnen, dass die Person laut zu denken hat.
Dagegen sollte der Moderator bei Fragen der Testperson wie “Kann ich das oder das machen?” mit einer Gegenfrage in der Form “Was denken Sie, passiert, wenn Sie das oder das machen?” antworten. Falls die Testperson nach einer Aktion nichts sagt, kann der Moderator fragen “War es das, was Sie erwartet haben?”.

Natürlich sollte der Moderator die Testperson nicht beeinflussen, indem er zu etwas eine Frage stellt, was der Benutzer evtl. noch gar nicht bemerkt hat.
Für den Moderator erscheint schwierig, gleichzeitig darauf zu achten was der Proband sagt und was er tut. Zur Dokumentation notiert der Moderator sich die wichtigsten Aussagen und Ereignisse. Zusätzlich kann die gesamte Session mit einer Videokamera aufgenommen werden. Dies ist vor allem nötig, wenn Überredungsarbeit gegenüber den Entwicklern von Nöten ist. Andererseits kann sich der Moderator in Sicherheit wiegen und später kritische Stellen nochmals anschauen.

Jakob Nielsen empfiehlt innerhalb seines Ansatzes Discount Usability Engineering eine vereinfachte Form der TAM.
Im Folgenden soll noch kurz auf weitere Usability-Testing-Methoden eingegangen werden, die ebenfalls mit potentiellen Benutzern zu tun haben.

Die Beobachtung eines Nutzers am Arbeitsplatz ist eine extrem wichtige, aber auch die einfachste Form eines Usability Tests. Dabei sollte der Beobachter so ruhig wie möglich sein, um möglichst valide Einsichten zu bekommen, wie der Nutzer in der täglichen Arbeit mit dem System umgeht.

Ein besonderer Vorteil liegt darin, den Benutzer dabei zu beobachten eigene Aufgaben zu vollziehen, die in einer laborähnlichen Situation kaum getestet werden könnte, da das Interface in einer unerwarteten Art benutzt wird.

Neben der Verhaltensbeobachtung gilt die Befragung als zweite mögliche Testmethode. Aus einer Usability-Perspektive sind Fragebögen und Interviews indirekte Methoden, da nicht das Interface selbst getestet, sondern die Meinungen der Nutzer festgehalten werden.

Viele Usability-Aspekte können durch einfaches Fragen studiert werden. Dies ist besonders wichtig, wenn es um die subjektiven Meinungen der Benutzer geht. Denn gerade die Einstellungen, die Zufriedenheit und mögliche Ängste sind schwer zu messen.

In Interviews werden mit Einzelpersonen verschiedene Aspekte der Testanwendung anhand eines vorab definierten Fragekatalogs besprochen. Die Ergebnisse hängen allerdings sehr von den Moderationsqualitäten des Interviews und dem Informationsgehalt der Fragen ab.

Grundsätzlich sollten Interviews und Fragebögen nur ergänzend zu anderen Methoden, z.B. der Thinking Aloud Methode, eingesetzt werden. Somit kann das Spektrum der Aufgabenstellung erweitert werden und zusätzliche Information abgefragt werden.

Fokus Groups sind Diskussionen, bei denen sechs bis neun Benutzer unter Aufsicht eines Moderators vorher fest gelegte Aspekte eines Produktes diskutieren. Der Moderator hält sich an ein Skript mit den wichtigsten Diskussionspunkten, ist allerdings auch darauf vorbereitet, neue Ideen und spontane Konzepte durch die Interaktion mit den Teilnehmer entgegenzunehmen.

Diese Diskussionen finden meist in einer sehr frühen Produktphase statt, wobei Erwartungen und Wünsche der Nutzer an erster Stelle stehen. Ebenso können Screenshots oder Skizzen gezeigt werden, um einen ersten Eindruck der Oberfläche zu gewährleisten und somit weiteres Feedback zu bekommen. Somit kann der Nutzer bereits im Design-Prozess seinen Beitrag zur Entwicklung leisten.

Mit Hilfe von Blickverlaufsaufzeichnungen kann der Verlauf der visuellen Wahrnehmung des Menschen gemessen werden. Blickbewegungen des Auges setzen sich im Wesentlichen aus Fixationen, dem kurzzeitigen Verweilen des Blickes auf einem Punkt, sowie aus Saccaden, den extrem schnellen Sprüngen zwischen den Fixationen zusammen.

Es kann davon ausgegangen werden, dass Informationen hauptsächlich bei ruhendem Blick aufgenommen werden, weshalb auch diese Fixationen bei Werbemitteltests die entscheidende Meßgröße sind.

In der Werbewirkungsforschung werden zwei unterschiedliche Verfahren eingesetzt. Durch apparative Messung physiologischer Vorgänge im Auge werden relativ genaue Blickverläufe aufgezeichnet. Am Kopf angebrachte Messinstrumente beleuchten das Auge mit unsichtbarem Infrarotlicht und somit wird der Blickverlauf durch Reflexion berechnet. Die zweite Möglichkeit besteht in einer berührungslosen Aufzeichnung, bei der eine infrarotempfindliche Kamera auf dem Monitor das Auge des Probanten erfasst.

Eye-Tracking benötigt eine teure Ausrüstung, weshalb auch empfohlen wird, auf vorhandene Labors zurückzugreifen. Generell sollte diese Methode nur benutzt werden, wenn besonders wichtig ist, wo eine Person während eines Tests hinschaut. Allerdings können die gewonnenen Erkenntnisse kostengünstiger mit anderen Methoden ermittelt werden.
Die bekannteste Studie dieser Art führte das amerikanische Poynter Institut durch, bei dem die Art und Weise des Lesens im Internet festgestellt worden ist. Somit wurde die Tatsache, dass die Benutzer des Webs die Texte scannen und nicht lesen, bewiesen. Nielsen griff diese Ergebnisse auf und führte eigene Usability Studien durch, die zum gleichen Ergebnis kamen.

In diesem Kapitel sollten die Methoden der Usability Evaluation erläutert werden. Die Auswahl und Identifizierung der Zielgruppen stellt das erste Problem dar.

Hier gibt es zwei bekannte Ansätze: Entweder man testet genau mit der anvisierten Zielgruppe oder sucht sich beliebige Testuser, die somit von der Zielgruppe abweichen. Die zur Verfügung stehenden finanziellen Mittel sowie der Zeitaspekt helfen hier bei der Entscheidung. Eine genaue Auswahl der Zielgruppe ist erheblich teurer und zeitaufwendiger als eine Auswahl, die auf den Aspekt der Zieluser keinen Wert legt. Des Weiteren stellt sich die Frage, mit wie vielen Testpersonen die Tests durchgeführt werden sollen. Hier hat sich ein Wert zwischen drei und sechs Personen standardisiert.

Obwohl sich die Durchführungen der einzelnen Methoden unterscheiden, lassen sich Usability Tests in drei grundlegenden Phasen einteilen: In der Planungsphase sollen die Ziele, Methoden und Aufgabenstellungen identifiziert werden. Der eigentliche Test stellt den wichtigsten Teil dar. In der abschließenden Auswertungsphase werden die Erkenntnisse in einem Ergebnisreport protokolliert und Handlungsempfehlungen ausgesprochen.
Im Abschnitt 7.4. wurde zwischen Usability Inspection (UI) und Usability Testing (UT) unterschieden. Die hauptsächlichen Unterschiede liegen darin, dass beim UI Gutachter mit Expertenwissen eine Oberfläche daraufhin testen, ob diese mit vorher definierten Guidelines übereinstimmen. Beim UT werden Testpersonen beobachtet, wie diese mit einer Oberfläche arbeiten. Mit diesen Erkenntnissen wird daraufhin das System verbessert.

Ein möglicher Methodenvergleich erscheint schwierig. Ein solcher Vergleich könnte die Frage beantworten wann und für welchen Zweck welche Methode verwendet werden sollte. Bei Schulz findet man eine Übersicht, die die wichtigsten Vor- und Nachteile sowie weitere Aspekte aufzeigt. Allerdings soll in diesem Rahmen nicht weiter darauf eingegangen werden.
Interessant erscheint eine Kombination verschiedener Methoden. Dabei kann man davon ausgehen, dass nur eine Kombination von UI und UT ein einigermaßen komplettes Bild der Gebrauchstauglichkeit einer Software oder Webseite liefert.

Es wird nicht empfohlen, Methoden der UI an Stelle von UT durchzuführen, sondern immer miteinander zu kombinieren. Des Weiteren müssen indirekte UT wie Fragebögen oder Interviews durch direkte UT wie TAM oder Observation ergänzt werden. Einen diesbezüglich tiefer gehenden Einblick findet man bei oben zitierten Heather W. Desurvire.