Das Design- und Entwickler-Team war völlig aufgedreht – was unter folgendem Gesichtspunkt eigentlich ziemlich unverständlich war: In den letzten beiden Tagen hatte man einen ganzen Sack voll schlechter Nachrichten über ihnen ausgeschüttet mit dem Resultat, dass große Teile ihrer Anwendung noch einmal grundsätzlich überdacht werden müssen.
Überraschenderweise waren die Leute trotz der schlechten Neuigkeiten nicht niedergeschlagen. Zwar hatten ihnen acht glänzende User-Test-Teilnehmer gerade gründlich die Leviten gelesen und auf jede Menge kritische Punkte hingewiesen, doch das Team war voller Tatendrang und bereit, die Herausforderung anzunehmen.
Der User-Test ist die Königsdisziplin der Usability-Forschung. Richtig angewendet eröffnet er erstaunliche Einblicke. Wird ein User-Test jedoch schlecht durchgeführt, kann das ganze Vorhaben auch zu einem Desaster für alle Beteiligten werden. Ein wichtiger Schlüssel zum Erfolg ist die gute Arbeit des Moderators.
Gute Moderatoren fallen nicht vom Himmel, sie entwickeln sich
Ein guter Moderator hat viel mit dem Dirigenten eines Orchesters gemein. Beide sorgen dafür, dass die Teilnehmer sich wohlfühlen und keinen Stress haben. Sie verstehen es, die Leute vergessen zu lassen, dass sie sich mit fremden Personen in einer fremden Umgebung befinden und dass man alles, was sie tun, ganz genau beobachtet. Und sie stellen mit viel Gespür und Geduld sicher, dass jeder Aspekt der Nutzererfahrungen analysiert wird.
Wie wird man ein guter Moderator? Ganz einfach – durch Erfahrung. Die Fähigkeit, User-Tests gelingen zu lassen, wird immer besser, je öfter man sie praktiziert. Dahinter stecken einige eigentlich ganz simple Tricks und Techniken. Wer diese einmal erlernt hat und weiß, wie sie angewendet werden, ist auf dem besten Weg.
Eine wichtige Voraussetzung besteht darin, dass man die drei Parteien im Griff hat, die bei User-Tests von Bedeutung sind: die Probanden, die Beobachter und das Projekt-Team, das für die Anwendung verantwortlich ist. Dazu muss der Moderator drei Persönlichkeiten in sich vereinen: den Flugbegleiter, den Sportreporter und den Wissenschaftler.
Persönlichkeit #1: Der Flugbegleiter
Die Teilnahme an einem User-Test kann eine ziemlich stressige Angelegenheit sein. Sie kommen in ein unbekanntes Gebäude. Fremde Personen schauen Ihnen über die Schulter und beobachten jede Ihrer Aktionen oder – noch schlimmer – Sie sitzen vor einem riesigen Wandspiegel, hinter dem sich wer weiß was für verrückte Dinge tun. Außerdem sprechen alle dauernd von einem „Test“ und Sie haben das Gefühl, eine Top-Leistung abliefern zu müssen.
Wenn der Moderator in die Rolle des Flugbegleiters schlüpft, ist ihm am Wohlbefinden und an der Sicherheit der Probanden gelegen. Von dem Moment an, in dem die Teilnehmer den Raum betreten, sorgt der Moderator dafür, dass sie sich wie zu Hause fühlen. Er bietet Kaffee an, erklärt den Ablauf und beantwortet Fragen. (Ein wirklich guter Moderator hat sich im Vorfeld ausführlich mit den Recruitern unterhalten und weiß genau, mit welchen Erwartungshaltungen und Fragen die einzelnen Leute ankommen.)
Während des Tests lächelt der Moderator viel und sorgt für eine entspannte Atmosphäre. Er achtet unablässig auf Anzeichen von Stress. Wenn die Anwendung nicht gut funktioniert oder wenn der Teilnehmer mit Schwierigkeiten kämpft, lässt der Moderator ihn wissen, dass hier nicht etwa er, der Proband, das Problem ist, und gibt ihm Sicherheit: „Sie machen das gut“, „Das ist sehr hilfreich“, „Sie helfen uns dabei, Probleme zu entdecken, von denen wir nicht gewusst haben, dass sie existieren“.
Der Flugbegleiter ist dafür verantwortlich, die Sitzung notfalls auch zu stoppen, wenn der Teilnehmer zu gestresst ist. An anderen Stellen – etwa wenn die Anwendung ein wenig anspruchsvoller wird – ermutigt er den Probanden wiederum, es beharrlich weiter zu versuchen. Und er hilft dem Teilnehmer gegebenenfalls durch ein holpriges Teilstück, damit dieser sich anschließend wieder voll auf die Anwendung konzentrieren kann.
Sicherheit und Komfort: Das sind die Prioritäten des Flugbegleiters.
Persönlichkeit #2: Der Sportreporter
Die Sportreporter-Persönlichkeit achtet darauf, dass die Beobachter des Tests jeden Vorgang wahrnehmen.
Wenn wir User-Tests vorbereiten, stellen wir zunächst sicher, dass die Beobachter alles sehen können und dass alles aufgezeichnet wird, was auf den Bildschirmen der Teilnehmer passiert. Wir ermutigen die Probanden, „laut zu denken“ und uns wissen zu lassen, was ihnen während der Arbeit mit dem Programm durch den Kopf geht.
Bei eher ruhigen Teilnehmern hat sich das folgende Vorgehen bewährt: Wir wiederholen die Aktivitäten und kommentieren sie selbst noch einmal, der Proband bestätigt bzw. ergänzt. (Sie denken vielleicht, dass so etwas die Teilnehmer aus der Fassung bringt. Ich habe aber festgestellt, dass die Leute so ziemlich schnell in den richtigen Rhythmus kommen. Hilfreich ist diese Methode auch insofern, dass Teilnehmer hin und wieder just dann an Fahrt aufnehmen und sich äußern, wenn der Moderator gerade abgelenkt ist.)
Der Sportreporter erkennt die aufregenden Teile der Sitzung sofort und sorgt dafür, dass sie andauern. Wenn ein Teilnehmer an eine heikle Stelle in der Anwendung kommt, ist der Sportreporter zur Stelle, um Fragen zu stellen und um die Gedanken des Probanden zu reproduzieren: Versteht er, dass es ein Problem gibt? Ist ihm klar, was die Anwendung ihm sagen will? Hat er eine Strategie zur Lösung des Problems? Wie genau erklärt er, was geschieht?
Der Sportreporter kennt auch sein Publikum – er richtet die Sitzung nach denjenigen aus, die sie beobachten. Als ich selbst kürzlich den User-Test an einer E-Commerce-Website geleitet habe, habe ich die Teilnehmer ganz bewusst in einen Bereich der Anwendung gelenkt, von dem mir bekannt war, dass er sehr problematisch ist. Ich wusste nämlich, dass der verantwortliche Senior Manager sich die Sitzung anschaute: Er konnte die Probleme also mit eigenen Augen sehen und das Entwickler-Team sich seiner Unterstützung bei einigen schwierigen Entscheidungen fortan gewiss sein.
Die Aufgabe des Sportreporters besteht darin, alle Aktivitäten wahrzunehmen.
Persönlichkeit #3: Der Wissenschaftler
Die Wissenschaftler-Persönlichkeit sucht nach Fakten. Ziel der User-Forschung ist es ja, Argumente für bessere Entscheidungen zu liefern. Der Wissenschaftler sammelt fleißig Fakten und hilft dem Team bei deren Analyse.
Auch in diese Rolle muss der Moderator schlüpfen, lange bevor die Test-Teilnehmer in Erscheinung treten. Der Wissenschaftler stellt den Test zusammen und entscheidet, an welchen Aufgaben die Probanden sich versuchen sollen. Er entwickelt Fragebögen und Interviewskripte, mit deren Hilfe er mehr über die Hintergründe und die Erfahrungen der Teilnehmer erfahren kann. Sämtliche Aktivitäten des Wissenschaftlers zielen darauf ab, das Team mit allen wichtigen und nötigen Daten zu versorgen.
Zur Vorbereitung gehört auch die Entscheidung darüber, wie die Ergebnisse des Tests auf bestmögliche Weise weiterverwendet werden können. Wie kann das Team die gewonnenen Informationen also optimal und gewinnbringend analysieren und synthetisieren? Hier empfehle ich eine Technik, die auf die erfahrene User-Test-Expertin Mary Beth Rettge zurückgeht: Vor einer Sitzung bekommt jeder Beobachter große, gelbe, klebrige Notizzettel. Auf diesen sollen sie ihre Beobachtungen notieren – jeweils eine pro Blatt. Nach der letzten Testsitzung führen wir eine schnelle KJ-Analyse durch und können so unsere Beobachtungen bereits gruppieren und priorisieren.
Die Organisation der Datenerfassung ist die Aufgabe des Wissenschaftlers.
Die Prioritäten richtig setzen
Der kritische Punkt ist das funktionierende Zusammenspiel. Ein guter Moderator kümmert sich zuerst und in erster Linie darum, dass die Test-Teilnehmer sich wohlfühlen und entspannt sind.
Der Sportreporter steht in der Hierarchie eine Stufe unter dem Flugbegleiter. Wir wollen natürlich jeden relevanten Aspekt erkennen und den Test mit Fragen vorantreiben, müssen dabei aber stets für die Sicherheit und das Wohlbefinden des Teilnehmers sorgen – diese stehen immer an erster Stelle.
Die Rolle des Wissenschaftlers – so wichtig sie auch ist – ist den beiden anderen noch einmal untergeordnet. Wir müssen uns darum kümmern, dass wichtige Daten nicht unter den Tisch fallen, ohne aber die Konzentration auf die Probanden und die Beobachter zu vernachlässigen.
Aus diesem Grund empfehle ich, dass der Moderator selbst keine Notizen macht, ehe er nicht die Rollen des Flugbegleiters und des Sportreporters wirklich beherrscht. Solange sollte diese Aufgabe an einen Beobachter delegiert werden, der sich ausschließlich darauf konzentrieren kann, alles zu erfassen.
Ist der Moderator schließlich in der Lage, alle drei Rollen auszufüllen, wird es ihm ein Leichtes sein, das Design- und Entwickler-Team für User-Tests zu begeistern: Die Leute kommen voller Energie aus den Sitzungen und sind ganz heiß darauf, Verbesserungen umzusetzen. Und das ist es, was gute User-Forschung ausmacht.