Im ersten Teil des Artikels hat Jared Spool den nach wie vor sehr populären Net Promoter Score (NPS), der die Loyalität der Kunden messen soll, dekonstruiert und gezeigt, dass er nach dem Motto "Garbage in, garbage out" funktioniert. Die folgenden Überlegungen knüpfen daran nahtlos an.
Geht es beim NPS wirklich um Treue und Wachstum?
Treue ist ein langes Spiel. Es geht darum, wie sich jemand über einen langen Zeitraum hinweg verhält. In seinem HBR-Artikel sagte Fred Reichheld: "Loyalität ist die Bereitschaft einer Person - eines Kunden, eines Angestellten, eines Freundes –, eine Investition zu tätigen oder ein persönliches Opfer zu bringen, um eine Beziehung zu stärken."
Allerdings geht es in der NPS-Frage gar nicht um Investitionen oder persönliche Opfer. Es geht nicht mal um Loyalität. Sie dreht sich einfach nur darum, das Unternehmen zu empfehlen.
Wenn wir jemanden danach fragen, was er in der Zukunft tun wird, geht es nicht um Loyalität. Es geht um Optimismus.
Wenn wir uns wirklich dafür interessieren, die Treue eines Kunden zu verstehen, könnten wir ihm eine andere Frage stellen: Haben Sie uns in den letzten sechs Wochen einem Freund oder Kollegen empfohlen? Das ist tatsächlich die Frage, die Netflix in den ersten Jahren den Kunden gestellt hat. Netflix hatte sie mit einer weiteren kritischen Frage gepaart: Wurden wir Ihnen von einem Freund oder Familienmitglied empfohlen?
Netflix beobachtete eine stetige Zunahme an neuen Abonnenten und Wachstum, als die Leute diese Fragen bejahten. Und als die Leute aufhören, Ja zu sagen, sahen sie eine Zunahme an Kündigungen und ein Nachlassen beim Neukundengewinn. Diese Fragen waren direkt mit Netflix’ Wachstum verknüpft. In ihnen geht es um tatsächliches vergangenes Verhalten und nicht um die Vorhersage künftigen Verhaltens.
Kundenerlebnis und NPS-Score passen selten zusammen
Während ich dies schreibe, sagt mir die Website von United Airlines, dass ich im Lauf meines Lebens 891.116 Meilen mit ihnen geflogen bin. Dieses Jahr habe ich auf 49 Flügen 73.890 Meilen zurückgelegt. Die Daten allein machen mich zu einem treuen Kunden.
Wenn Sie mir auf Twitter folgen, wissen Sie, dass ich mich regelmäßig über den schlechten Kundenservice von United beschwere. Sollte United mich bitten, den Service bei einem bestimmten Flug auf einer Skala von 0 bis 10 zu bewerten, würde ich kaum je mehr als eine 5 vergeben (und das an den Tagen, an denen niemand geschlagen wird).
Bin ich ein loyaler United-Kunde? Wenn ich die NPS-Frage (künftiges Verhalten) oder die Netflix-Variante (vergangenes Verhalten) ehrlich beantworten sollte, würde ich United recht hoch einstufen.
Überraschenderweise empfehle ich United ständig. Von Boston aus sind sie wirklich die beste Wahl, um Ziele an der Westküste anzufliegen. Sie haben auch ein erträgliches Angebot an internationalen Flügen.
Aber "beste Wahl" ist nicht dasselbe wie "begeisternder Service". Sie sind die beste unter noch schlechteren Optionen. Ich empfehle sie nicht, weil ich sie mag, sondern weil mir meine anderen Optionen noch weniger gefallen.
Ein Freund, der von meiner Arbeit an diesem Artikel wusste, hat mir die folgende NPS-Frage zugeschickt, die Citi ihm nach der Nutzung ihrer Online-Banking-Site gestellt hatte:
Mein Freund hatte sich in seinen Citi-Account eingeloggt, um Geld zu überweisen. Die Transaktion, die fünf Tage zurücklag, war nicht weiter bemerkenswert gewesen. Warum sollte jemand Citi als Bank empfehlen wollen, nur weil er eine nicht weiter bemerkenswerte Geschäftstransaktion durchgeführt hat? (Routine-Banktransaktionen sollten immer unscheinbar sein. Wenn sie herausstechen, bedeutet das wahrscheinlich, dass etwas schiefgegangen ist.)
Der NPS wurde nicht für diese Granularität der Reflexion aufseiten des Nutzers entwickelt. Er hätte vier weitere Transaktionen seit derjenigen getätigt haben, nach der hier gefragt wurde. Wie könnte er sich an die Details einer jeden davon erinnern, wenn sie reibungslos gelaufen waren?
Es ist schlimm genug, dass wir versuchen, den NPS für den Zweck zu nutzen, für den er entwickelt wurde. Wenn Unternehmen dann noch versuchen, ihn auf diese Weise zu verwenden, bringen sie sich selbst in echte Schwierigkeiten. Die Antworten, die sie erhalten, bedeuten gar nichts.
Den NPS in unsere qualitative Forschungen einbetten
Seit Jahren binden wir die NPS-Frage in unsere qualitativen Nutzerstudien ein und bitten die Teilnehmer, ihre Beweggründe für die vergebenen Scores zu erklären. Unser wichtigster Befund ist der, dass die Leute die Frage nicht verstehen.
Ein typischer Teilnehmer, der eine niedrige Bewertung abgegeben hat, kann in unserem Labor ein makelloses Nutzererlebnis mit dem Produkt oder Dienst gehabt haben. Wenn wir fragen, warum er den niedrigen Score verteilt hat, erzählt er uns dann eine Geschichte über ein miserables Erlebnis, das er in der Vergangenheit erlitten hat und das ihn davon abhält, den Dienst zu empfehlen. Und wenn wir fragen, ob er denn die Produkte oder Dienste des Unternehmens seitdem genutzt habe, sagt er uns: "Ja - viele Male."
Andersherum sehen wir einen Teilnehmer, der wirklich Probleme mit dem Produkt oder Dienst hatte, eine 10 vergeben. Er sagt dann: "Es war besser, als ich erwartet habe" oder "Ich hatte den Eindruck, es war okay". Wenn wir fragen, ob er dieses Produkt oder diesen Dienst noch einmal nutzen würden, lautet die Antwort: "Wahrscheinlich nicht."
Wir haben viele Teilnehmer erlebt, die eine 0 vergeben haben, weil ihnen niemand eingefallen ist, dem sie die Empfehlung geben könnten. Andere haben mit 10 bewertet, weil sie Freunde hatten, die in dem Unternehmen arbeiten.
Wenn das Unternehmen ein Incentiv für Antworten auslobt, beispielsweise die Gewinnchance auf einen 100-Dollar-Geschenkgutschein für Amazon, gibt es Teilnehmer, die hohe Bewertungen verteilen, "weil die den Preis garantiert nicht an jemanden vergeben, der sie mit einer Null bewertet."
Wir haben gelernt, dass der NPS uns nichts über das Erlebnis der Kunden oder ihre Loyalität sagt. Tatsächlich können wir dem NPS nicht mal so weit vertrauen, dass er uns überhaupt etwas Brauchbares sagt.
Der NPS ist einfach zu manipulieren
Wenn Ihre Bonuszahlung an die Steigerung der NPS-Bewertungen geknüpft ist, dann wäre die Vergabe eines 100-Dollar-Incentives ein guter Weg, um Ihre Werte zu erhöhen. Das ist nicht die einzige Möglichkeit, den NPS zu manipulieren.
Verbessern Sie Ihre Ergebnisse, indem sie die Frage später im Flow des Users stellen. Eine ideale Manipulationstechnik besteht darin, die Frage nach dem erfolgreichen Abschluss einer Aufgabe einzubinden, etwa einer Bestellung.
Wenn Sie die Frage einbauen, nachdem die Aufgabe fertiggestellt ist, fragen Sie also auch nur die Leute, die sie erfolgreich gemeistert haben. Sie eliminieren Antworten von Nutzern, die aus Frustration frühzeitig aus dem Prozess ausgestiegen sind. Das verzerrt die Resultate natürlich ins Positive.
Ein anderer Trick ist das Ignorieren der Antwortrate. Die meisten NPS-Follow-ups oder Post-Task-Umfragen haben nur Antwortraten zwischen vier und sieben Prozent. Eine siebenprozentige Antwortrate heißt, dass für jede Antwort, die wir erhalten, 13 Leute nicht reagieren. Würden diese 13 Leute dieselbe Bewertung vergeben wie die Person, die geantwortet hat? Vermutlich nicht.
Ein Grund für niedrige Antwortraten besteht darin, dass Kunden, die wir frustriert haben, selten auch noch Lust verspüren, uns Feedback zu geben. Wenn wir Fred Reichhelds Treuedefinition heranziehen, sind diese Leute nicht daran interessiert, überdies zu investieren.
Um den Score schließlich vollständig zu manipulieren, sollten wir Detractors anspornen, frühzeitig abzuspringen. Wenn wir absichtlich Abbrüche bei jenen Usern forcieren, die ein miserables Nutzererlebnis erleiden, verzerren wir das Feedback so, dass alle unsere Antworten positive Erlebnisse betreffen. (Selbst wenn wir das nicht gewollt tun, ist es doch einfach, das unbeabsichtigt zu schaffen, wenn wir auf Methoden zum Aufdecken und Korrigieren der Probleme verzichten.)
Diese dunklen NPS-Techniken produzieren höhere Scores, die zu höheren Boni führen. Alle gewinnen, richtig?
Wir halten den NPS für schädlich. Es ist leicht, ihn so aussehen zu lassen, als hätten wir die Kundenerlebnisse verbessert, während wir sie vielleicht in Wirklichkeit schlechter gemacht haben.
Der wahre Wert liegt in der Folgefrage
NPS-Gläubige sagen uns, dass keine Umsetzung einfach nur nach den Zahlen fragt. Jede kluge Implementierung lässt eine qualitative Frage nach dem Warum folgen. Einige ausgeklügelte Systeme variieren die Frage basierend auf der Bewertung, indem sie die Promoters Was haben wir gut gemacht? und die Detractors Was könnten wir verbessern? fragen.
Sie haben recht. Der wahre Wert entsteht aus der Warum-Frage. Der Kunde sagt uns, was gerade passiert ist, und wir könnten es verbessern (oder sicherstellen, dass wir die Dinge, die gut funktionieren, nicht kaputtmachen.)
Diesen NPS-Befürwortern sage ich, dass ich das für einen großartigen Weg halte, um wertvolle Daten zu erlangen. Warum sich überhaupt mit der Score-Frage herumschlagen? Stellt einfach die qualitative Frage! Normalerweise murmeln sie dann beleidigt etwas von Segmentierung oder Indikatoren oder irgend einem anderen Hokuspokus ohne Sinn.
Wir binden diese Warum-Fragen in persönliche qualitative Nutzerstudien ein. Die Antworten liefern oft Hinweise auf die Probleme und die funktionierenden Teile des UX-Designs. Derweil passen die NPS-Scores derselben Personen selten zu irgend etwas von dem, was in ihren Sessions wirklich passiert ist. Der NPS basiert nicht auf einer Realität, in der wir leben.
Aber unsere Manager wollen eine Zahl!
Letztens hat der Senior Vice President of Design eines Fortune-500-Unternehmens mir dies erzählt: "Jede Abteilung muss im Management-Meeting aufstehen und Zahlen vorweisen, oftmals den NPS. Wenn ich den NPS nicht nehmen kann, brauche ich eine andere Zahl. Ich brauche eine Zahl, die allen zeigt, wie wir uns verbessert haben."
Es gibt tonnenweise Zahlen. Genau genommen eine unendliche Menge davon. Doch es gibt keine Zahl, die das Kundenerlebnis eines Unternehmens repräsentiert. Nicht mal der NPS. Aber das wird uns nicht davon abhalten, es zu versuchen.
Wir könnten eine Business-Kennzahl nutzen, beispielsweise die Zahl der Subscriptions oder den Umfang an Abwanderung. Wir könnten Verkäufe, Netzumsätze oder Profite nutzen.
Diese Zahlen sagen nichts Direktes zum UX-Design des Produkts oder des Dienstes. Sie sagen uns nicht, ob die Kunden zufrieden oder - besser noch - begeistert sind.
Das ist es, was der NPS zu tun versucht, selbst wenn er weit davon entfernt ist, es mit Erfolg zu tun. Was könnten wir stattdessen machen? Hier sind ein paar Alternativen:
Doch das ist eigentlich nebensächlich, denn was Sie wirklich interessiert, ist die nächste Frage oder eine Variation davon:
In der Folgefrage liegt der Wert. Wir können sie auf unterschiedliche Art und Weise stellen. Wichtig ist, unseren Kunden zuzuhören.
Wir können das Kundenerlebnis nicht auf eine einzelne Zahl reduzieren
Das ist die größte Schwachstelle des NPS. Er versucht, ein Ergebnis zu erreichen, das nicht erreicht werden kann. Für unser Management ist er reizvoll, weil er verspricht, ein Problem zu lösen, das sich so trivial nicht lösen lässt.
Das Kundenerlebnis ist die Gesamtheit all der Interaktionen, die unsere Kunden mit unseren Produkten, Websites, Mitarbeitern und Marken erfahren. Jede Interaktionssequenz unterscheidet sich von Kunde zu Kunde.
Leute, die an den NPS glauben, glauben an etwas, das in Wirklichkeit nicht das tut, was sie wollen. NPS-Scores sind das Äquivalent zum täglichen Horoskop. Es ist keine Wissenschaft darin, nur Glaube.
Als UX-Professionals können wir Gläubige wahrscheinlich nicht davon überzeugen, dass ihre Astrologie nicht real ist. Aber wir können Fallen vermeiden und Maße verwenden, die dem Unternehmen mehr Wert liefern.
Wie wahrscheinlich ist es, dass Sie diesen Artikel Ihren Freunden oder Kollegen empfehlen werden?
Dieser Artikel wurde im Original am 20. Dezember 2017 unter dem Titel Net Promoter Score Considered Harmful (and What UX Professionals Can Do About It) von Jared M. Spool veröffentlicht. Jared M. Spool gehört zu den führenden User-Experience-Experten unserer Zeit. Seine Website erreichen Sie unter http://www.uie.com. Weitere Artikel von Jared M. Spool finden Sie im UX-Special von //SEIBERT/MEDIA.
