In unseren Projekten stoßen wir immer wieder auf die Frage ob eine qualitative oder quantitative Nutzerstudie besser ist. Auch bemerken wir Unsicherheiten, worin sich die beiden Varianten unterscheiden. Das ist auch ganz normal, da eine Nutzerstudie nur sehr selten rein qualitativ oder rein quantitativ ist.   Deswegen kann es auch keine Antwort auf die erste Frage, welche der beiden Formen »besser« ist, geben. Wie so oft hängt dies von der Fragestellung ab, die beantwortet werden soll.   Je spezifischer die Fragestellung, umso leichter ist die Auswertung. Umso eher können viele Menschen befragt und deren Antworten ausgewertet werden. Haben wir nur eine einzige Ja/Nein Frage, können wir diese Menschen in Fußgängerzonen, Online per Formularen, oder sogar am Telefon fragen. Viele Befragte bedeutet viele Daten. Das ergibt eine quantitative Nutzerstudie.   Eine sehr bekannte quantitative Studie kennen wir in Deutschland und Österreich in Form der »Sonntagsfrage« zu den Wahlabsichten. Die Sonntagsfrage von September 2019. Man sieht ein Balkendiagram mit Schwarz (CDU/CSU), Rot (SPD), Blau (AFD), Gelb (FDP), Lila (Linke), Grün (Grüne), und Grau (andere) als Balken Die Sonntagsfrage als typisches Beispiel einer quantitativen Umfrage. Stellen wir hingegen eine unspezifische Frage mit vielen Antwortmöglichkeiten, ist die Analyse wesentlich komplexer. Dadurch sinkt die Datenmenge, die aufgenommen werden kann. Aber die Qualität der Daten steigt. Also ist dies eine Qualitative Nutzerstudie. Neben diesen einfache Beispielen gibt noch eine andere Eigenschaften, welche diese beiden Studienarten definiert. Auf diese gehen wir in diesem Artikel weiter ein.

Die quantitative Nutzerstudie

Die quantitative Nutzerstudie zeichnet sich also durch Menge aus. Je mehr Teilnehmer der Untersuchende für so eine Studie gewinnen kann, umso besser. Dadurch wird versucht den statistischen Fehler zu minimieren. Entsprechend eigenen sich Umfragen oder Software-Analyse-Tools gut für quantitative Untersuchungen. Würde man versuchen eine möglichst große Menge an Menschen zu interviewen oder gar in ihrer gewohnten Umgebung bei der Nutzung des Produktes zu beobachten, schnellen Zeit und Aufwand unendlich in die Höhe. Bei dem Einsatz eines Analyse-Tools werden zum Beispiel die Positionen des Mauszeigers, Blickrichtung der Augen, aufgerufen Menüoptionen, oder auch die Zeit eines Softwarefensters im Vordergrund aufgezeichnet. Viele Programme erfragen heute schon die Zustimmung des Anwenders, entsprechende Daten im Hintergrund zu sammeln. Aus diesen Daten lassen sich später nicht nur Entwicklungsprobleme lösen, um z.B. Programmfehler zu vermeiden. Sie helfen auch den Anwender zu verstehen. Welche Funktion wird am häufigsten oder wenigsten aufgerufen? Wie viele Klicks ließen sich vermeiden, wenn eine Funktion durch einen Shortcut besser erreichbar wäre? In welchen Situationen werden Icons oder Tastaturkürzel verwechselt? Anhand dieser Daten und Fragen kann der UX-Designer die Software auf die Bedürfnisse der Nutzer optimieren. Eine andere Art der quantitativen Nutzerstudie sind Umfragen. Hier ist der Erstaufwand wesentlich höher. Zu Beginn muß das Ziel der Umfrage und daraus verschiedene Hypothesen aufgestellt werden. Das ist zugleich auch das Hauptziel entsprechender Studien. Eine einmal aufgestellte Hypothese – sei es durch Beobachtung, oder aus einer Ideen-Entwicklung heraus – mit einer großen Zielgruppe zu überprüfen. Dafür wird die Überlegung in Form einer Umfrage an diese Zielgruppe verteilt. Dabei sollten die Antwortoptionen möglichst umfänglich sein, um ein gutes Gesamtbild zu erhalten. Da, wie Einganges bereits beschrieben, es immer um eine Mischung aus quantitativer und qualitativer Untersuchung geht, haben solche Umfragen meist neben den typischen Optionen auch ein Freifeld um weiteres Feedback zu sammeln. Die Umfrage sollte aber so gut vorbereitet sein, dass dieses Feld so wenig wie möglich benötigt wird. Sonst steigt der Aufwand eine nachträglichen Analyse enorm an, wie in Graphik [2] gezeigt.   Zwei Kreisdiagramme. Das linke zeigt einen kleine grauen Bereich, das rechte einen fast halb vollen grauen BereichDie Ergebnisse zweier quantitativen Studien. Grau beschreibt jeweils die Antwort »anderes«. Links gab es hinreichend Antwortmöglichkeiten (Blau, Lil, Grün, Gelb), rechts zu wenige (Blau, Lila, Türkis)

Die qualitative Nutzerstudie

Ein hoher Aufwand pro Teilnehmer ist allgemein bezeichnend für die qualitative Nutzerstudie. Trotzdem ist sie ein wichtiges Element in der Analyse unserer Nutzer und ihrer Bedürfnisse. Bei einer qualitativen Befragung der Anwender gehen wir in die Tiefe und versuchen Probleme des einzelnen Nutzers aufzuzeigen. Sie zeichnet sich zumeist durch direkte Interviews der Zielgruppe aus. Die Nutzer können dabei frei antworten und der Interviewende muß auf die Antworten eingehen. Er hat die schwierige Aufgabe dem Interview die Freiheit zu geben, dass der Befragte sich in seinen Antworten nicht eingeengt fühlt. Zum anderen muß die Interviewende das Gespräch aber auch leiten um die für sie notwendigen Antworten zu erhalten. Die Ergebnisse einer qualitativen Nutzerstudie sind besonders zu Beginn eines Projektes wichtig. Nur hier gibt es die Möglichkeit, Wünsche anzugeben. Nur hier kann der Researcher auch immer tiefer nach dem »Warum« fragen. Aufgrund der großen Variabilität der Antworten kann es bei einer qualitativen Studie auch häufiger notwendig sein, die Fragen und den Zielhorizont neu zu definieren. Neben dem größeren Aufwand liegt hier aber auch die Chance, einen für das Produkt besseren Ergebnisraum abzudecken. Besonders bei Neuentwicklungen ist dies Vorteilhaft, um zu definieren, welche Bedürfnisse das Produkt abdeckt. Auch ob diese bereits existieren oder erst geschaffen werden müssen, kann in einer qualitativen Nutzerstudie ermittelt werden.  In einer qualitativen Nutzerstudie wird normalerweise nur eine kleine Teilmenge der gesamten Zielgruppe befragt. Es geht hier hauptsächlich darum, herauszufinden, was und warum etwas z.B. getan oder gewünscht wird. Die sogenannten Qualitäten sind das Ergebnis dieser Studien. Diese Qualitäten können im zweiten Schritt quantifiziert, also gezählt werden. Dazu werden Qualitäten analysiert und verschiedene Hypothesen ermittelt. Ein klassisches Beispiel: Ein Kunde wünscht sich eine bestimmte Funktion (die Qualität) innerhalb der Software. Der Product-Owner dieser Software erfährt dies und will die Funktion auch sofort in die Software einbauen lassen. Allerdings bemerkt er, dass der Aufwand sehr hoch ist und wird unsicher, ob es sich lohnt, diese Funktion einzubauen. Daher wird mithilfe eines UX-Design Teams eine quantitative Nutzerstudie durchgeführt, die aufdecken soll, wie hoch der Bedarf bei anderen Kunden ist (die Quantität). Mit den Ergebnissen kann der Product-Owner sehr gut den Kosten-Nutzen-Faktor abwägen und rechtfertigen.

Schlussbetrachtung

Qualitative und quantitative Nutzerstudien sind im Zusammenspiel eine wunderbare Kombination, um mehr über seine Kunden zu erfahren. Es muß aber immer ein Kompromiss zwischen Personenanzahl aus einer Zielgruppe und der Tiefe einer Analyse gefunden werden, um den Aufwand in einem Rahmen zu halten, der dem Projekt entspricht. Gleichwohl können wir uns nicht nur auf eine der beiden Arten stützen. Bei der quantitativen Studie gehen wichtige Informationen und Gründe verloren. Bei einer qualitativen ist die Anzahl befragter Personen meist einfach zu klein, um repräsentativ für die Zielgruppe zu sein. Eine Lösung für dieses Problem könnte mit der KI (künstlichen Intelligenz) und der Robotik bestehen, wenn uns dann irgendwann die Roboter im Supermarkt nach unseren Bedürfnissen beim Einkaufen befragen. Außerdem müsste die KI die Antworten analysieren und entsprechend zuordnen. Diese Vision liegt aber noch etwas weiter in der Zukunft und bis dahin gilt es für uns den Balance-Akt zwischen Qualität und Quantität zu gehen. Dieser Artikel ist der Erste in einer Reihe zu dem Thema »Qualität vs. Quantität«. Alle weiteren Artikel erscheinen in den kommenden Wochen und werden hier verlinkt sein.