Nachdem wir uns die qualitativen Studien angeschaut haben, widmen wir uns nun den quantitative Studien. Sie sind aufwendiger in der Akquise von Teilnehmern und auch in der Analyse. Aber bieten uns auch validere Zahlen. Mit solchen Zahlen lassen sich auch Stakeholder meist besser überzeugen als mit qualitativen Argumenten. Im folgenden Artikel will ich 5 Hinweise aufzeigen, was zu beachten ist.

Vorher wissen welche Zahl man sucht

Eigentlich wollen wir das Erlebnis eines Nutzers mit einem Produkt verbessern. Ganz einfach. Aber wie messen wir dieses bessere Nutzererlebnis? Besonders in einer quantitativen Nutzerstudie, in der wir nicht immer direkt dabei sind, können nicht ahnen was der Anwender denkt oder fühlt. So muß vorher definiert werden, woran wir ein besseres Nutzererlebnis messen können. Dies kann zum Beispiel die Anzahl Klicks bis zum Ausführen einer Aufgabe sein. Oder wir messen die Zeit bis eben diese Aufgabe ausgeführt ist. Wichtig ist, sie muß messbar sein. Manchmal ist es auch notwendig, dies vorher in einer Umfrage – eine eigene kleine Studie – zu klären.

Die Auswahl einschränken

Sind die Optionen in der Studie zu offen, werden wir auch sehr offene Ergebnisse erhalten. Bei einer Umfrage mit freier Texteingabe aber ohne Antwortvorgaben, wird in der Analyse sehr komplex. Jede Antwort muß in dem Fall gelesen und ausgewertet werden. Am besten kann man die Studie auf spezifische Werte einschränken. Super ist zum Beispiel eine A/B-Studie mit nur zwei Varianten. Dabei erhält man allerdings keine Antwort auf die Frage warum Anwender in einem der Fälle etwas anders machen. Umso wichtiger ist deswegen wieder der Punkt 1 – was genau wollen wir optimieren.

Die Teilnehmer treffend wählen (lassen)

Damit die Ergebnisse einer Studie nicht verfälscht werden, müssen die Studienteilnehmer genau ausgewählt werden. Sonst sind die Zahlen verfälscht. Bei einem Interview fällt das Problem schnell auf. Aber bei einer quantitativen Umfrage kann es sein, dass der Fehler niemals auffällt. Dann wird mit den falschen Ergebnissen weiter gearbeitet. Bei der Auswahl der Studienobjekte können wir uns Hilfe suchen. Statt zufällige Personen auszuwählen kann zumindest bei Onlineumfragen eine Social Media Plattform zur Hilfe genommen werden. Diese kennen ihre Nutzer und bieten es an die Inhalte konzentriert auf einen spezifischen Kreis zu streuen.

Zusätzliche Informationen erfassen

Auch wenn eine Zielgruppe sehr genau gewählt wurde und perfekt erscheint, kann es zu Ausreißern in den Daten kommen. Diese können auf verschiedene Eigenschaften der Zielgruppe hindeuten. Einige Teilnehmer haben vielleicht schon Erfahrungen mit ähnlicher Software und waren deswegen schneller. Um solche Zusammenhänge zu erkennen müssen weitere Daten erfasst werden. Die Auswahl dieser Daten erfordert etwas Erfahrung und manchmal auch Fingerspitzengefühl. Kann dann trotzdem keine Korrelation festgestellt werden, müssen einzelne Teilnehmer eventuell noch mal zu einem qualitativen Interview eingeladen werden.

Eine gute Darstellung wählen

Nicht jede gemessen Größe einer Nutzerstudie lässt sich durch eine einfache Zahl darstellen. Manchmal braucht es andere Formen der Darstellung. Dabei ist es besonders wichtig die richtige Form der Darstellung zu wählen. Ein Ausschnitt aus den Ergebnissen einer Umfrage, bei der die Teilnehmer die Antwortmöglichkeiten “unwichtig”, “wenig wichtig”, “wichtig”, “sehr wichtig”, und “Keine Angabe” hatten. Es ist sofort ersichtlich, dass mehr als 50% im Bereich “wichtig” und “sehr wichtig” (gelb und blau) liegen – oder auch nicht. Fast zehn Prozent haben “keine Angabe” gewählt. Aber dieser Wert wurde von der automatischen Software ganz rechts angeordnet.  Dadurch wird das Bild verzerrt. Wir haben eine optimale Darstellung der Ergebnisse nachgebaut. Wie zu sehen ist das Ergebnis nicht mehr so eindeutig. Dies wird besonders sichtbar, wenn man die Farben noch weiter optimiert (von links nach rechts: unwichtig, wenig wichtig, keine Angabe, wichtig, sehr wichtig). Die optimale Darstellung ist besonders wichtig, bei der Präsentation der Daten gegenüber Stackeholdern, Entwicklern, und dem Anforderungsmanagement. Wie die Daten am besten analysiert und darstellt werden, werden wir in einem zukünftigen Artikel behandeln und hier verlinken.