Usability Test
Egal ob ein Startup eine komplett neue Lösung für ein Problem gefunden hat oder ein bestehendes Angebot einfach nur im Internet angeboten wird, die Herausforderungen sind für alle Internet-basierten Startups ähnlich. Um ein Startup zum Erfolg zu bringen, sind vor allem zwei Aufgaben aus Marketing-Perspektive wichtig:
- Die Identifikation und Akquise von Kunden, die einen Bedarf für das entwickelte Produkt oder der angebotene Service haben.
- Die Identifikation von Gründen, warum potenzielle Kunden, die eigentlich das Produkt nutzen sollen, es trotzdem nicht nutzen wollen.
Deshalb muss von Beginn an daran gearbeitet werden, die Gründe zu identifizieren, warum Kunden an einem Produkt nicht interessiert sind. Das Feedback von Nicht-Kunden, die aber potenzielle Kunden eines Startups sein könnten, ist eine wertvolle Quelle für Verbesserungen.
Unsere Erfahrung hat gezeigt, dass die Usability für ein neues Startup wichtig ist. Noch viel entscheidender ist allerdings, dass binnen weniger Sekunden dem Besucher eine Website klar wird, was das Angebot auf dieser Seite ist und welchen Nutzen dieses Angebot für ihn hat. Nur wenn innerhalb weniger Sekunden das Interesse des Kunden geweckt wird, kann man erwarten, dass sich der Kunde intensiver mit dem Angebot beschäftigen wird.
Je früher ein Startup beginnt Feedback einzuholen, desto schneller kommt man mit dem Startup zum Erfolg. Usability-Tests können dazu eingesetzt werden, da sie nicht nur die Benutzerfreundlichkeit einer Website untersuchen, sondern die ersten Eindrücke zu einer neuen Website erfassen können.
Nach folgendem Muster kann ein Usability-Test für eine neues Internet-basiertes Startup gestaltet werden:
Ausgangsituation:
Sie sind während des Surfens im Internet zufällig auf die Seite von www.ein-neues-startup.com gestoßen.
Aufgaben:
- Beschreiben Sie Ihre Eindrücke von dieser Seite. Erklären Sie in eigenen Worten, welchen Service www.ein-neues-startup.com anbietet.
- Beschreiben Sie in eigenen Worten, welchen Nutzen dieses Service bietet.
- Erstellen Sie ein Konto und folgen Sie den Schritten des Setup-Assistenten.
Fragen:
- Beschreiben Sie in einem Satz, welchen Service ihnen www.ein-neues-startup.com bietet.
- Welche Fragen sind für Sie noch offen geblieben?
- Aus welchen Gründen würden Sie diesen Service nicht nutzen?
- Wie könnten wir sie dazu bringen, diesen Service zu nutzen?
- Warum würden Sie diesen Service anderen Personen nicht empfehlen?
Mithilfe eines solchen Usability-Tests kann man einfach und unkompliziert Feedback zum eigenen Startup erhalten und schafft damit die Basis, um das Startup zum Erfolg zu führen. Einen solchen Test führt man am besten mit potentiellen Kunden durch, die aber den Service bis jetzt noch nicht kennen und gleichzeitig. Damit erhält man entweder fundiertes Feedback oder konkrete Verbesserungsvorschläge.
Ein wichtiger Punkt ist, dass man nicht nur mit 2-3 Kunden den Test durchführt, da in diesem Fall die Aussagekraft zu gering ist und man keine Sicherheit hat, dass die Aussagen der Testpersonen wirklich repräsentativ für die Zielgruppe sind. Gleichzeitig sollte man auch sicherstellen, dass die Kunden ihre echtes Feedback zur Website preisgeben und nicht nur Feedback an der Website nutzen, um andere Gründe zu verschleiern.
Beta Tester für Spiele und Programme finden
Gerade haben Sie dem Geschäftsbrief den letzten Schliff gegeben, da stürzt die Software unwiederbringlich ab. Sie müssen den gesamten Brief bzw. die letzten Änderungen erneut schreiben. Das kommt Ihnen bekannt vor? Dann haben auch Sie ein Programm genutzt, welches in der Endphase der Programmentwicklung zu wenig getestet wurde. Diese Aufgabe übernehmen grundsätzlich sogenannte Beta-Tester. Sie werden bei der Programmierung von Computerspielen bzw. Software damit beauftragt, den zukünftigen Nutzer oder Spieler zu imitieren und das Programm auf Bugs , Softwarefehler, zu prüfen. Die Software wird im Grunde einem Stresstest unterzogen, um Schwachstellen zu finden und auszubessern. Dabei gehen die Tester einerseits so vor, wie es von einem gewöhnlichen späteren Nutzer zu erwarten wäre. Andererseits probieren die Beta-Tester auch absichtlich falsche Vorgehensweisen aus, um die Robustheit bzw. Fehleranfälligkeit des Programms zu evaluieren.
Hilfsmittel der Tester sind z.B. Checklisten, anhand derer sie festlegte Abläufe oder Funktionen im Programm nachvollziehen. So wird sichergestellt, dass möglichst alle Features durch den Test erfasst werden, im Regelfall sogar redundant, d.h. die gleichen Abläufe werden von mehreren Personen getestet, um Bedienungsfehler auszuschließen.
Beta-Tester – bezahltes Spielen für Liebhaber von Computerspielen?
Das Ausprobieren eines unfertigen Spiels muss einem Tester nicht unbedingt Freude bereiten. Das unregelmäßige Abstürzen eines Programms inkl. der Dokumentation der Schritte, stellt durchaus Anforderungen an die Konzentration, Leidensfähigkeit und Ausdauer der Tester. Umgekehrt hat ein Tester frühzeitig Einblick in neue Programmentwicklungen und seine Arbeit fließt in ein fertiges Endprodukt ein. Das kann sehr zufriedenstellend sein. Leidenschaftliche Hardcoregamer dürften jedoch in frühen Stadien der Entwicklung keine große Freude am Testen haben und eher verzweifeln, wenn der eigene Ehrgeiz durch Programmabstürze gebremst würde. Erfolgreiche Beta-Tester können ihr Hobby alsbald zum Beruf machen. Der Markt für Computerspiele und Software wächst weiterhin, so dass es nicht an regem Nachschub von Testmaterial mangelt.
Beta-Tester unter Zeitdruck
Da die Entwicklung eines Computerprogramms zum Ende hin häufig unter enormen Zeitdruck einer geplanten Veröffentlichung steht, geraten die Beta-Tester häufig unter Druck und die Qualität der Kontrolle kann merklich leiden. Dieser Zeitdruck kann dazu führen, dass die Testphase verkürzt oder umfänglich eingeschränkt wird. Die Folge: Kurz nach dem Marktstart werden bereits Fehlerfixes per Update bereitgestellt. Das Einhalten eines Publishingtermins wird dann allerdings teuer erkauft. Das Nacharbeiten von Fehlern ist im Regelfall aufwändiger und schlussendlich auch kostenträchtiger, als ein profunder Check, insbesondere während der Alpha- und Betaphasen, einer Software.
Je früher, desto besser
Die Integration frühzeitiger Anwendungstest durch Dritte, also keine Programmierer, soll schon in den ersten Entwicklungsstadien eines neuen Produktes Fehler und späteren Zeitdruck vermeiden. Die konzeptionelle Vorarbeit und Rekrutierung entsprechend geeigneten Personals sind indes Herausforderungen, die nicht übersehen werden dürfen. Häufig greifen Unternehmen auf preiswerte Studenten zurück, die irgendwann nicht mehr zur Verfügung stehen oder zeitlich eingeschränkt sind. Kurzfristig adäquaten Ersatz zu finden, kann dann zur Herausforderung werden.
Unabhängige Tester unterstützen Sie dabei, Ihre Softwarequalität zu sichern
Userfeedback, der Spezialist für Usability-Tests u.a. für Webseiten und Online-Shops, vermittelt nun auch Beta-Tester für die Qualitätssicherung von Computer-Games und Anwendungssoftware. Das Portal bietet die Plattform, Tester und Auftraggeber zusammenzubringen und fundierte Testresultate zu generieren. Userfeedback kann hierbei auf eine große Zahl bereits registrierter Tester zugreifen, so dass auch kurzfristige Programmtests darstellbar sind.
10 Erfahrungen aus einem Jahr Remote Usability-Testing
Im September 2010 haben wir mit Userfeedback die erste Usability-Testing Plattform im deutsprachigen Raum gestartet. Das Ziel war es, schnell und unkompliziert Feedback von Kunden zu neuen Websites, Onlineshops und Prototypen einholen zu können. Unsere Vision ist Usability-Tests in höchster Qualität zu niedrigen Kosten anzubieten, damit es keinen Grund mehr gibt, Usability-Tests nicht durchzuführen.
Im ersten Jahr haben wir viele Erfahrungen gesammelt, viele Annahmen wurden bestätigt und einige Annahmen haben sich noch nicht bewahrheitet. Im folgenden Beitrag möchten wir unsere Erfahrungen teilen und sind gleichzeitig gespannt, wie sich das nächste Jahr entwickeln wird.
1) Einfacher die passenden Teilnehmer finden
Die passenden Teilnehmer für einen Usability-Test zu finden ist in der Regel die schwierigste Aufgabe bei einem Usability-Test. Da die Testpersonen bei Userfeedback die Tests zu Hause am eigenen Computer durchführen, können auch Testpersonen teilnehmen, die nur umständlich an einem Usability-Test im Labor teilnehmen können. Über 1500 Testpersonen haben sich seit dem Start auf unserer Plattform als Testperson registriert und Personen aus allen Gesellschaftsschichten sind vertreten. Das erlaubt uns, bei Usability-Tests die passende Zielgruppe auszuwählen, um die besten Ergebnisse zu erzielen.
Ein Beispiel: Für einen Online-Hypothekenrechner konnten wir Personen rekrutiert, die auch tatsächlich eine Hypothek besitzen, für eine große Bank und einen ADSL-Provider haben wir echte Kunden des Unternehmen aus unserer Datenbank rekrutiert.
2) Wochenende und Sonnenschein: Keine Zeit für Usability-Tests
Eine etwas kuriose Erfahrung war, das in den Sommermonaten mit viel Sonnenschein und lauen Sommerabenden auch die Verfügbarkeit der Testpersonen geringer ist. Viele Personen führen die Tests ja nicht durch, um noch mehr Geld zu verdienen, sondern weil sie Spaß daran haben, Feedback zu geben. Dasselbe gilt für Wochenenden, an denen Testpersonen in der Regel Ihre Freizeit genießen. Die höchste Verfügbarkeit beobachten wir an den Wochentagen, wenn Testpersonen Abends noch die Usability-Tests durchführen.
3) Nur ungestörte Testbedingungen führen zu guten Ergebnissen
Wenn Testpersonen die Aufgaben ausdrucken müssen oder diese abschreiben, dann ist die Testperson abgelenkt und das Ergebnis des Usability-Tests wird verzerrt. Gerade in der Anfangsphase mussten wir unsere Schulungsvideos wiederholt anpassen und diesen Punkt besonders hervorheben, damit den Testpersonen klar ist, dass es nicht nur einfach um “schnelles Geld” geht, sondern um konstruktives Feedback.
Mit unserer Aufnahmesoftware stellen wir nun sicher, dass der Tester die Aufgaben in einem “Sidebar” ständig vor sich sieht, gleichzeitig aber auch ein Browserfenster offen hat, in dem er die Aufgaben durchführen kann. Nur so, erreichen wir Ergebnisse, die eine fundierte Aussage zulassen.
4) Geschwindigkeit ist wichtig, aber Zielgruppe ist wichtiger
Die passenden Teilnehmer für die Studie zu finden ist wichtiger, als den Test so schnell wie möglich mit irgendwelchen Personen abzuschließen. Mit Userfeedback liegen die ersten Ergebnisse in der Regel innerhalb von 24 Stunden vor, abhängig von der Zielgruppe kann es aber auch länger dauern, bis die passenden Personen zeitlich verfügbar sind.
Ein IT-Berater mit einem Vollzeitjob ist klarerweise nicht während des Tages und auch nicht immer an jedem Abend verfügbar. Wir haben die Erfahrung gemacht, dass in der Regel der Bedarf nach der passenden Zielgruppe wichtiger ist, als der Abschluss der Tests in 24 Stunden.
5) Eine feine Linie zwischen Usability-Test und “Demo”
Da die Tests selbständig von den Testpersonen durchgeführt werden, muss man von Anfang an sicherstellen, dass die Testpersonen die notwendige Einschulung erhalten, damit die Tests auch mit der richtigen Einstellung durchgeführt werden. Deshalb haben wir den Aufnahmeprozess von Testpersonen in unser Panel mehrmals überarbeitet, um “uninteressierte” Personen auszufiltern und stattdessen Personen zu rekrutieren, die bereit sind, fundiert und konstruktiv an den Usability-Tests teilzunehmen.
6) Entschädigung für Testpersonen: So hoch wie möglich
Die Entschädigung für die Teilnehmer an den Usability-Tests ist entscheidend, um qualitativ hochwertige Tests zu erhalten und auch um die richtigen Personen an diesen Tests teilnehmen zu lassen. So bezahlen wir pro Test standardmäßig 15 EUR bzw. 20 CHF pro Person, für umfassendere Tests aber auch bis zu 25 EUR / CHF 35 pro Person. Der Grund ist, dass es schwierig ist, bestimmte Zielgruppen für Usability-Tests zu rekrutieren, aber auch, dass bei einer zu geringen Entschädigung die Testpersonen die Tests nicht mit der notwendigen Aufmerksamkeit durchführen. Wir planen die Entschädigung im Jahr 2012 nochmals anzupassen um die Qualität noch weiter zu steigern.
7) Die Besten werden immer besser, bleibt der Rest zurück?
Der Großteil unserer Kunden lässt Seiten testen, die bereits auf den ersten Blick erkennen lassen, dass die Usability sehr gut ist. Trotzdem buchen diese Kunden Usability-Tests, um weitere Probleme zu identifizieren und die Usability noch weiter zu steigern.
Wir vergleichen dies immer mit einem jährlichen Gesundheitscheck: Vor allem Menschen, die besonders hohen Stellenwert auf ihre Gesundheit legen führen die Tests durch, auch wenn es keine akuten Gesundheitlichen Probleme gibt.
8) Spezial-Software erlaubt auch die Teilnahme von Nicht-Experten
Die ersten Usability-Tests wurden noch mit Software von Drittanbietern durchgeführt, mit dem Ergebnis, dass wir teilweise stundenlang den Testpersonen Hilfestellung geben mussten, wie die Software zu bedienen ist. Auch wenn jemand eine Website bedienen kann, haben viele Anwender Probleme mit der Installation von Software, der Konvertierung und dem Hochladen von Dateien.
Durch die Entwicklung unserer eigenen Software haben wir diese Probleme gelöst, sämtliche Aufgaben werden durch unsere Software erledigt. Das führt auch dazu, dass absolute Nicht-Experten an den Usability-Tests teilnehmen und dadurch auch die Validität der Ergebnisse erhöht wird. Und die Anzahl der Abende, die wir mit “Einschulungen” für die Tester verbracht haben sind jetzt frei für andere Dinge.
9) Mobiles Usability-Testing steckt noch in den Kinderschuhen
Wir bieten bei Userfeedback auch mobiles Usability-Testing an und obwohl die Nachfrage nach “gewöhnlichen” Usability-Tests unseren Erwartungen entsprach, ist die Nachfrage nach unserer mobilen Usability-Testing Lösung doch noch eher gering. Wir haben mehrere Tester mit Spezialkameras ausgestattet, mit denen der Test von mobilen Applikationen auf Android und iPhone möglich ist.
Allerdings ist unsere Erfahrung so, dass die meisten Unternehmen schon froh sind, einfach eine mobile Applikation zu haben und der Zeitpunkt noch nicht erreicht wurde, an dem wirklich kontinuierlich an der Verbesserung der Usability von mobilen Applikationen gearbeitet wird. Aber was nicht ist, wird sicher noch werden.
10) Die Einbindung von eigenen Kunden
Unsere Software unterstützt auch die Einbindung von eigenen Kunden auf einfache Art und Weise. Wir haben dies bereits in einigen Projekte probiert und haben allerdings die Erfahrung gemacht, dass sehr oft die Kunden nach initialem Interesse nicht mehr interessiert sind, an den Usability-Tests teilzunehmen.
Das kann lag eventuell an der Entschädigung (jedoch muss man auch hier eine realistischen Maximalbetrag finden) und andererseits auch der zeitlichen Verfügbarkeit der Kunden, wodurch eine zügige Abwicklung der Usability-Test erschwert wurde. Stattdessen führen wir bei solchen Projekten seitdem in der Regel ein Vorscreening der Testpersonen aus unserer Datenbank durch, und können für viele Großunternehmen bereits bestehende Kunden rekrutieren bzw. für kleinere Unternehmen die Zielgruppe sehr exakt bestimmen.
Bonus: Fairness mit den Testpersonen
Neben unseren Kunden, sind unsere Tester die wichtigsten “Stakeholder” von Userfeedback. Deshalb bezahlen wir die Usability-Tests immer innerhalb von 2-3 Tagen, erhöhen die Entschädigung wenn der Zeitaufwand höher ist und bezahlen auch eine Entschädigung, wenn Tests aus technischen Gründen schiefgehen, der Tester sich aber offensichtlich bemüht hat. Das führt dazu, dass wir mit vielen Testern eine sehr gute Beziehung aufgebaut helfen, was sich am Ende auch wieder auf die Motivation der Testpersonen auswirkt.
Zusammenfassung
Das letzte Jahr war eine spannende Reise und es ist motivierend zu sehen, wie unsere Kunden konstruktives Feedback erhalten, um Websites und Onlineshops zu verbessern. Auf Grund dieses Feedbacks haben wir weitere Verbesserungen und Erweiterungen geplant, die Reise hat gerade erst begonnen.
Abbruchrate und Usability in Online Shops
Die Abbruchquote bei Online-Shops hat nach brancheninternen Untersuchungen zwei Hauptursachen: mangelndes Vertrauen der Kunden in den Shop, das durch SSL-Zertifikate und eine Shop-Zertifizierung gewonnen werden kann, und die Usability der Shops. Letztere kann nur durch Usability-Tests überprüft werden, für die es erprobte Verfahren gibt.
Aktuelle Zahlen zur Abbruchrate
Die jüngste Untersuchung stammt vom August 2011 (ECC-Shopmonitor), sie meldete zwar eine erfreuliche Tendenz, aber immer noch zu hohe Abbruchquoten, die zu unrealisierten Umsätzen führen. Die Konversion der 20 umsatzstärksten deutschsprachigen Online-Shops steigerte sich von 51,18 Prozent im April 2010 auf 58,38 Prozent im August 2011. Diese Shops haben ihre Hausaufgaben gemacht und die Usability deutlich gesteigert. Die Zertifizierung als geprüfter Online-Shop und die SSL-Sicherheit per Extended Validation gilt ohnehin im Jahr 2011 als Pflicht. Die Zahlen bedeuten jedoch auch etwas anderes: Immer noch brechen mehr als 40 Prozent aller Kunden einen begonnenen Einkauf ab – und das bei den umsatzstärksten Shops.
Kleine Händler, die keine eigene IT-Mannschaft für ihre Shop-Betreuung beschäftigen können, dürften mit weitaus mehr Abbrechern zu kämpfen haben. Im schlimmsten Fall verpuffen teure Werbe- und SEO-Maßnahmen wirkungslos, es entsteht Verlust, obgleich ein gutes Warenangebot präsentiert wird und auch sämtliche Zertifizierungen vorhanden sind.
Messung der Usability
Eine schlechte Usability ist manchmal ebenso schlecht in Worte zu fassen. Jeder kennt als Internet-Nutzer und Online-Shopper das Phänomen, dass er einen Shop mit genau dem Angebot, nach dem er gesucht hat, innerhalb von Minuten oder gar Sekunden wieder verlässt. Es genügt, dass ein notwendiger Link nicht schnell genug gefunden wird. Die Probleme mit mangelndem Vertrauen in den Shop sollen an dieser Stelle außen vor gelassen werden, sie sind auch am schnellsten zu beheben. Eine SSL-Zertifizierung per Extended Validation (mit dem grünen Feld in der Browserzeile) kostet im Jahr 2011 um 150 bis 200 Euro jährlich für einen Shop, eine Zertifizierung als geprüfter Shop noch weit weniger. Diese Dinge sind schnell zu bestellen und problemlos zu implementieren.
Die Usability ist weitaus schwerer festzustellen, während die Änderungen an der Webseite wieder schnell vonstattengehen. Warum ist das so? Ganz einfach: Der Webmaster (Online-Shop-Betreiber) kennt seine Seite, er wird sehr schnell betriebsblind. Denn der Link, nach welchem sein Kunde nur fünf Sekunden zu lange gesucht und dann den Shop verlassen hat, ist ihm geläufig. Und es stecken viele solcher kleinen Fallen in einem Online-Shop. Ein Test mit unbefangenen Personen, die eine Seite so aufrufen, als würden sie dort zum ersten Mal einkaufen, gibt Auskunft über ihre wirkliche Usability.
Der Test wird speziell zur Detailoptimierung durchgeführt. Bei Online-Shops ist der Pferdefuß oft der Bestellprozess. Die Ware wurde gefunden, aber wo ist der Warenkorb? Muss ich mich als Nutzer anmelden? Wo steht, dass ich auch ohne Anmeldung einkaufen kann? Um das herauszufinden, gibt es verschiedene Methoden. Es ist möglich, User zu befragen, das kann allerdings aufwendig sein. On-Site-Befragungen sind sicher nützlich, aber gerade die Abbrecher nehmen daran wahrscheinlich selten teil. Ein User-Tracking-Tool kann die Abbrecherquote genauer ermitteln, denn wie viele User den Shop betreten und ohne Kauf, aber nach längerer Verweildauer wieder verlassen haben, ist webbasiert zu ermitteln. Hierbei wird ein Tracking des Klickverhaltens durchgeführt. Zusätzlich können Testpersonen befragt werden, die vom heimischen PC aus die Usability des Shops überprüfen. Die Kombination dieser beiden Methoden gilt als sehr wirkungsvoll und liefert valide Ergebnisse.
Was bringt der Usability-Test?
Getestete Shops wissen, welche Schwächen ihre Seite hat, sie können sie innerhalb eines halben Tages ausmerzen. Die Abbrecherquote kann danach um 20, 30 oder noch mehr Prozent sinken. Das bedeutet, dass der Shop-Betreiber ein Drittel mehr Umsatz bei genau dem gleichen Aufwand wie zuvor erzielt, und das auf Dauer. Ein auf Usability optimierter Shop bleibt benutzerfreundlich, denn die Usability richtet sich nach relativ feststehenden Größen, etwa der menschlichen Reaktionszeit und der Entscheidungsbildung. Diese Größen ändern sich nicht. Nutzer werden auch in fünfzig Jahren noch in wenigen Sekunden entscheiden, ob sie auf einem Shop verweilen. Sie werden jedoch nie wieder aus Neugier zu lange auf einem Shop verweilen, der ihnen virtuelle Steine in den Weg legt. Das gab es einmal zu Beginn der 2000er Jahre, als das Angebot im Netz noch überschaubar war. Diese Zeit kehrt nicht zurück. Führen Sie daher jetzt einen Usability-Test durch, Sie können nur gewinnen.
Usability-Richtlinien werden von vielen Unternehmen erstellt, um einheitlich Standards in Applikationen zu erreichen und es auch neuen Entwicklern und Designern zu ermöglichen, Interaktionen so zu gestalten, dass einheitliche Richtlinien eingehalten werden.
UsabilityGeek hat vor kurzem eine exzellente Aufstellung über diese Richtlinien gemacht, die wir im folgenden auch auf Deutsch präsentieren möchten.
Wie sind diese Richtlinien zu bewerten? Selbstverständlich sind diese Guidelines hilfreich und sollten auf jeden Fall berücksichtigt werden. Ersetzen sie Usability-Test? Vermutlich nur begrenzt, denn am Ende des Tages können auch die Richtlinien falsch interpretiert werden oder aus Kosten- und Zeitgründen können nicht alle Aspekte berücksichtigt werden, weshalb ein Test trotzdem immer noch stattfinden soll.
Adobe
Apple
- iPhone & iPad (iOS) User Experience Guidelines
- iPhone & iPad (iOS) User Interface Guidelines
- Mac OS X User Experience Guidelines
- Mac OS X User Interface Guidelines
BlackBerry
- Blackberry Browser Content Design Guidelines (PDF)
- User Interface Guidelines for Blackberry Playbook Tablet
- User Interface Guidelines for Blackberry Smartphones
- Android User Interface Guidelines
- Design Principles
- Google TV Web Site Optimization Resources
- Website Design & Content Guidelines
HP
IBM
Microsoft
- Microsoft Surface User Experience Guidelines
- Windows Mobile User Interface Guidelines
- Windows Phone User Experience Design Guidelines
- Windows Touch User Interface Guidelines
- Windows User Experience & User Interface Guidelines
Motorola
Nokia
- Design & User Experience Library
- Design Principles
- Hildon UI Style Guide
- Symbian Design Guidelines
- Usability & Design Resources
- User Experience Resources
Oracle
Samsung
SAP
Sony Ericcson
Bill Gates und das berühmteste Usability-Review der Welt
Microsoft wird sehr oft kritisiert mit dem Hinweis, dass die Benutzerbarkeit und Anwenderfreundlichkeit der Microsoft Produkte schlecht ist und viele Dinge unnötig kompliziert sind. Nun könnte man denken, dass Usability-Testing bei Microsoft keinen hohen Stellenwert hat, allerdings hat der Gründer und CEO von Microsoft, Bill Gates, selbst immer wieder das Ruder in die Hand genommen, um Usability-Probleme zu identifizieren und eine Verbesserung zu erzielen.
Im Rahmen einer Gerichtsverhandlung wurde eine E-Mail aus dem Jahr 2003 veröffentlicht, in der Bill Gates die Benutzbarkeit von Windows Movie Maker, der Microsoft Website und der Windows Update Funktion unter die Lupe nimmt und dabei ein Vielzahl von Usability-Problemen aufzeigt. Dabei beschreibt er laut und deutlich seinen Unmut über die Usability von Windows:
I am quite disappointed at how Windows Usability has been going backwards and the program management groups don’t drive usability issues.
[... es folgt eine 2-Seitige Beschreibung der Usability-Probleme, die er erlebt hat ...]
So after more than an hour of craziness and making my program, s Iist garbage and being scared and seeing that
Microsoft com is a terrible website I haven’t run Moviemaker and I haven’t got the plus package.The lack of attention to usability represented by these experiences blows my mind. I thought we had reached a
low with Windows Network places or the messages I get when I try to use 802.11. (don’t you just love that root
certificate message?
Usability ist Chefsache
Auch dieses Beispiel zeigt klar: Usability und User Experience ist Chefsache. Wenn dies nicht der Fall ist, verliert man die Usability aus den Augen und die Prioritäten werden woanders gesetzt. Das führt über kurz oder lang zu ähnlichen Situationen, wie sie Bill Gates erlebt hat.
Ein weiterer interessanter Punkt ist, dass Microsoft offensichtlich an einem Punkt angelangt ist, an dem all diese Probleme zwar teilweise bekannt sind, aber eine Veränderung trotzdem nicht möglich ist, da es unmöglich ist Usability im Nachhinein einem Produkt oder einer Website aufzuzwingen.
Deshalb ist es wieder ein exzellentes Beispiel, dass Usability und die komplette User Experience bereits in den Frühphasen eines Projektes berücksichtigt werden sollten.
Die komplette E-Mail von Bill Gates
From:
Bill Gates
Sent: Wednesday, January 15, 2003 10:05 AM
To: Jim Allchin Cc: Chris Jones (WINDOWS); Bharat Shah (NT); Joe Peterson; Will Poole; Brian Valentine; Anoop Gupta (RESEARCH)Subject: Windows Usability Systematic degradation flame
I am quite disappointed at how Windows Usability has been going backwards and the program management groups don’t drive usability issues.
Let me give you my experience from yesterday.
I decided to download (Moviemaker) and buy the Digital Plus pack … so I went to Microsoft.com. They have a download place so I went there.
The first 5 times I used the site it timed out while trying to bring up the download page. Then after an 8 second delay I got it to come up.
This site is so slow it is unusable.
It wasn’t in the top 5 so I expanded the other 45.
These 45 names are totally confusing. These names make stuff like: C:Documents and SettingsbillgMy DocumentsMy Pictures seem clear.
They are not filtered by the system … and so many of the things are strange.
I tried scoping to Media stuff. Still no moviemaker. I typed in movie. Nothing. I typed in movie maker. Nothing.
So I gave up and sent mail to Amir saying – where is this Moviemaker download? Does it exist?
So they told me that using the download page to download something was not something they anticipated.
They told me to go to the main page search button and type movie maker (not moviemaker!).
I tried that. The site was pathetically slow but after 6 seconds of waiting up it came.
I thought for sure now I would see a button to just go do the download.
In fact it is more like a puzzle that you get to solve. It told me to go to Windows Update and do a bunch of incantations.
This struck me as completely odd. Why should I have to go somewhere else and do a scan to download moviemaker?
So I went to Windows update. Windows Update decides I need to download a bunch of controls. (Not) just once but multiple times where I get to see weird dialog boxes.
Doesn’t Windows update know some key to talk to Windows?
Then I did the scan. This took quite some time and I was told it was critical for me to download 17megs of stuff.
This is after I was told we were doing delta patches to things but instead just to get 6 things that are labeled in the SCARIEST possible way I had to download 17meg.
So I did the download. That part was fast. Then it wanted to do an install. This took 6 minutes and the machine was so slow I couldn’t use it for anything else during this time.
What the heck is going on during those 6 minutes? That is crazy. This is after the download was finished.
Then it told me to reboot my machine. Why should I do that? I reboot every night — why should I reboot at that time?
So I did the reboot because it INSISTED on it. Of course that meant completely getting rid of all my Outlook state.
So I got back up and running and went to Windows Update again. I forgot why I was in Windows Update at all since all I wanted was to get Moviemaker.
So I went back to Microsoft.com and looked at the instructions. I have to click on a folder called WindowsXP. Why should I do that? Windows Update knows I am on Windows XP.
What does it mean to have to click on that folder? So I get a bunch of confusing stuff but sure enough one of them is Moviemaker.
So I do the download. The download is fast but the Install takes many minutes. Amazing how slow this thing is.
At some point I get told I need to go get Windows Media Series 9 to download.
So I decide I will go do that. This time I get dialogs saying things like “Open” or “Save”. No guidance in the instructions which to do. I have no clue which to do.
The download is fast and the install takes 7 minutes for this thing.
So now I think I am going to have Moviemaker. I go to my add/remove programs place to make sure it is there.
It is not there.
What is there? The following garbage is there. Microsoft Autoupdate Exclusive test package, Microsoft Autoupdate Reboot test package, Microsoft Autoupdate testpackage1. Microsoft AUtoupdate testpackage2, Microsoft Autoupdate Test package3.
Someone decided to trash the one part of Windows that was usable? The file system is no longer usable. The registry is not usable. This program listing was one sane place but now it is all crapped up.
But that is just the start of the crap. Later I have listed things like Windows XP Hotfix see Q329048 for more information. What is Q329048? Why are these series of patches listed here? Some of the patches just things like Q810655 instead of saying see Q329048 for more information.
What an absolute mess.
Moviemaker is just not there at all.
So I give up on Moviemaker and decide to download the Digital Plus Package.
I get told I need to go enter a bunch of information about myself.
I enter it all in and because it decides I have mistyped something I have to try again. Of course it has cleared out most of what I typed.
I try (typing) the right stuff in 5 times and it just keeps clearing things out for me to type them in again.
So after more than an hour of craziness and making my programs list garbage and being scared and seeing that Microsoft.com is a terrible website I haven’t run Moviemaker and I haven’t got the plus package.
The lack of attention to usability represented by these experiences blows my mind. I thought we had reached a low with Windows Network places or the messages I get when I try to use 802.11. (don’t you just love that root certificate message?)
When I really get to use the stuff I am sure I will have more feedback
Umfragen und Fragebögen in Usability-Tests
Usability-Tests haben in der Regel mehrere Videos als Ergebnis, auf denen man den Anwender bei der Benutzung der Webseite sieht und gleichzeitig seine Kommentare hört. Diese Daten sind alleine bereits äußerst hilfreich, man kann allerdings die Aussagekraft eines Usability-Tests noch weiter steigern. Die qualitativen Daten aus den Videos können mit quantitativen Daten erweitert werden, in dem ein Fragebogen in den Usability-Test integriert wird.
Nachfolgend stellen wir einige Beispiele vor, wie man Umfragen in Usability Tests integrieren kann. Diese Integration ist auch mit Userfeedback möglich und mit web-basierten Tools können einfach und schnell Umfragen erstellt werden.
Vorher/Nachher Befragungen
Mit Vorher/Nachher Befragungen können quantitative Daten erhoben werden, die einen Vergleich zwischen zwei Zeitpunkten erlauben. Diese Art von Umfrage ist besonders dann hilfreich, wenn man Veränderungen in der Wahrnehmung der Testpersonen festhalten möchte. In diesem Fall erhebt man zuerst die bisherige Wahrnehmung zu einer Website oder einer Marke. Danach führen die Testpersonen de Usability Test durch und testen die neue bzw. veränderte Website. Am Ende beantworten die Testpersonen nochmals einen Fragebogen in dem nochmals die selben Fragen wie im ersten Fragebogen erhoben werden. Dadurch können Veränderungen in der Wahrnehmung feststellt werden und Aussagen über die Verbesserung und Verschlechterung einer Website getroffen werden.
Weitere Informationen zum Teilnehmer
Auch wenn sie bereits die wichtigsten Informationen über die Testpersonen mit dem Usability-Test mitgeliefert bekommen kann es sinnvoll sein, noch zusätzliche Daten über die Testpersonen zu erheben. Wenn sie zum Beispiel konkrete Fragen zum Verhalten oder zur Lebenssituation dieser Testperson haben, können sie diese in einen Fragebogen integrieren, der am Anfang des Usability-Tests von der Testpersonen beantwortet wird. Damit erhalten sie ein umfassenderes Bild der Testperson und können die Ergebnisse am Ende besser interpretieren.
Quantitative Usability-Kennzahlen
Die qualitative Daten von Usability Testvideos liefern umfassende Informationen über die Usability einer Webseite. Gleichzeitig kann es aber hilfreich sein, die Aussagen aus den qualitativen Informationen mit quantitativen Daten zu untermauern. Durch die Einbindung von speziellen Fragen können konkrete Aussagen über die Benutzbarkeit der Webseite mit Zahlen und Daten gemacht werden. Durch die einfache Frage “Wie bewerten Sie die Benutzbarkeit dieser Webseite auf einer Skala von 1 (schlecht) bis 10 (ausgezeichnet)?” können konkrete Aussagen getroffen werden.
System Usability Scale
Die System Usability Scale bezeichnet einen standardisierten Fragebogen, der aus 10 Fragen besteht, um die Usability von Mensch-Maschine-Schnittstellen zu erheben. Anhand von 10 Fragen bewerten Benutzer die wichtigsten Aspekte der Usability und Sie erhalten konkrete Daten in einer standardisierten Form. Dies ist vor allem dann wertvoll, wenn sie über einen längeren Zeitraum diese Werte beobachten möchten, oder ihre Webseite mit anderen Webseiten vergleichen möchten.
Bei einigen Online Usability-Testing Tools wie zum Beispiel Userfeedback ist die System Usability Scale bereits in jeden Test integriert. Das heißt bei jedem Test erhalten sie konkrete Aussagen zur Benutzbarkeit der Webseite können diese mit anderen Webseiten vergleichen.
Online Tools für Usability-Umfragen
Es existiert eine Vielzahl von Online-Tools, mit denen man einfach und schnell Umfragen für Usability-Test erstellen können. Diese Umfragen können dann über einen Link in den Usability-Test integriert werden. Die Auswertung der Daten kann entweder direkt online geschehen oder sie nutzen eine andere Software wie zum Beispiel Google Docs oder Microsoft Excel.
Nachfolgend stellen wir Ihnen drei verschiedene Tools vor, die sie für ihre Usability Umfrage nutzen können:
Google Forms
Mit Google Forms kann jeder, der einen Google Account besitzt auch ein Umfrageformular gestalten und damit Umfragen durchführen. Die Daten werden im Anschluss in einem Google Docs Dokument gespeichert und stehen für sie zur Weiterbearbeitung bereit. Für einen schnellen Einstieg ist dies die optimale Variante. Weitere Informationen unter http://docs.google.com
SurveyMonkey
SurveyMonkey ist eine der bekanntesten und beliebsten Umfragetools im Internet, welches hervorragend für einfache Umfragen in Usability-Tests geeignet ist. Allerdings erlaubt die kostenlose Version nur sehr begrenzt die Anpassung der Umfrage an die eigenen Anforderungen, trotzdem ist dies ein empfehlenswertes Werkzeug. Alternativen sind SurveyGizmo und Wufoo, weitere Informationen zu SurveyMonkey finden sie unter: http://www.surveymonkey.com
KeySurvey
KeySurvey ist eine der umfangreichsten und umfassendsten Umfrage-Werkzeuge am Markt. Gleichzeitig sind allerdings auch die Kosten für diese Lösung nicht zu vernachlässigen und daher nur für umfassende, längerfristige Studien sinnvoll. Weitere Informationen finden sie unter http://www.keysurvey.com/
Usability-Testing ist eine weit verbreitete Methode, um benutzerfreundliche Websites zu erstellen. Dabei wird eine Website von Testpersonen benutzt und die Testperson selbst wird gleichzeitig beobachtet, um Probleme und Verbesserungsmöglichkeiten zu identifizieren. Dies kann in normalen Büroräumen geschehen oder in sogenannten Usability-Labors, die speziell für diese Zwecke eingerichtet werden.
Allerdings ist es natürlich auch so, dass Usability-Tests nicht immer ganz billig sind. Wenn man einen traditionellen Usability-Test im Labor durchführt entstehen schnell Kosten von mehreren tausend Euro und der administrative Aufwand, um eine solchen Test abzuwickeln ist nicht zu unterschätzen. Selbst wenn man sich entscheidet, einen Usability-Test selbst durchzuführen müssen die Testpersonen rekrutiert werden, die Räumlichkeiten vorbereitet werden und die Personen betreut werden.
Neue Technologien machen es möglich, dass man die Kosten für Usability-Tests drastisch senken kann: Remote Usability-Testing ist der Fachbegriff für Usability-Tests die nicht im Labor durchgeführt werden, sondern direkt beim Kunden zu Hause am eigenen Computer.
Die Stärken von Remote Usability-Tests
Mit Remote Usability-Tests spart man Zeit und Geld, da der organisatorische Aufwand für die Vorbereitung des Usability-Tests wegfällt. Gleichzeitig entfällt auch die Suche nach Personen, die an einem solchen Test teilnehmen könnten, da die Unternehmen, die Remote Usability-Tests anbieten in der Regel auch über eine großen Datenbank an potentiellen Testpersonen verfügen.
Eine solche Datenbank bringt noch einen weiteren Vorteil mit sich: Wenn sie eine ganz spezielle Gruppe von Testpersonen suchen, müssen sie diese nicht selbst rekrutieren, sondern können mit diesem Online-Panel zusammenarbeiten, um die entsprechenden Personen auszuwählen. Damit können sie gezielt auf die richtige Zielgruppe zugreifen, die Personen können dabei aus einer komplett anderen Region sein aber nehmen trotzdem an diesem Usability-Test teil.
Die Schwächen von Remote Usability-Tests
Natürlich bietet ein Remote Usability-Test auch Nachteile. Sie können z.B. die Testpersonen nicht in Echtzeit beobachten und während des Tests Fragen stellen, da sie keine direkte Verbindung zu den Testpersonen haben. Auch wenn eine Testperson vielleicht zu sehr ins Detail geht und den Fokus verliert können sie nicht in Echtzeit eingreifen sondern müssen die Testperson beobachten, wie sie dies erklärt und danach mit den nächsten Aufgaben weitermacht.
Kriterien erfolgreicher Remote Usability-Tests
Anhand verschiedener Kriterien können sie bereits vorab feststellen, ob ein Remote Usability-Test zu den gewünschten Ergebnissen führen wird. Dabei sind folgende Punkte zu beachten:
1.) Die Testpersonen entsprechen ihrer Zielgruppe
Um fundiertes Feedback zu Ihrem Usability-Test zu erhalten ist es notwendig, dass die Tests auch wirklich von Personen aus Ihrer Zielgruppe durchgeführt werden. Studenten können schnell rekrutiert werden, geben Ihnen aber unter Umständen wenig hilfreiches Feedback. Deshalb ist bei der Auswahl besonders darauf zu achten, dass die Personen ihre Zielgruppe repräsentieren.
2.) Die Rahmenbedingungen für den Test sind für alle Personen gleich
Wenn die Person den Test durchführt muss sichergestellt werden, dass für alle Testpersonen die selben Rahmenbedingungen vorherrschen. Das bedeutet, der Tester darf nicht zu sehr durch das Lesen der Aufgaben abgelenkt werden und gerade bei längeren Tests sollte sichergestellt werden, dass die Konzentration der Testpersonen nicht zu sehr gefordert wird.
3.) Die Testperson ist motiviert, ein gutes Ergebnis abzuliefern
Eine faire Entschädigung ist entscheidend, um gutes Feedback der Testpersonen zu erhalten. Wenn sie die Testpersonen mit wenigen Euro entschädigen wird auch die Bereitschaft fundiertes Feedback zu geben sehr gering sein. Es ist ein feiner Grad zwischen einem ernstgemeinten Usability-Test und einem hastig durchgeführten Usability-Test. Stellen sie zu Beginn sicher, dass die Testpersonen ausreichend bezahlt werden.
4.) Weitere Informationen zu den Testpersonen
Es ist in der Regel noch hilfreich, wenn man neben dem eigentlich Usability-Test auch noch weitere Informationen zur Testperson erhalten. Das bedeutet unter anderem demographische Daten als auch technische Informationen des Computers und des benutzen Browsers zu erfassen.
Mit Hilfe dieser Kriterien können sie bereits vor der Durchführung eines Usability-Tests sicherstellen, dass die Ergebnisse wertvoll sind und einen Nutzen bringen. Damit können sie Zeit und Kosten sparen und mit hochwertigen Feedback den Testpersonen helfen Ihre Aufgaben durchzuführen.
Usability-Tests in der Frühphase von Web-Projekten
Wenn sie die Entwicklung einer neuen Website planen, ist eine Regel besonders zu beachten: Ein außergewöhnliches grafisches Design, spannende Inhalte und interaktive Seitenelemente nutzen nichts, wenn sie den eigentlichen Anwender bzw. Kunden nicht im Fokus haben. Wenn sich der Kunde Informationen auf der Seite nicht findet, existieren sie für ihn auch nicht.
Die tatsächlichen Vorkenntnisse, Bedürfnisse und Interessen des Nutzers müssen adressiert werden, um den Nutzer mit den zur Verfügung gestellten Informationsquellen zufrieden zustellen und ihm eine positive Erlebnis zu bieten. Das klingt kompliziert, mit der richtigen Vorgehensweise ist das ein relativ einfach möglich: Der Schlüssel zum Erfolg liegt in der frühzeitigen Durchführung von Usability-Tests.
Wie früh sollte man Usability-Tests einsetzen?
Benutzertests sollten so früh wie möglich durchgeführt werden. Je früher sie nämlich die Usability-Tests durchführen und sich Feedback von Kunden einholen, desto einfacher können sie noch die Änderungen durchführen. Im Folgenden betrachten wir die verschiedenen Phasen in der Entwicklung eines Web-Auftrittes.
Entwurf
In der ersten Phase der Entwicklung einer neuen Website geht es vor allem darum, die Inhalte und deren Positionierung auf der Webseite zu testen. Dazu werden sogenannten Mockups oder Wireframes eingesetzt, die die Grundstruktur einer Webseite darstellen. Damit kann bereits Feedback von Kunden eingeholt werden und getestet werden, ob die Kunden die relevanten Informationen auf der Webseite finden und ob diese richtig angeordnet sind.
Gestaltung
In der Phase der Gestaltung werden teilweise interaktive Demos erstellt und damit die grundlegenden Funktionen einer Live-Website dargestellt. Wenn Sie sich in der Designphase befinden, können Sie bereits Ihr Design testen und sicherstellen, dass Ihre Anwender das Aussehen mögen und Positionierung für gut befinden. Probleme, die in dieser Phase auftreten, können noch mit relativ geringen Kosten geändert werden. Um auf Nummer sicher zu gehen, können auch mehrere Tests durchgeführt werden, bevor sie die eigentliche Implementierung starten.
Umsetzung
In der Umsetzungsphase werden Ihre Konzepte und Ideen in eine echte Webseite übertragen. Wenn Sie bereits in den frühen Phasen getestet haben, sollten sie in dieser Phase keine signifikanten Probleme mehr feststellen. Das Ziel von Benutzertests in dieser Phase ist, tatsächlich Vertrauen zu gewinnen, um mit Ihrer Website online zu gehen. Alle wesentlichen Änderungen, die zu diesem Zeitpunkt noch vorgenommen werden müssen, sind schwieriger und teurer zu implementieren.
Vorteile des frühen Einsatzes von Usability-Tests
Es gibt mehrere Vorteile, die sich aus dem frühen Einsatz von Usability-Tests ergeben. Sicherlich der größte Vorteil ist, dass Änderungen in Mockups oder Wireframes einfach und schnell durchgeführt werden können. Außerdem sind die Kosten der Änderungen erheblich geringer verglichen mit Änderungen an einer Live-Website.
Neben den technischen und finanziellen Aspekten gibt es auch einen psychologischen Aspekt der Anpassung der Änderungen in einer Anfangsphase. Man ist vermutlich eher bereit, eine Skizze zu überarbeiten oder zu verwerfen als ein komplettes Design oder eine bereits existierende Website zu überarbeiten.
Was ist User Centered Design?
Hinter dem Begriff User Centered Design, auf Deutsch “nutzerorientierte Gestaltung”, verbirgt sich das Konzept interaktive Produkte auf eine Weise zu gestalten, dass sie für den Nutzer den größtmöglichen Wert und eine optimale Funktionalität im täglichen Gebrauch haben. Der Nutzer, seine Ansprüche und Bedürfnisse stehen im Fokus der gesamten Produktplanung. Je genauer diese Parameter umgesetzt werden, desto zufriedenstellender verläuft auch der Usability Test.
Die Produktplanung verläuft als ganzheitlicher Gestaltungsprozess, der sich in vier Stufen gliedert: Analyse des Nutzungskontextes, Anforderungsdefinition, Konzeption und Entwurf sowie die Evaluation. Die erste Stufe, die Analyse, umfasst eine grundlegende Informationsbeschaffung bezüglich des Nutzers: Was wünscht er, was erwartet er und welche Ziele hat er?
In der zweiten Stufe werden die sich aus den Informationen ergebenden Anforderungen an das Produkt festgelegt, die wiederum als Grundlage für Stufe Drei dienen: der Konzeption und dem Entwurf. Das Produkt wird geplant, wobei kontinuierlich die Nutzerrelevanz im Vordergrund steht und erste Konkretisierungen häufig von weiteren Aspekten abgelöst werden, die sich während der Planung und des Entwurfs ergeben. Diese Stufe wird mit der Erstellung eines Papier-Prototyps oder eines Mockups abgeschlossen.
Nun folgt die letzte Stufe, die Evaluation. Hier erfolgt ein Test der Prototypen im zukünftigen Einsatzgebiet, kombiniert mit Gesprächen mit den Nutzern und dem Einholen ihres Feedbacks. Erfüllt das Produkt nicht die notwendigen Anforderungen, wird es überarbeitet.
Die Basis für alle Stufen bilden drei Strategien:
- erstens ein interaktives Vorgehen, dass den Nutzer stets mit einbezieht,
- zweitens der Umstand, dass der Nutzer und seine Aufgaben und Bedürfnisse grundsätzlich im Vordergrund stehen,
- und drittens der Praxistest durch den Nutzer, bevor das Produkt in Serie geht.
Es wird prinzipiell nicht am Nutzer vorbei geplant, sondern gemeinsam mit ihm.
In einigen Fällen erfolgt bereits die Entwurfsplanung in enger Kooperation mit den Nutzern: Die Designer sind vor Ort, gewinnen einen Überblick über das Arbeitsfeld des jeweiligen Nutzers und erkennen von Anfang an, welche Anforderungen und Ziele sie in den Mittelpunkt des Designs stellen müssen.
Es wird deutlich, wie wichtig beim User Centred Design die Sammlung von Informationen über den Nutzer und sein Arbeitsgebiet ist. Aus diesem Grund liegt ein besonderer Schwerpunkt auf den Methoden, die zur Gewinnung der Informationen angewendet werden. So werden oftmals ausführliche Gespräche mit den Nutzern geführt oder Online-Befragungen durchgeführt. Auch können Analysen der Zusammenhänge der entsprechenden Arbeitsgebiete Aufschluss geben über die nötige Tauglichkeit des Produkts (Contextual Inquiry). Wie bereits erwähnt, ist der Praxistest von Prototypen sehr wichtig und gehört zur Strategie der nutzerorientierten Gestaltung.
Eine systematische Befolgung aller Methoden gewährleistet, dass Produkte genau auf die Anforderungen der Nutzer zugeschnitten sind.