User-Testings der Online-Entscheidungshilfen

Pressemitteilung: 30. März 2022

Im Rahmen des Innovationsfonds-Projekts „Making SDM A Reality” am UKSH in Kiel wurden in den vergangenen vier Jahren für 80 Fragestellungen evidenzbasierte Online-Entscheidungshilfen entwickelt. Jede Entscheidungshilfe sollte nach Fertigstellung einem User-Testing zugeführt werden, um Verbesserungspotenziale aus Perspektive der zukünftigen Nutzer:innen identifizieren und berücksichtigen zu können. 

Das User-Testing bestand aus zwei methodischen Komponenten.  

Erstens wurden zwischen 5 und 11 Proband:innen, die vom Alter und Gesundheitszustand zu der jeweiligen Fragestellung passten, gebeten, sich die Entscheidungshilfen anzusehen und ein Feedback in Form eines standardisierten Fragebogens mit 27 Fragen zu geben.  

Zweitens wurde im Rahmen eines kognitiven Labortests („think aloud“) die Entscheidungshilfe jeweils 5 Proband:innen vorgelegt.  Die Testpersonen wurden bei der Bearbeitung gebeten „laut zu denken“. Alles, was dabei auffiel, Schwierigkeiten bereitete oder verbesserungswürdig erschien, sollte von den Proband:innen verbalisiert werden. Der Untersuchungsleiter notierte die Kommentare und ordnete sie vier Kategorien zu: IT (Verbesserungen in der Programmierung der Webseiten), Film/ Produktion (Kommentare zu den multimedialen Aspekten), Medical Writing (Texte, Darstellung der Zahlen) und Evidenz (Kommentare zu den zitierten Vergleichen, Studien und Zahlen).

Diese Ergebnisse wurden von den jeweiligen Arbeitsgruppen im Anschluss gesichtet und je nach Wichtigkeit, Dringlichkeit und Relevanz entweder direkt in die Entscheidungshilfen eingearbeitet oder in einer eigens eingerichteten Ablagestruktur für die nächste Revision vorgemerkt.

Von den 80 Entscheidungshilfen konnten im Rahmen der Projektlaufzeit zu 66 Entscheidungshilfen User-Testings durchgeführt und abgeschlossen werden. Die Gründe, warum die restlichen Themen nicht bearbeitet werden konnten lagen daran, dass die Entscheidungshilfen zu spät fertig wurden (Verzögerungen der Projektplanung u.a. durch Covid-19), dass die Themen zu speziell waren, um adäquate Testpersonen zu finden (z.B. Stammzelltransplantation bei Myelodysplastischem Syndrom), oder dass die Entscheidungshilfe ohnehin in enger Zusammenarbeit mit Patient:innen/ Nutzer:innen erstellt wurde und ein weiteres User-Testing nicht erforderlich schien (z.B. Advanced care planning). 

Für die 66 evaluierten Themen wurden insgesamt 438 Testpersonen mittels Fragebogen befragt (zwischen 5 und 11 pro Thema; Median 10). Ihr Durchschnittsalter lag bei 48,3 Jahren. Sie waren genau zur Hälfte Frauen. Ihre Internet-Affinität gaben sie auf einer Skala von 1 bis 5 (1 = gar nicht affin; 5 = sehr affin) mit durchschnittlich 3,9 Punkten an. Die Antworten auf die 27 Fragen fielen insgesamt sehr positiv aus. Auf einer Skala von 1 bis 5 (1= nicht zutreffend; 5 = zutreffend) lagen die Bewertungen alle über 4.  

Die Einzelergebnisse finden sich in der Abbildung. Insbesondere die Weiterempfehlungsbereitschaft fiel mit durchschnittlich 4,7 Punkten sehr hoch aus. 

In den kognitiven Laborverfahren wurden Insgesamt 292 Proband:innen untersucht. Das entspricht durchschnittlich 4,4 Personen pro Fragestellung. Insgesamt wurden in den 66 Fragestellungen 19-mal Verbesserungspotenziale für die Programmierung (IT), 56-mal für den Bereich Film/ Produktion, 59-mal für das Medical Writing und 22-mal für die Evidenz identifiziert. Der überwiegende Anteil dieser Hinweise konnte unmittelbar in die Entscheidungshilfen eingearbeitet werden.