Unsere Gruppe, die aus Alexandra Melion, Johannes Egler und mir besteht, wird sich im Laufe dieses Semesters mit der Gegenüberstellung bzw. Bewertung von Lernplattformen im Umfeld der JKU beschäftigen.

Nach einer umfassenden Web- und Literaturrecherche zeigte sich, dass die herkömmlichen Bewertungsverfahren alle unterschiedliche Stärken und Schwächen aufweisen.

Mit folgende Methoden haben wir uns näher beschäftigt:

• Kriterienkataloge
• Rezensionen
• Vergleichsgruppen
• Expertenurteil

Ausgehend von unserer Recherche und den Vor- und Nachteilen der jeweiligen Methoden haben wir uns für die Methode des Kriterienkataloges entschieden.

Sie erfreut sich in der Praxis großer Beliebtheit. Die Bewertung erfolgt in Form von Prüf- oder Checklisten und soll so eine Bewertung der Qualität des Produktes darstellen.

Das Verfahren weist folgende Vorteile auf:

• kostengünstig
• einfache Organisation
• methodisch sauberes Verfahren

Nachteile bestehen in:

• der Vollständigkeit und dem Detaillierungsgrad der einzelnen Bewertungsfaktoren
• dem fehlenden bzw. strittigen Bewertungs- und Gewichtungsverfahren
• der theoretischen Orientierungslosigkeit

Um die oben beschriebenen Nachteile von Kriterienkatalogen zu umgehen, haben wir das von Michael Scriven 1991 entwickelte Verfahren der qualitativen Gewichtung und Summierung (QGS) angewendet. Da es sich um ein relativ komplexes Verfahren handelt, es aber für die Bewertung eine zentrale Rolle spielt, wollen wir dies theoretisch kurz skizzieren.

Im ersten Schritt werden nicht die Evaluanden (zu untersuchenden Lernplattformen) betrachtet, sondern die Liste der Kriterien, die in den Bewertungsprozess mit einbezogen werden.

Es werden nun 5 Gewichte für die jeweiligen Kriterien vergeben. Folgende Einteilung hat sich in der Praxis bewährt:

• Essentiell (E)
• Äußerst wichtig (*)
• Sehr wichtig(#)
• Wichtig (+)
• Weniger wichtig (I)
• Nicht wichtig (0)

Danach werden alle 0 Dimensionen gestrichen, da sie für die weitere Bewertung irrelevant sind.

Anschließend werden die einzelnen Evaluanden (Lernplattformen) auf Minimalanforderungen (E) überprüft. Erfüllt ein Evaluand die Mindestanforderungen nicht, wird er aus der Analyse ausgeschlossen.

Die zu untersuchenden Kriterien der verbleibenden Evaluanden weisen nun einen Unterschied zwischen „Äußerst wichtig“ (*) und „Weniger wichtig“ (I) auf.

Der nächste Schritt ist die Bewertung dieser Kriterien für jeden einzelnen Evaluanden. Die Bewertung erfolgt von 0 bis zur maximalen Gewichtung des jeweiligen Kriteriums.

Nun wird für jeden Evaluanden die Summe der Gewichtung der Kriterien gebildet und das Ergebnis eine Liste darstellt, welche eine Rangordnung aufzeigt.

Anschließend kann geprüft werden, ob bereits eine eindeutige Rangordnung möglich ist.


Evaluations- bzw. Bewertungsdesign

Die praktische Umsetzung des Bewertungsprozesses unterteilt sich in zwei Phasen

Phase 1:

• Erarbeitung der Evaluierungskriterien, Definition der Mindestkriterien (K.O. Kriterien). Parallel dazu erfolgt die Dokumentation der relevanten Lernplattformen

• Anwenden des Kriterienkataloges und der Mindestanforderungen

• Operationalisierung der Bewertungskriterien

Phase 2:

• Anwenden der Gewichtung auf die Bewertungskriterien

• Herausfiltern der Spitzengruppe

• Durchführung eines Usability-Tests durch unser Evaluationsteam