Um höhere Lernziele zu überprüfen, benützt man mit Vorzug die offenen Fragen, im speziellen die Form des Aufsatzes. Dort muss der/die GeprüfteR seine/ihre Ideen in eigene Worte fassen, das Problem strukturieren und lösen.

Die offenen Fragen sind weniger häufig anzutreffen, da die Beantwortung während eines Tests normalerweise viel mehr Zeit in Anspruch nimmt und die Antwortverarbeitung bei dieser Klasse viel aufwändiger ist.
Die Testperson gibt eine eigene, eine «constructed» Antwort ein. Diese Antwort ist je nach Umfang und Inhalt sehr schwierig zu analysieren.
Es gibt beim offenen Fragetyp zwei Unterklassen, die Einfacheingabe und den Aufsatz.
Bei Online-Tests häufiger anzutreffen ist erstere, welche mit einer kurzen Texteingabe oder einer Zahl beantwortet werden müssen. Hier können die Fragen im Idealfall so unmissverständlich gestellt werden, dass nur eine einzige (oder wenige, aber genau definierte) Antwort als richtig gelten kann. Damit sind sie wieder eindeutig und objektiv bewertbar.

Beim Aufsatz hingegen ist die menschliche Bewertung bezüglich der Korrektur immer noch am zuverlässigsten. Es gibt zwar Ansätze, in denen z.B. der Text nach An- oder Abwesenheit von Stichworten durchkämmt wird und diese einzeln bewertet werden. Doch diese Algorithmen versagen, wenn es um semantische, inhaltliche Probleme geht.

Vorteile:
Lernziele der höheren Bereiche können mit offenen Fragen geprüft werden.
Die Testpersonen können nicht raten und müssen selbstständig etwas schreiben.

Nachteile:
Die Beantwortung der Fragen braucht vor allem beim Aufsatz eine angemessene Zeitspanne. Die Korrektur kann inkonsistent und wenig objektiv ausfallen, dies auch wieder vor allem beim Aufsatz.

1. Einfacheingabe (Short Text)

Bei der Einfacheingabe muss die Testperson eine Antwort auf eine Frage («question form») geben, Lücken in einem Satz ergänzen («completion form») oder assoziative Begriffe zu vorhandenen Ausdrücken einsetzen («association form»).

Bei der ersten Variante ist z.B. eine Rechenaufgabe gemeint, in der die Testperson als Antwort eine Zahl in die Lücke schreiben muss.
Bei dem Lückentext können eine oder mehrere Stellen im Text ausgespart sein und die Testperson muss den Zusammenhang verstehen, um die Wörter einzusetzen. Zu viele Lücken in einem Text sind hier zu vermeiden, da so der Zusammenhang nicht mehr ersichtlich ist.
Die dritte Variante ist eine Erweiterung der Zuordnung, hier muss die Testperson die Begriffe schreiben, sie sind nicht mehr vorgegeben.

Wichtig hierbei ist, dass die Fragen auch hier sorgfältig gestellt werden müssen, damit der
Zusammenhang klar und nur eindeutige Antworten möglich sind.

2. Freie Texteingabe, Aufsatz (Essay)

Hier wird vom Benutzer ein eigener Textbeitrag verlangt. Die Bewertung der Antwort kann
(noch nicht) automatisiert geschehen. So müssen die Texte immer noch von Menschen bewertet werden. Man unterscheidet zwei verschiedene Bewertungen, die analytische («analytical scoring») und die ganzheitliche («holistic scoring»).

Die analytische Bewertung greift wichtige Punkte aus dem Aufsatz auf und bewertet diese. Die ganzheitliche hingegen richtet den Fokus auf die Gesamtqualität, ist eher subjektiv, aber schneller durchzuführen. Sie werden vorzugsweise in Kombination verwendet.

Quelle (dl: 16.10.06)

Bei den geschlossenen Fragetypen sind die Antworten bereits vom Testadministrator vorgegeben.
Die Testperson wählt dann nur noch aus dem Angebot die gewünschten Antwort(en) aus.

Diese Fragen sind einerseits einfach darstellbar (häufig in Form von Mehrfach-Auswahl-Fragen), die Antworten (da genau definiert und vorgegeben) gut und objektiv zu messen. Die Bewertung ist somit (relativ) einfach vorzunehmen.

Die Erstellung der Fragen gestaltet sich aber sehr aufwändig, da viele Regeln bei der inhaltlichen Fragekonstruktion zu beachten sind.
Beispielsweise sollen Frage und Antwort(en):

1. Keine ungewollten Lösungshinweise («cues») beinhalten,
2. angemessen bezüglich der Zielgruppe sein,
3. sprachlich klar formuliert sein,
4. eine eindeutig beste Lösung haben,
5. ein in sich geschlossenes Ganzes bilden,
und auf ein klar umschriebenes Problem fokussieren.

Die Verarbeitung (Korrektur) ist hingegen stark erleichtert, da genau definierte Antworten
eingehen und keine inhaltliche Überprüfung mehr vorgenommen werden muss.

Vorteile:
Die Testperson benötigt relativ wenig Zeit zur Beantwortung. Aus diesem Grund können viele Fragen gestellt werden. Das erfragte Wissensgebiet ist grösser.
Die Bewertung ist konsistent (reliabel), da auch nach wiederholter Bewertung die gleiche Antwort immer dasselbe Resultat ergibt (falls der Inhalt der Fragen genügend klar und der Zielgruppe angemessen ist).

Nachteile:
Falls nicht eine grosse Sorgfalt und Evaluation in der Herstellung der Fragen aufgewendet wird, wird nur das unterste Lernziel (Wissen) geprüft.

1. Richtig/Falsch-Auswahl (True-False)

Der Testperson wird eine Aussage vorgelegt. Für jede Aussage muss sie entscheiden, ob sie richtig oder falsch ist. Als Variante kommen noch die Bewertung von kausalen Verknüpfungen
von zwei Aussagen in Frage.
Hier muss die Testperson entscheiden, ob die Aussagen richtig und ob sie zudem noch richtig verknüpft sind.

2. Mehrfach-Auswahl (Multiple Choice)

Der Testperson wird eine Frage mit einer Auswahl an Antworten (in der Regel 5) präsentiert.
Diese muss dann angeben, welche der Antworten zutreffen (im Normalfall ist es eine). Ist es genau
eine Antwort, die zutrifft, wird dieser Typ auch Einfach-Auswahl (Single Choice) oder Best-Antwort-Typ genannt.

Die Fragen können so formuliert sein, dass aus den Antworten einerseits diejenige auszuwählen ist, die nicht zutrifft (negative Einfachwahl) oder andererseits diejenige zu wählen ist, die am besten zutrifft (positive Einfachwahl).

Die Testperson muss je nach Fragestellung als Lösung mehrere, alle oder gar keine auswählen (im letzteren Fall würde das Auslassen der Frage die volle Bewertung ergeben, daher ist diese Option nicht empfehlenswert).
Es lässt sich sagen, dass mit diesem Fragetyp besser höhere kognitive Ziele geprüft
werden können als mit den Richtig/Falsch-Fragen.

3. Zuordnung (Matching)

Dieser Typ könnte auch der Mehrfach-Auswahl zugeordnet werden. Er wird hier als separater Typ aufgeführt, da er normalerweise in zwei Spalten dargestellt wird. Der Testperson werden in der einen Spalte die Vorgaben oder Fragen präsentiert.
In der anderen Spalte werden mögliche Antworten aufgelistet.
Nun muss sie den Fragen die richtigen Antworten zuordnen. Es sind im Normalfall mehr Antworten als Fragen/Aussagen vorhanden. Und eine Antwort kann mehr als einmal verwendet werden.
Dieser Typ ist angenehmer in der Erstellung, da keine Wahlantworten konstruiert werden müssen. Er ermöglicht auch die Prüfung eines umfangreicheren Wissensgebiets.

4. Hot Spot, Hot Objekt

Gerade in Verbindung mit multimedialen oder interaktiven Elementen im Internet sind Erweiterungen der oben genannten geschlossenen Fragen möglich.
So zum Beispiel kann bei der Richtig/Falsch-Frage oder bei der Mehrfach-Auswahl direkt mit der Maus auf eine (Antwort-)Grafik geklickt werden. Dies nennt man auch «Hot Object».
Oder in einer Grafik oder einer dreidimensionalen Umgebung kann zur Antwort auf einen Bereich geklickt werden («Hot Spot»).
Dies erfordert eine recht lange Zeit in der Herstellung der Inhalte, kann aber der Abwechslung und dem besseren Verständnis der Fragen dienen.

Quelle (dl: 16.10.06)

Da sich im Laufe des Seminars mehrere Gruppen mit dem Thema "Hot Potatoes" auseinandersetzen werden, wollen wir nachstehend diese Applikation näher vorstellen.

Was ist Hot Potatoes?

Hot Potaotes ist eine Quizapplikation, die ein vorformuliertes Feedback auf die Antworten gibt.

Was kann Hot Potatoes?

• Quiz- und Fragetypen: Mit Hot Potatoes können diverse Quiz- und Fragetypen verwendet werden wie z.B. Multiple Choice, Multiple Correct, Short Answer, Lückentexte, Kreuzworträtsel oder Zuordnungsquizzes. Mehr zu den Quiz- und Fragetypen hier.
• Rückmeldungen: Zu jeder Antwortmöglichkeit wird eine Rückmeldung verfasst, die nach Anklicken der Antwort eingeblendet wird. Gute Rückmeldungen sind extrem wichtig, weil man gerade auch aus falschen Antworten lernt. Wegweiser für gute MC-Fragen findet ihr einerseits im Beitrag weiter unten ("Allgemeine Regeln zum Verfassen von Choice-Fragen" von Cornelia) und andererseits hier unter mcfragen (pdf, 396 KB) .
• Quiz mühelos publizieren: Zur Publikation der Quizzes lässt sich mit einem Klick eine interaktive Website generieren, die anschließend im Internet bereitgestellt werden kann.
• Bilder in Quizzes verwenden: Zur Aufwertung lassen sich in den Quizfragen auch Bilder und andere Multimediadataien anzeigen.
• Erfolgskontrolle: Lernende können ihren Quiz-Fortschritt anhand des Punktestandes (in %) und über eine Schaltfläche überprüfen, die alle Fragen und Antworten untereinander auflistet. Dabei bleibt erkennbar, wo falsch und wo richtig geantwortet wurde.
• Erscheinungsbild: Das Erscheinungsbild eines Quiz - wie z.B. Hintergrundsfarbe oder Schriftgröße - lässt sich verändern.

Was kann Hot Potatoes nicht?

• Prüfungen: Hot Potatoes ist nicht als Applikation zur Erstellung von webbasierten Prüfungen konzipiert. Dazu wären umfangreiche technische Absicherungen und Funktionen nötig. Vielmehr eignet sich Hot Potatoes hervorragend für Selbsttests.
• Passwortgeschützte Quizzes: Die Lizenzbedingungen von Hot Potatoes erfordern einen freien Internetzugang zu allen mit Hot Potatoes erstellten Quizzes.

Welche Vorteile haben webbasierte Quizzes mit Hot Potatoes?

• Unabhängigkeit: Sowohl die Lehrenden als auch die Lernenden können von überall und jederzeit Fragen beantworten, verändern und neue Fragen hochladen.
• Interaktivität: Hot Potatoes gibt eine Rückmeldung, sobald auf eine (richtige oder falsche) Antwort geklickt wird. Nachdem die richtige Antwort einmal angeklickt wurde, können Lernende immer noch frei entscheiden, wann sie zur nächsten Frage übergehen möchten. Die Rückmeldungen aller Antworten bleiben stets abrufbar.
• Zufällige Verteilung: Während auf Papier Fragen und Antworten zwangsweise immer in der gleichen Reihenfolge erscheinen, kann sie Hot Potatoes bei jedem Durchgang neu mischen. Die Quizfragen bleiben so auch bei mehreren Durchgängen attraktiv, da sich die Stelle der richtigen Antwort nicht merken lässt.
• Erfolgskontrolle: Über einen Punktestand (in %) und eine Schaltfläche, die alle bisher gewählten Antworten auflistet, kann der Quiz-Fortschritt jederzeit überprüft werden.

Quelle:

ETH: Hot Potatoes - die ELBA-Quizapplikation