Um höhere Lernziele zu überprüfen, benützt man mit Vorzug die offenen Fragen, im speziellen die Form des Aufsatzes. Dort muss der/die GeprüfteR seine/ihre Ideen in eigene Worte fassen, das Problem strukturieren und lösen.

Die offenen Fragen sind weniger häufig anzutreffen, da die Beantwortung während eines Tests normalerweise viel mehr Zeit in Anspruch nimmt und die Antwortverarbeitung bei dieser Klasse viel aufwändiger ist.
Die Testperson gibt eine eigene, eine «constructed» Antwort ein. Diese Antwort ist je nach Umfang und Inhalt sehr schwierig zu analysieren.
Es gibt beim offenen Fragetyp zwei Unterklassen, die Einfacheingabe und den Aufsatz.
Bei Online-Tests häufiger anzutreffen ist erstere, welche mit einer kurzen Texteingabe oder einer Zahl beantwortet werden müssen. Hier können die Fragen im Idealfall so unmissverständlich gestellt werden, dass nur eine einzige (oder wenige, aber genau definierte) Antwort als richtig gelten kann. Damit sind sie wieder eindeutig und objektiv bewertbar.

Beim Aufsatz hingegen ist die menschliche Bewertung bezüglich der Korrektur immer noch am zuverlässigsten. Es gibt zwar Ansätze, in denen z.B. der Text nach An- oder Abwesenheit von Stichworten durchkämmt wird und diese einzeln bewertet werden. Doch diese Algorithmen versagen, wenn es um semantische, inhaltliche Probleme geht.

Vorteile:
Lernziele der höheren Bereiche können mit offenen Fragen geprüft werden.
Die Testpersonen können nicht raten und müssen selbstständig etwas schreiben.

Nachteile:
Die Beantwortung der Fragen braucht vor allem beim Aufsatz eine angemessene Zeitspanne. Die Korrektur kann inkonsistent und wenig objektiv ausfallen, dies auch wieder vor allem beim Aufsatz.

1. Einfacheingabe (Short Text)

Bei der Einfacheingabe muss die Testperson eine Antwort auf eine Frage («question form») geben, Lücken in einem Satz ergänzen («completion form») oder assoziative Begriffe zu vorhandenen Ausdrücken einsetzen («association form»).

Bei der ersten Variante ist z.B. eine Rechenaufgabe gemeint, in der die Testperson als Antwort eine Zahl in die Lücke schreiben muss.
Bei dem Lückentext können eine oder mehrere Stellen im Text ausgespart sein und die Testperson muss den Zusammenhang verstehen, um die Wörter einzusetzen. Zu viele Lücken in einem Text sind hier zu vermeiden, da so der Zusammenhang nicht mehr ersichtlich ist.
Die dritte Variante ist eine Erweiterung der Zuordnung, hier muss die Testperson die Begriffe schreiben, sie sind nicht mehr vorgegeben.

Wichtig hierbei ist, dass die Fragen auch hier sorgfältig gestellt werden müssen, damit der
Zusammenhang klar und nur eindeutige Antworten möglich sind.

2. Freie Texteingabe, Aufsatz (Essay)

Hier wird vom Benutzer ein eigener Textbeitrag verlangt. Die Bewertung der Antwort kann
(noch nicht) automatisiert geschehen. So müssen die Texte immer noch von Menschen bewertet werden. Man unterscheidet zwei verschiedene Bewertungen, die analytische («analytical scoring») und die ganzheitliche («holistic scoring»).

Die analytische Bewertung greift wichtige Punkte aus dem Aufsatz auf und bewertet diese. Die ganzheitliche hingegen richtet den Fokus auf die Gesamtqualität, ist eher subjektiv, aber schneller durchzuführen. Sie werden vorzugsweise in Kombination verwendet.

Quelle (dl: 16.10.06)

Bei den geschlossenen Fragetypen sind die Antworten bereits vom Testadministrator vorgegeben.
Die Testperson wählt dann nur noch aus dem Angebot die gewünschten Antwort(en) aus.

Diese Fragen sind einerseits einfach darstellbar (häufig in Form von Mehrfach-Auswahl-Fragen), die Antworten (da genau definiert und vorgegeben) gut und objektiv zu messen. Die Bewertung ist somit (relativ) einfach vorzunehmen.

Die Erstellung der Fragen gestaltet sich aber sehr aufwändig, da viele Regeln bei der inhaltlichen Fragekonstruktion zu beachten sind.
Beispielsweise sollen Frage und Antwort(en):

1. Keine ungewollten Lösungshinweise («cues») beinhalten,
2. angemessen bezüglich der Zielgruppe sein,
3. sprachlich klar formuliert sein,
4. eine eindeutig beste Lösung haben,
5. ein in sich geschlossenes Ganzes bilden,
und auf ein klar umschriebenes Problem fokussieren.

Die Verarbeitung (Korrektur) ist hingegen stark erleichtert, da genau definierte Antworten
eingehen und keine inhaltliche Überprüfung mehr vorgenommen werden muss.

Vorteile:
Die Testperson benötigt relativ wenig Zeit zur Beantwortung. Aus diesem Grund können viele Fragen gestellt werden. Das erfragte Wissensgebiet ist grösser.
Die Bewertung ist konsistent (reliabel), da auch nach wiederholter Bewertung die gleiche Antwort immer dasselbe Resultat ergibt (falls der Inhalt der Fragen genügend klar und der Zielgruppe angemessen ist).

Nachteile:
Falls nicht eine grosse Sorgfalt und Evaluation in der Herstellung der Fragen aufgewendet wird, wird nur das unterste Lernziel (Wissen) geprüft.

1. Richtig/Falsch-Auswahl (True-False)

Der Testperson wird eine Aussage vorgelegt. Für jede Aussage muss sie entscheiden, ob sie richtig oder falsch ist. Als Variante kommen noch die Bewertung von kausalen Verknüpfungen
von zwei Aussagen in Frage.
Hier muss die Testperson entscheiden, ob die Aussagen richtig und ob sie zudem noch richtig verknüpft sind.

2. Mehrfach-Auswahl (Multiple Choice)

Der Testperson wird eine Frage mit einer Auswahl an Antworten (in der Regel 5) präsentiert.
Diese muss dann angeben, welche der Antworten zutreffen (im Normalfall ist es eine). Ist es genau
eine Antwort, die zutrifft, wird dieser Typ auch Einfach-Auswahl (Single Choice) oder Best-Antwort-Typ genannt.

Die Fragen können so formuliert sein, dass aus den Antworten einerseits diejenige auszuwählen ist, die nicht zutrifft (negative Einfachwahl) oder andererseits diejenige zu wählen ist, die am besten zutrifft (positive Einfachwahl).

Die Testperson muss je nach Fragestellung als Lösung mehrere, alle oder gar keine auswählen (im letzteren Fall würde das Auslassen der Frage die volle Bewertung ergeben, daher ist diese Option nicht empfehlenswert).
Es lässt sich sagen, dass mit diesem Fragetyp besser höhere kognitive Ziele geprüft
werden können als mit den Richtig/Falsch-Fragen.

3. Zuordnung (Matching)

Dieser Typ könnte auch der Mehrfach-Auswahl zugeordnet werden. Er wird hier als separater Typ aufgeführt, da er normalerweise in zwei Spalten dargestellt wird. Der Testperson werden in der einen Spalte die Vorgaben oder Fragen präsentiert.
In der anderen Spalte werden mögliche Antworten aufgelistet.
Nun muss sie den Fragen die richtigen Antworten zuordnen. Es sind im Normalfall mehr Antworten als Fragen/Aussagen vorhanden. Und eine Antwort kann mehr als einmal verwendet werden.
Dieser Typ ist angenehmer in der Erstellung, da keine Wahlantworten konstruiert werden müssen. Er ermöglicht auch die Prüfung eines umfangreicheren Wissensgebiets.

4. Hot Spot, Hot Objekt

Gerade in Verbindung mit multimedialen oder interaktiven Elementen im Internet sind Erweiterungen der oben genannten geschlossenen Fragen möglich.
So zum Beispiel kann bei der Richtig/Falsch-Frage oder bei der Mehrfach-Auswahl direkt mit der Maus auf eine (Antwort-)Grafik geklickt werden. Dies nennt man auch «Hot Object».
Oder in einer Grafik oder einer dreidimensionalen Umgebung kann zur Antwort auf einen Bereich geklickt werden («Hot Spot»).
Dies erfordert eine recht lange Zeit in der Herstellung der Inhalte, kann aber der Abwechslung und dem besseren Verständnis der Fragen dienen.

Quelle (dl: 16.10.06)

Da sich im Laufe des Seminars mehrere Gruppen mit dem Thema "Hot Potatoes" auseinandersetzen werden, wollen wir nachstehend diese Applikation näher vorstellen.

Was ist Hot Potatoes?

Hot Potaotes ist eine Quizapplikation, die ein vorformuliertes Feedback auf die Antworten gibt.

Was kann Hot Potatoes?

• Quiz- und Fragetypen: Mit Hot Potatoes können diverse Quiz- und Fragetypen verwendet werden wie z.B. Multiple Choice, Multiple Correct, Short Answer, Lückentexte, Kreuzworträtsel oder Zuordnungsquizzes. Mehr zu den Quiz- und Fragetypen hier.
• Rückmeldungen: Zu jeder Antwortmöglichkeit wird eine Rückmeldung verfasst, die nach Anklicken der Antwort eingeblendet wird. Gute Rückmeldungen sind extrem wichtig, weil man gerade auch aus falschen Antworten lernt. Wegweiser für gute MC-Fragen findet ihr einerseits im Beitrag weiter unten ("Allgemeine Regeln zum Verfassen von Choice-Fragen" von Cornelia) und andererseits hier unter mcfragen (pdf, 396 KB) .
• Quiz mühelos publizieren: Zur Publikation der Quizzes lässt sich mit einem Klick eine interaktive Website generieren, die anschließend im Internet bereitgestellt werden kann.
• Bilder in Quizzes verwenden: Zur Aufwertung lassen sich in den Quizfragen auch Bilder und andere Multimediadataien anzeigen.
• Erfolgskontrolle: Lernende können ihren Quiz-Fortschritt anhand des Punktestandes (in %) und über eine Schaltfläche überprüfen, die alle Fragen und Antworten untereinander auflistet. Dabei bleibt erkennbar, wo falsch und wo richtig geantwortet wurde.
• Erscheinungsbild: Das Erscheinungsbild eines Quiz - wie z.B. Hintergrundsfarbe oder Schriftgröße - lässt sich verändern.

Was kann Hot Potatoes nicht?

• Prüfungen: Hot Potatoes ist nicht als Applikation zur Erstellung von webbasierten Prüfungen konzipiert. Dazu wären umfangreiche technische Absicherungen und Funktionen nötig. Vielmehr eignet sich Hot Potatoes hervorragend für Selbsttests.
• Passwortgeschützte Quizzes: Die Lizenzbedingungen von Hot Potatoes erfordern einen freien Internetzugang zu allen mit Hot Potatoes erstellten Quizzes.

Welche Vorteile haben webbasierte Quizzes mit Hot Potatoes?

• Unabhängigkeit: Sowohl die Lehrenden als auch die Lernenden können von überall und jederzeit Fragen beantworten, verändern und neue Fragen hochladen.
• Interaktivität: Hot Potatoes gibt eine Rückmeldung, sobald auf eine (richtige oder falsche) Antwort geklickt wird. Nachdem die richtige Antwort einmal angeklickt wurde, können Lernende immer noch frei entscheiden, wann sie zur nächsten Frage übergehen möchten. Die Rückmeldungen aller Antworten bleiben stets abrufbar.
• Zufällige Verteilung: Während auf Papier Fragen und Antworten zwangsweise immer in der gleichen Reihenfolge erscheinen, kann sie Hot Potatoes bei jedem Durchgang neu mischen. Die Quizfragen bleiben so auch bei mehreren Durchgängen attraktiv, da sich die Stelle der richtigen Antwort nicht merken lässt.
• Erfolgskontrolle: Über einen Punktestand (in %) und eine Schaltfläche, die alle bisher gewählten Antworten auflistet, kann der Quiz-Fortschritt jederzeit überprüft werden.

Quelle:

ETH: Hot Potatoes - die ELBA-Quizapplikation

�� Es sollen maximal 6 Antwortalternativen (= Distraktoren) in einer „Multiple Choice“-Frage aufgelistet werden, wobei sich 4 Antwortalternativen in der Praxis als sehr brauchbar erwiesen haben.

�� Die Wahl guter Distraktoren ist das schwierigste Problem bei der Konstruktion von Choice-Fragen. Verwenden Sie besser weniger, dafür aber gut formulierte Distraktoren!

�� Es darf keine "Cero Choice"-Fragen geben, d.h. es muss immer zumindest eine Antwort richtig sein.

�� Es darf keine "Every Choice"-Fragen geben, d.h. es muss immer zumindest eine Antwort falsch sein.

�� Vermeiden Sie ebenfalls Fragenformulierungen gemäß den Regeln: - Antwort a und b, nicht aber c sind wahr! (zu komplex) - Nur Antwort a, sofern c gilt, ist wahr! Diese sind zu komplex und künstlich schwierig gemacht.

�� Der Autor/Prüfer entscheidet, ob die Frage eine "Single" oder "Multiple Choice“- Frage wird, d.h. ob nur eine Antwortalternative richtig ist oder ob es mehrere sind. Es muss aber immer einen Hinweis geben: z.B. "Es können eine oder mehrere Antwortalternativen richtig sein."

�� Formulierungen als unvollständige Sätze sind prägnanter, da sie in der Regel weniger Text umfassen: z.B. „Die Hauptstadt von Brasilien heißt ...“

�� Packen Sie so viele Wörter wie möglich in den Aufgabenstamm, wenn dadurch die Antwortoptionen möglichst kurz gehalten werden können.

�� Die Antwortalternativen sollten nach Möglichkeit positiv formuliert werden - auf keinen Fall dürfen Aufgabenstamm und Alternativen negativ formuliert werden, da dies zu unnötiger Verwirrung führt!

�� Das Erscheinungsbild der Alternativen sollte möglichst ähnlich aussehen:

Warum sollten negative Formulierungen bei MC-Aufgaben vermieden werden?
(Ausgangsbeispiel => verbessertes Beispiel)

1. Sie könnten übersehen werden.
=> Sie werden leicht übersehen.
2. Der Aufgabenstamm wird tendenziell größer.
=> Sie vergrößern tendenziell den Aufgabenstamm.
3. Die Alternativen sind schwieriger zu konstruieren.
=> Sie erschweren die Konstruktion der Alternativen.
4. Die Auswertung wird schwieriger.
=> Sie erschweren die Auswertung.

�� Präsentieren Sie im Aufgabenstamm nur ein einziges klar formuliertes Problem. Faustregel: Ein wissender Prüfling soll die richtige Antwort nennen können, ohne die Alternativen gesehen zu haben.

(Quelle: MMag. Wolfgang Jungwirth,
Abteilung für Berufs- und Wipaed)

�� Formulieren Sie den Aufgabenstamm (=die Frage) positiv! Positive Aussagen und Fragen sind einfacher zu verstehen als negative. z.B. "Markieren Sie alle Fische!" statt "Welches Tier ist kein Fisch?" Verwenden Sie negative Formulierungen nur dann, wenn es viele potentiell richtige Alternativen, aber ganz wenige plausible falsche Antworten gibt.

�� Wenn eine negative Formulierung des Aufgabenstamms unvermeidlich ist, dann stellen Sie die Negation unmittelbar heraus! Negative Formulierungen werden oft übersehen, daher muss der Teilnehmer besonders darauf aufmerksam gemacht werden. Auch die Alternativen sollen nach Möglichkeit positiv formuliert sein. Die Negation soll typographisch herausgestellt werden (NICHT nicht nicht).

�� Sorgen Sie dafür, dass die als korrekt bezeichnete Antwort auch tatsächlich die korrekte Antwort ist! Nicht nur die richtige Antwort muss eindeutig richtig sein, sondern auch die falschen Antwortoptionen (= Distraktoren) müssen bei aller Plausibilität dennoch eindeutig falsch sein.

�� Vermeiden Sie Generalisatoren, denn sie sind oft ein unbeabsichtigter Hinweis auf die Antwort! immer, alle, nie, nur, ausschließlich, weder/noch … Hinweis auf falsch möglicherweise, wahrscheinlich, oft … Hinweis auf richtig

�� Die Fragen sollten so formuliert werden, dass ein wissender Prüfling (= Könner) die Aufgabe richtig löst, während ein unwissender Prüfling (= Nichtkönner) die Aufgabenstellung falsch löst.

�� Verzichten Sie bei Testaufgaben auf lehrende Passagen vor der eigentlichen Aufgabenstellung. Für Lern- und Übungsaufgaben kann es durchaus sinnvoll sein, lehrende Passagen der Aufgabe voranzustellen, unter Umständen auch, um die Beantwortbarkeit der Aufgabe zu unterstützen.

�� Aufgabenstamm und alle Alternativen müssen grammatikalisch korrekt sein!

�� Aufgabenkonstrukteure wenden eine gewisse Systematik an, auch wenn sie die richtigen Alternativen „gefühlsmäßig nach Zufall“ bestimmen. Es empfiehlt sich, ein echtes Zufallsverfahren zu verwenden! Bei vergleichbaren Größenangaben, die aufsteigend angeordnet werden, muss folglich zuerst die gewünschte Position der richtigen Antwort und danach die Alternativen entwickelt werden.

(Quelle: MMag. Wolfgang Jungwirth,
Abteilung für Berufs- und Wipaed)