Die Unterlagen für die Präsentation sind hier abzurufen praesentation (ppt, 54 KB) . Als weitere Medien für die Präsentation werden der Lernblog Onlinetest für Interaktive Medien und der angelegt Moodle-Kurs eingesetzt, für den jedoch eine Zugangsbeschränkung besteht.

Die von mir ausgearbeiteten Fragen für einen Online-Test zur Lehrveranstaltung Nutzung interaktiver Medien wurden bereits von mir ins Moodle, zu den jeweils entsprechenden Fragenkategorien (= Themengebiet der Frage), implementiert. Die "richtige" Eingabe bezüglich der Bepunktung bzw. der jeweiligen Bewertung der einzelnen Antwortmöglichkeiten gestaltete sich dabei etwas schwieriger als gedacht, da sehr viele Parameter-Einstellungn vom Moodle-Fragentool zugelassen werden. Die Reaktion bzw. Auswirkung der einzelnen Einstellungen, denke ich, kann man erst so richtig einschätzen, wenn man selbst einige Probetest gemacht bzw. durchgeführt hat und dabei die einzelnen Parameter jeweils etwas geändert hat. Werde dies in der nächsten Zeit (nach der "Klausurenzeit") versuchen.

Die ausgearbeiteten Fragen für den "Online-Test" in der LVA "Nutzung interaktiver Medien" sind im "Fragenpool-Blog" zu finden.

Beim letzten Präsentationstermin hat aufgrund der Einteilung der Fragen und deren Bewertung, in Anlehnung an die Taxonomiestufen, eine Diskussion zu diesem Bereich stattgefunden.
Die Bewertung der Fragen war folgendermaßen vorgesehen:
Stufe 1 - Wissen: 1 Punkt
Stufe 2 - Verstehen: 2 Punkte
Stufe 3/4 - Anwenden/Analysieren:3 Punkte

Da die Zuteilung der "Online-Fragen" nicht immer direkt zu einer Stufe vorgenommen werden kann, weil die Fragestellung und der Fragetyp etwas anders aufgebaut ist und auch noch andere Einflussfaktoren berücksichtigt werden müssen, wie zum Beispiel die Länge der Fragestellung, die Anzahl und Schwierigkeit der Antwortmöglichkeiten, die Bearbeitungsdauer usw., kann eine abweichende Bewertung und Bepunktung der Fragen erfolgen. Die Höchstpunktanzahl von drei Punkten sollte dennoch eingehalten werden, wobei die Bepunktung in 0,5er Schritten vorgenommen werden kann.

Eine genauere, "endgültige" und einheitlichere Einteilung bezüglich Schwierigkeitsgrad, Bewertung und Bepunktung der Fragen kann erst erfolgen, wenn ein Fragenpool mit mehrere unterschiedlichen Fragen, -typen vorhanden ist. Diese vorläufige Einteilung sollte nur einmal eine Orientierungshilfe darstellen.

Bei der Software-Anwendung "Hot-Potatoes" handelt es sich um ein Programm, mit dem Tests unterschiedlichen Typs kreiert werden können. Die erstellten Quiz und Fragen können im Anschluss in eine HTML-Site oder aber auch in die Online-Lernplattform "Moodle" implementiert werden.

Hot-Potatoes integriert folgende sechs Module bzw. Fragemöglichkeiten:

Modul	Fragetyp - Beschreibung
JQuiz	Erstellung von Kurzantwort-Quiz und/oder Multiple-Choice-Test
JMix	Erstellung von Reihenfolgeübungen
JCross	Erstellung von Kreuzworträtsel
JMatch	Erstellung von Zuordnungsübungen
JCloze	Erstellung von Lückentextübungen
The Masher	Ermöglicht eine Kombination von Übungen zu einem Thema

In den einzelnen Modulen können jeweils wieder unterschiedliche Möglichkeiten, Einstellungen bezüglich Fragemöglichkeiten, Antwortmöglichkeiten, Hilfestellungen, Gewichtung der Antwortrichtigkeit, Bepunktung, Feedback zur ausgewählten Antwort usw. eingegeben, ausgewählt und vorgenommen werden.

Als Beispiel möchte ich das Tool JQuiz etwas näher erklären.
Mit diesem Modul können Kurzantwortfragen aber auch Multiple-Choice-Fragen erstellt werden. Generell kann zwischen vier verschiedenen Frage/Quizmöglichkeiten gewählt werden (Auswahlmöglichkeit in Screenshot grün eingerahmt).

• Multiple-Choice-Frage: es können mehrere richtige Anwortmöglichkeit eingegeben werden, wobei wenn eine richtige Antwort ausgewählt wird, wird die Bewertung "eingefroren" und es können die anderen Anwortmöglichkeiten auf deren Richtigkeit ohne weitere Bewertung angeschaut werden. Zu jeder Anwortmöglichkeit kann Feedback gegeben werden, wobei dies bei der Fragenerstellung eingegeben werden muss.
  
  
• Short-Answer-Frage: die Anwortmöglichkeiten sollten bei diesem Fragetyp wirklich gering bzw. kurz gehalten werden, weil die Anworten vom Prüfling selbst eingegeben werden müssen. Die gegebene Antwort wird im Anschluss einer richtig-oder-falsch-Liste, die bei der Frageerstellung vorgegeben wird, zugeordnet und dementsprechend bewertet. Zusätzlich kann eine Hilfe eingebaut/aktiviert werden, die dann beim Test mittels Klick auf den "Hint-Button" jeweils einen Hilfsbuchstaben bekannt gibt.
  
  
• Hyprid-Frage: bei diesem Fragetyp handelt es sich um eine Kombination aus MC-Frage und Short-Answer-Frage. Die Frage/Antwort wird zuerst als Kurzantwort-Frage dargestellt, indem selbst eine Antwort eingegeben werden muss. Wurde nach einigen Versuchen (Anzahl muss bei Frageerstellung eingestellt werden) noch immer nicht die richtige Antwort gegeben, werden Anwortmöglichkeiten vorgeschlagen (müssen bei der Frageerstellung angegeben werden).
  
  
• Multi-Select-Frage: bei dieser Fragemöglichkeit können mehrere richtige Antworten ausgewählt werden, wobei die Fragestellung auch schon dementsprechend gestaltet werden sollte, dass die Antworten einer gewissen "Überkategorie" zugeordnet werden können bzw. dass diese eine Gemeinsamkeit aufweisen.
  

Wie schon oben erwähnt können zahlreiche Einstellung getätigt werden, wobei eine gewisse Erfahrung mit diesem Tool sehr von Vorteil sind/wären, nicht nur aus Sicht des Frageerstellers, sondern auch des Anwenders/Prüflings um die einzelnen Auswirkungen der Einstellungen bewerten und dementsprechend ändern zu können. Unter anderem aus diesem Grund kann auch unter den Optionen zwischen einem "Beginner-Modus" und einem "Fortgeschrittenen-Modus" gewählt werden. Diese Einstellung wirkt sich in erster Linie (was ich beobachten konnte) bei der Einstellung von der Gewichtung der Frage bzw. der Bewertung bzgl. Richtigkeit der Anwort aus, die im "Fortgeschrittenen-Modus" genauer mittels Prozentangabe definiert werden können (Veränderung in Screenshots rot eingerahmt).

In einem praktischen Anwendungsversuch des Tools JQuiz habe ich drei Fragen (ab mehr Fragen in einem Quiz müsste man sich kostenlos registrieren) mit jeweils einem anderen Fragentyp erstellt. Es sind die Fragetypen Multiple-Choice-Frage, Multi-Select-Frage und Hyprid-Frage verwendet worden. Bei der Frage, in der ein HTML-Tag als Antwort dargestellt werden sollte bzw. in der Frage abgebildet werden sollte, hatte ich das Problem, dass der Tag nicht als Quellcode angezeigt wurde, sondern schon dessen Darstellungsform/Auswirkung. Leider konnte ich dieses Darstellungs-Problem noch nicht lösen; aber vielleicht bekomme ich noch von jemanden einen Hinweis, wie dies zu lösen ist.

Hier gehts nun zum Mini-Probe-Test. Bitte den Test in einem eigenen Browser-Raster/-Fenster öffnen. probe_testendversion (htm, 60 KB)

Erstes Fazit: Die Software-Anwendung Hot-Potatoes ist für die Erstellung von Selbstüberprüfungstest bw. von Quiz gut geeignet, wobei für die Erstellung eines umfangreicheren Fragepools eine Registrierung nicht ausbleibt. Falls nicht das Tool "The Masher" eingesetzt wird, kann ein Test immer nur Fragen eines Fragentyps enthalten. Generell können zahlreiche Einstellungen getätigt bzw. vogenommen werden, die auch eine sehr differenzierte Testerstellung bzgl. Bewertungsmöglichkeit, Feedbackmöglichkeit, Zeitlimit für Testdurchführug, Verlinkung, optische Gestaltung usw. ermöglichen.

Ob für die Erstellung des NiM-Online-Tests diese Anwendung zum Einatz kommt, wird sich noch herausstellen. Denn wie wir, meine Projektgruppe und ich, bei einer kurzen Moodle-Einführung durch Herrn Hauber, JKU E-Learning- und Evaluierungsservice, am Freitag, 21. November sehen konnten, bietet auch Moodle für die Erstellung dieser Frage-/Antworttypen eine übersichtliche Benutzeroberfläche. Weiters ist der Schritt der Implementierung nicht nötig, bei der eventuell Daten "verloren" gehen könnten bzw. die Kompatibilität muss auch nicht berücksichtigt werden. Wobei das Tool JCloze für die Erstellung eines Lückentext am ehesten zum Einsatz kommen könnte.

----------------------------
Die Funktionsbeschreibung von Hot-Potatoes stützt sich auf die Erklärung in der Hilfsdatei der genannten Software und auf eigenen Erkenntnissen aus der Anwendung dieses Programms.
Screenshots wurden selbst erstellt und keiner Online-Quelle entnommen

Verlinkungen:
Rüdiger Klampfl: Hot Potatoes Deutsche Adaption: http://www.hotpotatoes.de/index.html
Online-Test NiM: http://collabor.idv.edu/prost08w/stories/22815/
JKU Moodle: http://elearn.jku.at/moodle/
JKU E-Learning- und Evaluationsservice: http://elearn.jku.at/home/

Um die Fragestellungen bezüglich Schwierigkeitsgrad und Bepunktung vielleicht etwas besser einschätzen zu können, kann die Taxonomie von Bloom (Lernziele des kognitiven Bereichs) hilfreich sein. Der Begriff Taxonomie wird dabei als Synonym für Klassifikation/Ordnung verwendet. Bei der Taxonomie handelt es sich, vereinfacht ausgedrückt, um eine Zuordnung der Lernziele und deren Operationalisierung mittels Testfragen zu einem gewissen Anspruchniveau.

Um zu Verstehen wie Lernziele und Testfragen zusammenhängen, hier eine kurze Erklärung: Für jede Unterrichtseinheit sollten Lernziele formuliert werden, in denen festgehalten wird, was die Lernenden nach der Einheit können sollten. Aus diesen (Fein-)Lernzielen können bzw. sollten sich im Anschluss Testfragen formulieren lassen, mit denen man nun die Lerninhalte der Einheit überprüfen/abfragen kann. (Bsp: Lernziel: Die Lernenden sollen div. "Tags" richtig gebrauchen können. Frage: Wie lautet der "Tag" damit das Wort "fett" fett geschrieben wird).

Bloom unterscheidet zwischen sechs Taxonomie-Stufen, die eine zunehmende Komplexität bezüglich Lernziel und operationalisierte Fragestellung aufweisen. Für die Formulierung der Lernziele und der Testfragen können jeder Stufe gewisse Verben zugeordnet werden. In der folgenden Tabelle werden die Taxonomie-Stufen mit dem jeweiligen kognitiven Bereich und den typischen Verben dargestellt.

Taxonomie-Stufen	kognitiver Bereich	Verben
Stufe 1	Wissen	wiedergeben, reproduzieren, nennen, aufzählen
Stufe 2	Verstehen	erläutern, erklären, beschreiben, erörtern, verdeutlichen, interpretieren
Stufe 3	Anwenden	lösen, gebrauchen, berechnen, anwenden, übertragen
Stufe 4	Analyse	ermitteln, zuordnen, vergleichen, unterscheiden, analysieren, ableiten
Stufe 5	Synthese	kombinieren, verfassen, entwickeln, entwerfen
Stufe 6	Bewertung	messen, entscheiden, beurteilen, bewerten

Für den Online-Test werden je nach Fragestellung vor allem die Stufen Wissen, Verstehen, Anwenden und Analyse erreicht werden.


Online-Quellen zu diesem Thema:
Stangl, W.: Lernziel (17.11.2008)
www.pharmasquare.org: Taxonomie.pdf (17.11.2008)

Habe mögliche nützliche Links gefunden, die uns bei der Erstellung eines Online-Tests in Moodle helfen können.

Moodle Docs

HotPotatoes

Seit dem letzten LVA-Termin bzw. dem letzten Eintrag habe ich mich mit der Fragenstellung bzw. dem möglichen Fragenaufbau theoretisch auseinandergesetzt. Dabei habe ich auf Literatur aus der Bibliothek zurückgegriffen bzw. auch auf andere Weblogeinträge (Bsp. Fragetypen). Weiters bin ich bzw. meine Gruppe gerade dabei uns über das aktuelle Stoffgebiet der LVA "Nutzung interaktiver Medien" zu informieren, das dann schlußendlich auch für den Online-Test relevant sein wird.

Wie auch schon im gemeinsam verfassten Beitrag erwähnt, streben wir auch eine Kooperation mit anderen Gruppen an, die sich ebenfalls mit Moodle bzw. mit einem Online-Test beschäftigen. Kontakt zu einer Gruppe haben wir bereits geknüpft. Von Vorteil wäre es auch, wenn Kontakt zur zweiten Gruppe bestehen würde, die sich laut Projektbeschreibung auch mit dem Online-Test beschäftigt.

Unsere Gruppe hat sich für das Thema Nr. 5 Entwicklung eines Online-Tests für die Lehrveranstaltung: "Nutzung interaktiver Medien" entschieden.

Ausgangssituation: In der Lehrveranstaltung „Nutzung interaktiver Medien“ wurde vor einigen Semestern die Abschlussklausur abgeschafft. Die Benotung erfolgt nun aufgrund von Dokumentationen und Beiträgen zu verschiedenen Hausübungen bzw. Aufgabenstellungen, die im Laufe des Semesters gegeben werden.

Ziel dieses Projekts ist es, mittels eines Online-Tests die theoretischen und praktischen Inhalte der Lehrveranstaltung am Ende des Semesters abzufragen um eine Vergleichbarkeit der Endnoten zu gewähren. Im Zuge dieses Projekts werden wir einen Fragenpool zum Stoffgebiet erstellen, welches eine verschiedenartige Zusammensetzung des Tests ermöglicht.

Das Projektteam wird in Zusammenarbeit mit der LVA-Leitung und den Tutoren diesen Online-Test erstellen. Hierfür sind vorerst die Abklärung des Stoffgebietes und die Erwartungen seitens der LVA-Leitung abzuklären.

Als Tool werden wir Moodle verwenden, da uns dieses Tool bekannt ist und als Plattform für Online-Tests sehr geeignet erscheint. Falls uns in der Bearbeitungsphase ein anderes Tool geeigneter erscheint besteht die Möglichkeit, dieses ebenfalls in Betracht zu ziehen. Weiters muss noch abgeklärt werden, ob der Online-Test auf freiwilliger Basis stattfinden soll bzw. ob er als fixer Bestandteil der Note gerechnet werden soll.

Aus didaktischer Sicht ist zu überlegen, in welcher Form der Stoff abgeprüft werden soll. Dabei denken wir an die Fragen wie Multiple Choice, offenen Fragen sowie Lückentexten. Weiters finden wir es sinnvoll neben dem theoretischen Stoffgebiet auch die Inhalte der Hausübungen bzw. der Dokumentationen in den Lernblogs überblicksmäßig abzuprüfen. Damit soll erkenntlich werden, ob die Beiträge in den Lernblogs von den einzelnen Studierenden selbständige bearbeitet wurden.

Der Nutzen des Online-Tests stellt für die Lehrveranstaltungsleitung die Vergleichbarkeit der Endnote dar bzw. für die Studierenden kann der Test als Feedback und Selbsteinschätzung dienen.

Diese Projektidee wurde von Alexandra Bernhard und Christine Hermann ausgearbeitet. Roland Rechberer konnte an unserem heutigen Treffen nicht teilnehmen, er hat seine Ideen in seinem Weblogveröffentlicht.

In der letzten LVA am 17.10.08 stellte jede Gruppe ihre Projektvorschläge zu einem dieser fünf Themenbereiche vor und anschließend erfolgte auch die Zuteilung bzw. das OK für den Projektstart. Mit unserer ersten Projektidee lagen wir leider nicht im Themenbereich "Lernen mit Web2.0" und dürfen/müssen daher bis zur nächsten LVA-Einheit, am 24.10.08, unsere Projektidee überarbeiten.