Ludwig wird im Zuge des Sparkling Science Projektes „Spielend Lernen“ evaluiert. Hierbei muss grob zwischen zwei Ansätzen unterschieden werden: einerseits finden begleitende Qualitätssicherungsworkshops statt, bei denen eine schrittweise Verbesserung des Spiels im Vordergrund steht. Andererseits läuft seit Oktober 2011 eine Evaluation an österreichischen Schulen, welche sich mit möglichen Transfereffekten bezüglich Interesse, Motivation und Wissen beschafft. Beiden Ansätzen ist gemein, dass Feedback von Schüler/innen und Lehrer/innen eingeholt wird. Dieses Feedback fließt aktiv in die Entwicklung von „Ludwig“ ein. Auf diese Weise kann eine zielgruppennahe Anpassung des Spiels vorgenommen werden. Nicht zuletzt wird auch auf die Expertisen von Experten und Expertinnen vertraut.
Welche Variablen werden erhoben? In den Qualitätssicherungsworkshops geht es vor allem um spielbezogene Werte wie etwa Spielspaß, Schwierigkeitsgrad, Steuerung, Grafik, Spielmotivation. Der Prozess der Auswertung der Feedbacks läuft iterativ ab: das bedeutet, dass Empfehlungen soweit möglich umgesetzt werden und im nächsten Update des Spiels nachgereicht werden. In der ersten Iteration des Spiels gab es beispielsweise Schwierigkeiten mit der Steuerung bzw. der Navigation durch die Spielwelt. Basierend auf diesen Rückmeldungen wurde das Tutorial ausgebaut, die Interaktion mit Spielobjekten vereinfacht und die Steuerung an die Bedürfnisse von Spieler/innen angepasst.
Die Evaluation hingegen überprüft primär, ob es bei Schüler/innen zu Veränderungen im Interesse für Physik, in der wahrgenommenen Unterrichtsqualität, in der Lernmotivation sowie in der Selbstwirksamkeit (Selbstvertrauen in die eigenen Fähigkeiten) kommt. Der Fokus liegt hierbei jedoch eindeutig auf der Förderung der intrinsischen Motivation von Schüler/innen. Ziel ist, dass sich Schüler/innen selbstständig und freiwillig mit Physik auseinandersetzen.
Die Methodik umfasst verschiedene Strategien Feedback einzuholen: es werden sowohl quantitative (Fragebögen) als auch qualitative Methoden angewandt (Interviews, Lerntagebücher, Bildschirmaufzeichnungen). Die Qualitätssicherungsworkshops finden bei „ovos“ und an Schulen in Oberösterreich, Niederösterreich und der Steiermark statt. Diese dauern in etwa 2 Schulstunden. Die Evaluationsworkshops finden zu Beginn und am Ende des laufenden Schulsemesters statt. Dazwischen setzen Lehrer/innen „Ludwig“ im Unterricht ein. Durch einen Vergleich der Werte vor dem Einsatz von „Ludwig“ mit den Werten nach dem Einsatz von „Ludwig“ können mögliche Transfereffekte überprüft werden. So kann beispielsweise festgestellt werden, ob sich Schüler/innen durch das Spiel mehr für das Fach Physik interessieren. Die Stichprobe wird am Ende des laufenden Projektes insgesamt ca. zehn Schulklassen für die Qualitätssicherung und vier Schulklassen für die Evaluation umfassen.
Der wissenschaftliche Hintergrund setzt auf konstruktivistische Lerntheorien. Lernen sollte ein aktiver Prozess sein und in einem authentischen Kontext stattfinden. Lerner/innen setzen sich hierbei autonom mit dem Lernstoff auseinander und konstruieren ihr Wissen selbst. Moderne Lernspiele sind besonders gut in der Lage, diesen Prozess in Gang zu setzen. Damit ein derartiger Lernprozess überhaupt stattfinden kann, müssen jedoch einige Voraussetzungen gegeben sein: eine offene Spielwelt, die viele Interaktionsmöglichkeiten und spannende Aufgaben bietet, eine nahtlose Integration von spannender Hintergrundgeschichte und Lernstoff, ein Belohnungssystem sowie die Möglichkeit sich mit anderen Spieler/innen auszutauschen. Wichtig ist dabei auch die Rolle der Lehrperson: ohne Feedback oder eine sinnvolle Einbettung des Lernspiels in den Unterricht sind keine Erfolge zu erwarten. Digitale Lerntechnologien können nie als Ersatz für klassische Unterrichtsmethoden dienen, sie sind vielmehr ein Katalysator für individuellen Lernerfolg.