Kannst du das erklären? – Projektmesse als Prüfungsformat
Wie prüft man Programmieren, wenn der Code nicht mehr selbst geschrieben sein muss?
Die Frage beschäftigt mich seit November 2022, als ChatGPT anfing, passablen Python-Code auszuspucken. Die bisherige Antwort ist oft: Klausur ohne Hilfsmittel. Programmieren auf Papier. Diese Antwort ist aus der Zeit gefallen.
Wir bilden Leute aus, die später wahrscheinlich mit KI-Werkzeugen programmieren werden. Warum sollten sie in der Prüfung so tun, als gäbe es diese Werkzeuge nicht?
Ein Ansatz, den ich interessant finde, ist dieser: Wir hören auf zu fragen „Hast du das alles selbst geschrieben?“ und fragen stattdessen „Kannst du das erklären?“ Die Urheberschaft des Codes ist nicht mehr das entscheidende Kriterium. Das Verständnis schon.
inf.zone – Alle Materialien zur Vorlesung „Einführung in die Informatik“
BaKuLe-Projekt – unser von der StIL gefördertes Projekt an der Uni Bamberg
Am 2. Februar haben wir im Rahmen unseres Projekts BaKuLe an der Universität Bamberg zum ersten Mal systematisch ausprobiert, wie dieser Ansatz funktionieren könnte – mit 53 Projekten und 70 Studierenden aus meiner Vorlesung „Einführung in die Informatik“. Das Format ist eine öffentliche Projektmesse, inspiriert vom CS50 Fair in Harvard.
Die Idee: Studierende entwickeln semesterbegleitend ein eigenes Softwareprojekt. Thema, Technologie und Umfang wählen sie selbst. Auf der Messe präsentieren sie ihr Projekt an einem Stehtisch als Live-Demo und beantworten Fragen.
Keine Präsentation mit Folien. Nötig sind: Freies Sprechen, kompetent mit dem eigenen Rechner umgehen, sich zügig im Code zurechtfinden. Souveränes Auftreten.
Bewertungskriterien
Jede Dimension bewerten wir auf einer Skala von 0 bis 3. Die Summe wird verdoppelt – so entstehen 0 bis 18 Bonuspunkte, die im Falle einer bestandenen Abschlussklausur die Note verbessern.
Demo und Präsentation. Läuft der Prototyp? Sieht er gut aus? Ist er gut bedienbar? Versteht man beim Zuhören, welches Problem gelöst wird? Wir fragen: „Was passiert, wenn ich hier etwas Unerwartetes eingebe?“
Code-Orientierung. Findet sich die Person im eigenen Code zurecht? Wir fragen: „Zeig mir die Stelle, wo dieses Feature im Code steht.“ – „Wenn du X ändern wolltest – wo müsstest du ran?“
Eigenleistung und Motivation. Gibt es eigene Ideen jenseits von Tutorials? Wir fragen: „Was war eine besonders schwere Stelle?“ – „Was würdest du draus machen, wenn du noch drei Monate Zeit hättest?“
Wir nehmen uns etwa 15 bis 20 Minuten pro Projekt Zeit. Meist merkt man schon nach wenigen Minuten, ob die Person eigentlich weiß, was da passiert.
KI-generierter Code ist explizit erlaubt. Wer ihn nutzt und versteht, demonstriert eine Kompetenz. Wer ihn nutzt und nicht versteht, bekommt weniger oder keine Bonuspunkte.
Drei Tage vor der Messe organisieren wir einen freiwilligen Hackathon, der bis spät in die Nacht geht. Pizza und Getränke, schummriges Licht, ein Raum voller Leute an ihren Projekten. Etwa die Hälfte der späteren Messe-Teilnehmer war dieses Mal dabei.
Man knüpft zwanglos neue Bekanntschaften und kann anderen über die Schulter schauen. Man sieht, dass auch andere kämpfen. Unsere Tutoren halfen bei der Umsetzung.
Ich lief im Hoodie rum, habe Fragen beantwortet, Barrieren abgebaut. Im Laufe des Abends habe ich mit vielen Studierenden geredet. Stolz haben sie mir ihre halbfertigen Prototypen gezeigt – oder mich schüchtern gefragt, ob ich ihnen einen Cappuccino auf unserer Siebträgermaschine zubereiten kann.
Nach der Messe ist es noch nicht zu Ende. Code und ein Screencast-Video sind etwa zwei Wochen später fällig, genug Zeit für den letzten Schliff. Auf die Abgabe gibt es 2 von 20 möglichen Bonuspunkten. Die Messe: 18 Punkte.
Ein wichtiges Signal: Wir bewerten vor allem, was jemand kann, nicht was jemand hochlädt.
Was wir beobachtet haben
53 Projekte, 50 Prozent mehr als im Vorjahr. Etwa 30 Prozent der rund 260 zur Klausur angemeldeten Studierenden haben teilgenommen.
Die anderen 70 Prozent haben sich dagegen entschieden – Zeitaufwand, Scheu vor öffentlicher Präsentation, oder weil 20 Bonuspunkte sie nicht lockten.
Ein Befund aus dem Vorjahr: Studierende, die an der Messe teilgenommen hatten, bestanden fast alle auf Anhieb die Klausur. Von den anderen fast niemand. Korrelation, keine Kausalität. Wir können nicht trennen, wie viel davon Vorwissen ist, wie viel Motivation, wie viel tatsächlicher Lerneffekt.
Geht durch dieses Format die Schere zwischen Starken und Schwachen am Ende noch weiter auf? Schwer zu sagen – und auch schwer zu messen.
Es ist kein Prüfungsgespräch, sondern Smalltalk – und genau das macht den Unterschied.
Die Atmosphäre während der Messe war jedenfalls deutlich entspannter als bei mündlichen Prüfungen. Manche Studierende nahmen es vielleicht zu locker. Andere waren nervös, aber niemand wirkte paralysiert. Nur vier der 53 angemeldeten Projekte erschienen nicht.
Gefreut hat uns, dass ein paar Ehemalige aus dem letzten Durchgang vorbeikamen, um sich anzusehen, was der nachfolgende Jahrgang gebaut hat.
Bewertungskonsistenz
Zur Bewertung haben wir die 53 Projekte auf zwei Runden aufgeteilt, die jeweils 75 Minuten dauerten. Die Bewertung nahmen neun Personen vor. Aber haben auch alle nach denselben Maßstäben bewertet?
Wahrscheinlich schon, mit Einschränkungen.
Der Gesamtmittelwert lag bei 6,6 von 9 möglichen Punkten. Die Bewerter-Mittelwerte schwankten zwischen 5,3 und 8,4 – eine Spannweite von 3,1 Punkten. Der mildeste Bewerter vergab im Schnitt drei Punkte mehr als die strengsten.
Das klingt nach viel. Aber: Jeder Bewerter sah andere Projekte. Wer zufällig die stärkeren Projekte zugeteilt bekam, erscheint in der Statistik milder.
Für Bonuspunkte erscheinen uns diese subjektiven Abweichungen vertretbar. Niemand verliert etwas, alle können nur gewinnen.
Was wäre die Alternative? Eine einzige Person, die alle Projekte bewertet, hätte das mehr als 15 Stunden beschäftigt. Müdigkeit und Reihenfolge-Effekte hätten auch dort wahrscheinlich zu Verzerrungen geführt.
Ginge es um die Bildung der Modulabschlussnote, wäre ein anderes Verfahren nötig – etwa eine Bewertung jedes Projekts durch zwei Personen. Das wäre allerdings ein erheblicher Mehraufwand.
Grenzen und Ausblick
Die Messe ist eine aufwändige Prüfungsform. Raum vorbereiten: Licht, Musik, Stehtische, Verlängerungskabel durch den Saal ziehen. Bewertungspersonal briefen, Einsatzplan erstellen, Studierende über die Abläufe informieren.
Zu neunt haben wir insgesamt etwa 20 Bewerterstunden für 53 Projekte benötigt. Die Obergrenze wären bei uns 30 Projekte pro Runde – mehr Stehtische haben wir nicht.
Das Format erreicht die ohnehin Motivierten. Die 70 Prozent, die nicht teilnahmen, diejenigen, die laut Vorjahresdaten schlechtere Chancen haben, die Klausur zu bestehen, erreichen wir damit nicht. Ob das Format auch funktioniert, wenn es verpflichtend wäre, wissen wir noch nicht.
Wer seinen Code erklären kann, hat etwas gelernt – egal, ob die erste oder letzte Version von Claude Code erzeugt wurde.
Die Projektmesse ersetzt keine Klausur. Sie ergänzt sie. Sie prüft Fähigkeiten, die in klassischen Formaten unsichtbar bleiben: Kann jemand über Code sprechen? Versteht die Person Architekturentscheidungen? Hat sie eigene Ideen?
Im Sommersemester setzen wir unsere Suche nach modernen Prüfungsformaten fort: Ausgewählte Projekte können für 6 ECTS zu Exponaten für das WIAI25-Jubiläum unserer Fakultät weiterentwickelt werden – dann wird die Live-Präsentation am Stand verpflichtend und ein wesentlicher Bestandteil der Abschlussnote sein.