Begleitet wurde der Lasttest durch einen Matrixchat, in dem während des Tests 258 Teilnehmende anwesend waren.
Die Prüfungsplattform lief in diesem Zeitraum, wie vom Betreiber garantiert, stabil und ohne Zwischenfälle. Somit wurde das Ziel des Lasttests – die Überprüfung der Stabilität der Plattform bei Durchlauf mit hohen Teilnehmerzahlen – zufriedenstellend erfüllt.
Im Lasttest sollte den Lehrenden zudem die Möglichkeit gegeben werden, in der Rolle der Prüfungsaufsicht einen Teil der Teilnehmenden zu überwachen und bei Problemen ggf. steuernd einzugreifen. Damit konnten die Lehrenden einen realistischen Eindruck gewinnen, wie die Prüfungssteuerung für eine Teilgruppe aussehen kann. Hierfür wurde jeder Prüfungsaufsicht eine Gruppe von Studierenden zugeteilt. Durch das hohe Interesse an der Aufsichtsrolle mussten dafür mehrere kleine Gruppen von 5-20 Teilnehmenden gebildet werden. Das entspricht natürlich nicht dem Normalfall einer Prüfung, für die Gruppen von etwa 50 Personen pro Aufsichtsperson empfohlen werden.
Einsicht in die Prüfungssteuerung des Lasttests
In zwei Durchläufen konnten die Lehrenden dann zwei verschiedene Szenarien einer Prüfungsdurchführung begleiten. Zum einen den Start der Prüfung durch die Studierenden und zum anderen den Start der Prüfung durch die Aufsicht. Jeweils 10 Minuten nach Freigabe des Prüfungsbausteins sollten die Studierenden die Prüfung starten.
Die verwendete Testklausur enthielt ausschließlich basale Fragetypen und -konfigurationen, auf Berechnungsaufgaben und die Verwendung von Variablen und wurde bewusst verzichtet. Im Kurs Probedurchlauf Online-Prüfung auf OPAL Exam@TUD kann die Klausur im Nachgang nochmals eingesehen oder der Beispieltest wiederholt werden.
Verwendeter Test während des Lasttests
Fazit zum Ablauf des Lasttests:
- Beim eigenständigen Start durch die Teilnehmenden im ersten Durchlauf gab es mit dem verwendeten Test mit den oben genannten einfachen Konfigurationen trotz hoher Teilnehmerzahl systemseitig keine Probleme.
- Dadurch dass das System die Prüfung freigab und dies als Infomeldung automatisch kommuniziert wurde, war für die Studierenden klar ersichtlich, wann die Prüfung startet.
- Durch die hohe Anzahl an Prüfungsaufsichten mussten im Vorfeld und auch während des zweiten Durchlaufes (mit Start durch den Tutor) noch sehr viele Informationen kommuniziert werden. Das führte dazu, dass im Matrixchat sehr viele Meldungen durch die Nutzenden (Teilnehmende als auch Prüfungsaufsicht) abgegeben wurden. Gründe waren, dass einige Aufsichten den Test bereits vor dem eigentlichen Prüfungsstart freigaben. Zum anderen erschienen manche Aufsichten nicht, sodass die übrigen Teilnehmenden verspätet vom Veranstalter freigegeben wurden.
Die Konstellation von so vielen Prüfungsaufsichten stellt kein realistisches Szenario dar. Es kann davon ausgegangen werden, dass bei klarerer Kommunikation des Prüfungsablaufs und der Durchführung einer Probeklausur alle Beteiligten mit dem Prüfungsablauf vertraut sind. Somit sollte auch diese Variante für Klausuren anwendbar sein. - Wir empfehlen daher bereits in der Probeklausur Ihren präferierten Kommunikationsweg zu testen. Das kann, wie im Lasttest, ein Matrix-Chat sein. Allerdings wurden auch bereits Chats in bestehenden Videokonferenzräumen oder die Kommunikation per Mail auch für größere Gruppen erfolgreich eingesetzt.
Abschließend Fragen und hilfreiche Antworten aus dem Chat:
Für Prüfer
F: Wenn ich das richtig verstehe, dann sollten während der Prüfung zwei Browserfenster geöffnet sein. Das eine mit OPAL Exam@TUD, dass andere mit der Matrix?!
A: Genau.
F: was tut man eigentlich, wenn bei der Aufsicht das Internet ausfällt???
A: Es sollte mindestens zwei Personen geben.
F: In meiner Gruppe schreibt noch jemand, obwohl die Zeit um ist? Muss ich jetzt aktiv beenden für die Person?: Zwei Teilnehmer arbeiten noch. Sollte der Test nicht automatisch geschlossen werden?
A: Wahrscheinlich hat er später gestartet. Hier kann die Prüfungsperson entscheiden, ob sie trotzdem weiterschreiben dürfen oder es beenden.
F: Kann ich die Prüfung auch für diejenigen freigeben, die nicht im Warteraum sind?
A: Nein
F: Wenn jemand später den "Prüfungsraum" betritt, hat diese Person dann die gleiche Bearbeitungszeit oder wird der Raum für alle gleichzeitig geschlossen?
A: Er erhält die gleiche Bearbeitungszeit. Die Prüfungsaufsicht kann Klausuren von Zu-Spät-Kommern aber vor Ablauf der Bearbeitungszeit beenden.
F: Bei Prüfungen die viele Berechnungen (mit maxima) enthalten kann die Serverlast auch hoch sein. Bei Prüfungen mit 200+ Teilnehmern kann es da sicher zu Problemen kommen. Gibt es da schon Lösungen/Ansätze?
A: Ansätze gibt es da schon. Auf jeden Fall wäre es sinnvoll bei größeren Gruppen diese in kleinere Gruppen aufzuteilen, die mit etwa 5-10 Minuten Versatz Ihre Prüfung starten.
F: Wie kann ich die Prüfungszeit verlängern?
A: Das geht nur, wenn ein Studierender die Prüfung abbricht (z.B. Browserabsturz) und dann über die Teststartseite den Test über den Button "Test fortsetzen" fortsetzt. Dann sehen Sie ein orangefarbenes Symbol in der Prüfungssteuerung und können diesen Studierenden anhaken und oberhalb der Mitgliederliste auf Starten klicken.
F: Wie kann ich einzelnen Studenten Zusatz-Zeit geben, wenn sie Verzögerungen haben, aber der Test nicht abgebrochen wird? (ähnlich wie Frage davor)
A: Aktuell nur durch Erzwingen des Abbruchs.
F: Also wenn ich den entsprechenden Studenten den Test manuell beende, kann ich sie danach wieder starten, d.h. fortsetzen lassen, richtig? Oder müssen die Studenten den Test selbst abbrechen?
A: Die Studierenden müssen selber das Browserfenster schließen. Wenn Sie beenden, ist die Klausur abgeschlossen. In welchen Fällen wollen Sie das nutzen?
F: Wenn bei einem Studenten der Test hängt, also er nicht weiter klicken kann, aber die Zeit weiter abläuft, würde ich ihm diese Zeit gerne als Zusatzzeit geben. Dafür würde ich ihn dann bitten, bei Problemen mit Verzögerung den Test einfach abzubrechen und ich starte ihn dann manuell neu
A: Genau so 👍️
F: Gruppe 2-2: 2 Kandidaten mit orangefarbenem Bildschirm, obwohl noch keine Freigabe des Tests erfolgt ist / In Gruppe 2-55 hat ein Teilnehmer schon vor dem Start der Prüfung durch mich ein technisches Problem - das orange Symbol erscheint. Ich vermute & hoffe, dass sich das regelt, wenn ich gleich den Test starte? (häufige Frage)
A: Der orangefarbene Bildschirm kommt, wenn die Studierenden die Prüfung durch Schließen des Fensters vorzeitig abbrechen. Geben Sie diesen Studierenden die Prüfung um 15:40 mit frei.
Für Studierende
F: Aber laut dem Video ist es nicht möglich zu sehen, wie lang der Studierenden keinen Zugriff auf den Test hatte oder? Also bspw. PC Absturz
A: Deshalb ist es wichtig im Chat zu schreiben, wann man rausgeflogen ist.
F: Wie kommuniziert man denn, dass das ein Browserabsturz war?
A: Indem man hier im Chat sein Problem ggf. mit Screenshot beschreibt. Die Prüfungsaufsicht wird Ihnen eine Anweisung geben wie Sie weiter verfahren müssen.
F: Was tut man am besten als Prüfling bei Ausfall des Internets? Ohne Internet kann man ja auch nicht im Chat schreiben.
A: Dann wäre für den Notfall eine Telefonnummer gut. Teilweise nutzen die Studierenden auch Matrix über das Handy (per mobiler Daten). Wenn das Internet ganz weg bleibt, kann man im Zweifelsfall die Klausur nicht beenden.
F: Wenn die Zeit abgelaufen ist und ich die Klausur nicht abgegeben habe, was passiert dann? Wird die Prüfung automatisch mit vorhandenen Daten abgegeben.
A: Ja, alle Eingaben werden gespeichert, es geht nichts verloren.
F: Wenn man alle Fragen bearbeitet hat, aber dennoch "Sie haben noch nicht alle Aufgaben bearbeitet. Wollen Sie den Test wirklich abgeben? Dann ist keine weitere Bearbeitung mehr möglich." kommt, was hat man da falsch gemacht? Bei allen Aufgaben ist der orange Kreis.
A: Probieren Sie mal an einer anderen Aufgabe den Test zu beenden. Das kann mit der Uploadaufgabe zusammenhängen.
F: Hilft leider nicht
A: Das schauen wir uns hinterher nochmal an, es sollten aber alle Ergebnisse trotz des Hinweises gespeichert werden.
