Microsoft Research představuje StudentSim, výzkumný systém, který má pomoci hodnotit a zlepšovat AI tutory ještě předtím, než se vyzkoušejí na skutečných studentech. Autoři výslovně uvádějí, že nejde o produkt, systém není nasazený ve třídách a nemá nahrazovat učitele. Jde tedy o laboratorní nástroj pro vývojáře výukových nástrojů, nikoli o hotové řešení pro školy.
Proč vůbec simulovat studenty
Motivace je praktická. AI tutoři potřebují zpětnou vazbu od studentů, aby se mohli zlepšovat. Jenže její sběr v lidských studiích je podle autorů pomalý, nákladný a špatně se rozšiřuje. Každá úprava tutora, třeba jiný způsob vysvětlení nebo jiná nápověda, by si přitom žádala další kolo ověřování s lidmi. Simulovaný student má tuto smyčku zrychlit: vývojáři by si mohli nové verze tutora vyzkoušet na modelu, který se chová podobně jako skutečný žák, a teprve poté se rozhodnout, co stojí za zkoušku s lidmi. Takový postup má ovšem smysl jen tehdy, když je simulátor dostatečně věrný. Proto se celý výzkum soustředí na to, jak kvalitu simulátoru změřit a jak ho vytvořit.
Jádrem systému je personalizace. StudentSim vytváří simulátory jednotlivých studentů, tedy AI modely, které napodobují konkrétního žáka. Podle popisu modelují dvě věci: jak daný student odpovídá na otázky a jak se jeho odpovědi změní poté, co dostane radu od tutora. Právě druhá schopnost je pro testování tutorů podstatná, protože ukazuje, zda vedení opravdu něco změnilo. Podle Microsoft Research se simulátory učí z veřejně dostupných anonymizovaných záznamů studentů a každý simulátor je přizpůsoben jednomu studentovi. Autoři také tvrdí, že ve zkoumaných oblastech, tedy v šachu, psaní v angličtině jako cizím jazyce a v matematice, překonává přední srovnávací přístupy a poskytuje užitečný signál pro trénink AI tutora.
Dvě kritéria kvality simulátoru
Podle Microsoft Research se kvalita simulátoru studenta posuzuje ve dvou rozměrech. První se jmenuje behaviorální věrnost. Ptá se, zda simulátor odpovídá zaznamenaným odpovědím konkrétního studenta na úlohy, které při přípravě neviděl. Nejde tedy o to, jestli model umí úlohu vyřešit správně, ale jestli se chová jako právě tento student. Pokud si student v minulosti počínal určitým způsobem, má simulátor na nových příkladech reagovat podobně. Úlohy, které simulátor při tvorbě neviděl, jsou důležité proto, aby se ověřilo skutečné zobecnění, a ne pouhé zapamatování dřívějších odpovědí.
Druhé kritérium se nazývá reakce na vedení. Měří, zda simulátor po přečtení rady tutora svou odpověď upraví.
Jak se simulátory trénují
Jak se takový simulátor vytvoří? Microsoft Research upozorňuje na praktický problém: skutečná data o studentech bývají na úrovni jednotlivce řídká. U jednoho žáka tak často existuje jen omezený počet záznamů, který sám o sobě nestačí k tomu, aby se model naučil jeho způsob uvažování. Systém StudentSim proto používá dvoufázové trénování, které tento nedostatek obchází. Jde o postup, jak z malého množství individuálních dat získat použitelný model konkrétního studenta.
V první fázi se model učí na sloučených podkladech, tedy na záznamech od mnoha studentů ze stejné domény. Díky tomu má k dispozici širší základ, než by poskytl jediný žák. Ve druhé fázi se model specializuje na vlastní záznamy jednoho studenta. Výsledkem je personalizovaný simulátor právě pro tohoto studenta. Postup tedy začíná obecněji a teprve poté se zaměřuje na individuální chování. Z dostupného popisu ovšem nevyplývá, jak přesně tyto fáze vypadají technicky.
Výsledky proti srovnávacím modelům
Autoři z Microsoft Research uvádějí, že StudentSim ve všech třech testovaných doménách překonává přední srovnávací modely. Hodnocení v rámci StudentSimEval přitom funguje podle jednotného principu: všechny metody dostávají stejné trénovací záznamy jednotlivých studentů a jsou poměřovány na stejných zadržených záznamech. Srovnání je tak férovější, protože žádná z metod nemá k dispozici víc informací o studentovi než ostatní. Domény se liší typem odpovědi. V šachu jde o předpověď dalšího tahu a o reakci hráče na koučování, u psaní v angličtině jako druhém jazyce o generování esejí s chybami typickými pro daného žáka a o opravy po zpětné vazbě učitele. V matematice simulátor odhaduje odpověď ve výběru z možností a to, zda student po vysvětlení svůj názor změní.
Nejkonkrétnější srovnání autoři uvádějí u šachu. StudentSim tam dosáhl behaviorální věrnosti 0,5150 a reakce na vedení 0,9067. GPT-5.4 získal 0,2316, respektive 0,7186. Šachově specializovaný model Maia2, určený k předpovídání lidských tahů, skončil na 0,4535 a 0,2721. Podle popisu zdroje ukazuje srovnání rozdíl mezi dvěma skupinami konkurentů. GPT-5.4 dokáže na vedení reagovat, ale konkrétního studenta nevystihuje spolehlivě. Maia2 se lidským tahům přibližuje více, ovšem nemá cestu, jak přijímat vedení v přirozeném jazyce. StudentSim je tak jediný ze tří přístupů, který obstojí v obou kritériích zároveň. Jde ale o tvrzení autorů, nikoli o nezávisle ověřený výsledek.
Zlepšení tutora a omezení výsledků
Výzkumníci zkusili, zda lze simulovaného studenta využít i k ladění samotného AI tutora. Šachoví experti hodnotili odpovědi tutorů, aniž věděli, jak byly natrénovány. Tutor trénovaný s odměnou ze StudentSim dosáhl přesnosti 90,5 %, zatímco bez posilovaného učení to bylo 75,7 % a při odměně z GPT-5.4 71,6 %.
Odpovědi tutorů poté hodnotili šachoví experti, kteří nevěděli, jak byl který tutor natrénován. Takové slepé hodnocení omezuje riziko, že by posuzovatelé nevědomky upřednostnili variantu, o které věří, že je lepší. Tutor učený s odměnou ze StudentSim dosáhl přesnosti 90,5 %. Varianta bez posilovaného učení měla 75,7 % a varianta s odměnou z GPT-5.4 71,6 %. Rozdíl tedy nevzniká jen tím, že se tutor dále trénoval, protože odměna z GPT-5.4 dopadla hůře než varianta bez posilovaného učení. Záleželo na tom, z jakého zdroje odměna pocházela.
Autoři ale výsledek označují jen za důkaz konceptu: simulátory natrénované na datech skutečných studentů podle nich mohou poskytnout užitečnou zpětnou vazbu pro zlepšování AI tutorů. Studie s lidmi nenahrazují. Ty zůstávají podle autorů nezbytné pro měření výsledků učení, bezpečnosti, použitelnosti i vhodnosti pro výuku ve třídě. Simulátor tedy může zrychlit dřívější fázi vývoje, ale o tom, zda tutor žákům skutečně pomáhá, nerozhoduje. Právě proto autoři zdůrazňují, že StudentSim je výzkumný nástroj, který se má použít před zkouškou se skutečnými studenty, nikoli místo ní.
Grafy a schéma pocházejí z původního článku uvedeného ve zdrojích.
Zdroje
- Simulating student learning for better AI tutoring – Microsoft Research — Microsoft Research Blog
Článek vznikl s pomocí AI; podklady a odkazy jsou uvedeny výše.