Prowise Learn: onderzoeken met onze spelersdata

Onderzoekers van de Universiteit van Amsterdam

Prof. Dr. Han van der Maas

Als hoogleraar psychologische methodenleer aan de UvA ben ik nauw betrokken bij het onderzoek. Ik bewaak de voortgang en kwaliteit van de huidige onderzoekslijnen en zet nieuwe onderzoekslijnen uit. Daarbij gaat mijn aandacht uit naar alle facetten van de adaptieve leeromgeving. Denk hierbij aan het onderhouden en optimaliseren van het adaptieve systeem, maar bijvoorbeeld ook aan het bestuderen van belangrijke vraagstukken die betrekking hebben op de cognitieve ontwikkeling van kinderen.

Dr. Claire Stevenson

Ik ben een onderzoeker van de UvA (afdeling Psychologie) en werk samen met Prowise Learn om beter te begrijpen hoe intelligentie en creativiteit zich ontwikkelen en hoe we leren het beste kunnen meten. Met de kennis die we hiermee opdoen leren we niet alleen veel over de 'nature' en 'nurture' van intelligentie en creativiteit, maar kunnen we ook nieuwe leuke spelletjes maken die creativiteit en cognitieve ontwikkeling stimuleren.

Dr. Abe Hofman

Ik doe onderzoek naar ontwikkeling van reken- en cognitive vaardigheden van kinderen. Hiervoor bestuderen we in eerste instantie hoe we de vaardigheid van kinderen kunnen meten, om vervolgens vragen te kunnen beantwoorden omtrent de ontwikkeling. Bijvoorbeeld, is er een relatie tussen de ontwikkeling van verschillende spellen binnen Rekentuin.

Dr. Brenda Jansen

Helemaal aan het begin van de Rekentuin dacht ik mee over de sommetjes in de spelletjes. Nu doe ik onderzoek naar de rekenstragieën van kinderen en wil ik graag weten hoe we kinderen kunnen motiveren om met rekenen te oefenen.

Drs. Sharon Klinkenberg

Als promovendus heb ik samen met Marthe de eerste versie van Rekentuin gemaakt. Mijn onderzoek heeft zich onder andere gericht op het bewijzen van de representativiteit van de scores die kinderen in Rekentuin halen voor hun rekenvaardigheid.

Prof. Dr. Maartje Raijmakers

Als hoogleraar Onderwijswetenschappen (VU) en Cognitieve Ontwikkelingspsychologie (UvA) ben ik zeer geïnteresseerd in de ontwikkelingen binnen Prowise Learn die kunnen leiden tot een beter inzicht in de leerprocessen van kinderen. Ik ben nauw betrokken bij onderzoek dat ons beter inzicht geeft in de individuele verschillen van kinderen. We zijn bezig met ontwikkeling van methodes en technieken om beter zicht te krijgen op de conceptuele inzichten die kinderen ontwikkelen tijdens het trainen.

Dr. Alexander Savi

Als onderzoeker aan de VU Amsterdam (onderwijskunde, met een achtergrond in psychologisch en methodologisch onderzoek), werk ik op verschillende projecten met Prowise Learn samen. Vragen die in deze samenwerking centraal staan zijn: Wat kunnen we leren over misconcepties van leerlingen, op basis van de antwoorden die ze geven? Hoe kunnen we de effectiviteit van onderwijsinterventies toetsen? En hoe kunnen we individuele verschillen tussen leerlingen in het effect van interventies beoordelen?

Verdere samenwerkingen:

Dr. Gunter Maris

De werking van het adaptieve systeem heeft met name mijn aandacht. In mijn onderzoek bestudeer en optimaliseer ik de psychometrische modellen die adaptiviteit mogelijk maken. Ik onderzoek hoe de inspanningen van de kinderen zo goed mogelijk beloond kunnen worden door het vergroten van de leerwinst.

Dr. Alexander Krepel

Voor mijn promotieonderzoek aan de Universiteit van Amsterdam ben ik geïnteresseerd in hoe leerlingen in het voortgezet onderwijs Engels leren. Hierbij onderzoek ik hoe oefenen in Words&Birds samenhangt met de ontwikkeling in Engels woordenschat, spelling en lezen. Daarnaast heb ik geholpen met de ontwikkeling en verbetering van spellen in Words&Birds zodat ook de uitspraak van woorden goed geleerd kan worden.

Dr. Marco van de Ven

Ik ben als postdoctoraal onderzoeker (Radboud) betrokken bij de verdere ontwikkeling en validering van Words&Birds. Verder gebruik ik learning analytics om meer inzicht te krijgen in de processen die een rol spelen bij het leren van een tweede taal. Samen met Prowise Learn, Earlybird hebben Alexander, Evelien en Marco op basis van experimenten nieuw materiaal ontwikkeld voor Words&Birds. In 2017 hebben wij daarnaast een grootschalige interventie studie uitgevoerd met Words&Birds.

Dr. Elise de Bree

Vanuit mijn interesse naar taal-, lees- en spellingontwikkeling voer ik aan de Radboud Universiteit Nijmegen onderzoek uit aan de hand van data uit Taalzee en Words&Birds. Deze ecologisch valide manier van dataverzameling biedt ons veel inzicht in de manieren waarop kinderen en tieners leren lezen en spellen en hun woordenschat vergroten.

Dr. Evelien Mulder

Als promovenda doe ik vanuit de Radboud Universiteit onderzoek naar hoe brugklasleerlingen van het lezen van losse woorden tot tekstbegrip in het Engels komen.

Onderzoekers van de Universiteit Utrecht

Dr. Matthieu Brinkhuis

Ik onderzoek verschillende algoritmen om zo goed mogelijk te volgen hoe spelers bijleren. Daarnaast gebruik ik Rekentuin-data om in kaart te brengen hoe de moeilijkheid van vragen, zoals bijvoorbeeld de tafels van vermenigvuldiging, over de tijd heen veranderen. Met die informatie hopen we spelers efficiënter te kunnen laten oefenen.

Dr. Sergey Sosnovsky

I am an assistant professor of Software Technology for Learning and Teaching at the Department of Information and Computing Sciences, Utrecht University. My research interests include various aspects of designing, developing and evaluating adaptive educational systems and personalised information systems in general.

Universiteiten van Leuven, Cambridge en Birkbeck College

Prof. Dr. Wim van den Noordgate

Aan onze interdisciplinaire onderzoeksgroep imec-ITEC aan de KULeuven campus Kortrijk doen we fundamenteel en toegepast onderzoek naar de ontwikkeling, het design en de evaluatie van adaptieve en gepersonaliseerde digitale oplossingen, voornamelijk in het domein van het onderwijs. Voor het uitproberen en illustreren van data-analytische technieken en modellen hebben we daarbij herhaaldelijk dankbaar gebruik gemaakt van de rijke datasets die worden gegenereerd door Prowise Learn.

Dr. Rogier Kievit (Cambridge)

Ik ben gefascineerd door periodes van snelle cognitieve ontwikkeling, zowel in de kindertijd als ouderdom. Het meest interessant vind ik de dynamische samenhang tussen domeinen: Hoe helpt je taalvaardigheid je rekenvaardigheid, en andersom? De data van Prowise Learn is een unieke bron van kennis om dit proces beter te begrijpen.

Susanne de Mooij, MSC

Hoe kinderen tot een antwoord komen en waarom ze bepaalde fouten maken is een belangrijk vraagstuk om instructie en feedback zo passend mogelijk aan te bieden. Het cognitieve process voor een respons is vrijwel altijd verborgen, maar met indirecte technieken zoals het bestuderen van oog & muis bewegingen hoop ik hier meer inzage in te krijgen. In samenwerking met de University of London, Birkbeck College, onderzoek ik hoe individuele verschillen in vaardigheid samenhangen met strategie gebruik.

Key publiations

Brinkhuis, M. J., Savi, A. O., Hofman, A. D., Coomans, F., van der Maas, H. L., & Maris, G. (2018)
Learning as it happens: A decade of analyzing and shaping a large-scale online learning system.
Journal of Learning Analytics, 5(2), 29-46.

Hofman, A., Kievit, R., Stevenson, C., Molenaar, D., Visser, I., & van der Maas, H. (2018)
The dynamics of the development of mathematics skills: A comparison of theories of developing intelligence.

Savi, A. O., van der Maas, H. L. J., & Maris, G. K. J. (2015)
Navigating massive open online courses.
Science, 347 (6225), 958.

van der Maas, H. L. J., Kan, K.-J., Hofman, A. D., & Raijmakers, M. E. J. (2014)
Dynamics of development: a complex systems approach.
In P. C. Molenaar & R. M. Lerner (Eds.), Handbook of developmental systems theory and methodology (pp. 270–286).

Klinkenberg, S., Straatemeier, M., & van der Maas, H. L. (2011)
Computer adaptive practice of maths ability using a new item response model for on the fly ability and difficulty estimation.
Computers & Education, 57(2), 1813-1824.

Proefschriften

Brinkhuis, M. J. S. (2014, december)
Tracking educational progress
(Doctoral dissertation, University of Amsterdam).

Straatemeier, M. (2014, April 25)
Math Garden: a new educational and scientific instrument
(Doctoral dissertation, University of Amsterdam).

Hofman, A. D. (2018)
Psychometric analyses of computer adaptive practice data: A new window on cognitive development.

Klinkenberg, S. (In progress)
A psychometric perspective on personalized assessment in education

Savi A. O. (2019),
Towards an idiographic education

Research papers

Hofman, A. D., Visser, I., Jansen, B. R., Marsman, M., & van der Maas, H. L. (2018)
Fast and slow strategies in multiplication.
Learning and Individual Differences, 68, 30-40.

Savi, A. O., Deonovic, B., Bolsinova, M., van der Maas, H., & Maris, G. (2018)
Automated Diagnosis of Misconceptions in Single Digit Multiplication. Tracing Systematic Errors to Personalize Recommendations in Single Digit Multiplication and Beyond.
PsyArXiv. July, 31.

Savi, A. O., Ruijs, N. M., Maris, G. K., & van der Maas, H. L. (2018)
Delaying access to a problem-skipping option increases effortful practice: Application of an A/B test in large-scale online learning.
Computers & Education, 119, 84-94.

Nyamsuren, E., van der Maas, H. L., & Maurer, M. (2018).
Set-theoretical and Combinatorial Instruments for Problem Space Analysis in Adaptive Serious Games. International Journal of Serious Games, 5(1), 5-18.

Hofman, A. D., Jansen, B. R., de Mooij, S. M., Stevenson, C. E., & van der Maas, H. L. (2018)
A Solution to the Measurement Problem in the Idiographic Approach Using Computer Adaptive Practicing.
Journal of Intelligence, 6(1), 14.

Sosnovsky, S., Müter, L., Valkenier, M., Brinkhuis, M., & Hofman, A. (2018)
Detection of Student Modelling Anomalies.
In European Conference on Technology Enhanced Learning (pp. 531-536). Springer, Cham.

de Bree, E., van der Ven, S., & van der Maas, H. (2017)
The voice of Holland: Allograph production in written Dutch past tense inflection.
Language Learning and Development, 13(3), 215-240.

van der Ven, S. H., Klaiber, J. D., & van der Maas, H. L. (2017)
Four and twenty blackbirds: How transcoding ability mediates the relationship between visuospatial working memory and math in a language with inversion.
Educational Psychology, 37(4), 487-505.

van der Maas, H. L., & Nyamsuren, E. (2017)
Cognitive analysis of educational games: The number game.
Topics in cognitive science, 9(2), 395-412.

Braithwaite, D. W., Goldstone, R. L., van der Maas, H. L., & Landy, D. H. (2016)
Non-formal mechanisms in mathematical cognitive development: The case of arithmetic.
Cognition, 149, 40-55.

Buwalda, T. A., Borst, J. P., van der Maas, H., & Taatgen, N. A. (2016, September)
Explaining mistakes in single digit multiplication: A cognitive model.
In Proceedings of the 14th International Conference on Cognitive Modeling, University Park, PA, USA (pp. 11-18).

Coomans, F., Hofman, A., Brinkhuis, M., van der Maas, H. L., & Maris, G. (2016)
Distinguishing fast and slow processes in accuracy-response time data.
PloS one, 11(5), e0155149.

Jansen, B. R., Hofman, A. D., Savi, A., Visser, I., & van der Maas, H. L. (2016)
Self-adapting the success rate when practicing math.
Learning and Individual Differences, 51, 1-10.

Brinkhuis, M. J. S., Bakker, M., & Maris, G. (2015)
Filtering data for detecting differential development
Journal of Educational Measurement, 52 (3), 319–338.

Hofman, A. D., Visser, I., Jansen, B. R. J., & van der Maas, H. L. J. (2015)
The balance-scale task revisited: a comparison of statistical models for rule-based and information-integration theories of proportional reasoning.
PloS one, 10 (10), e0136449.

Research papers

Nyamsuren, E., van der Maas, H. L. J., & Taatgen, N. A. (2015, April)
How does prevalence shape errors in complex tasks?
In N. A. Taatgen, M. K. van Vugt, J. P. Borst, & K. Mehlhorn (Eds.), International conference on cognitive modeling (pp. 160–165).

Van den Bergh, M., Hofman, A.D, Schmittmann, V.D. & van der Maas, H.L.J. (2015)
Tracing the development of typewriting skills in an adaptive e-learning environment.
Perceptual & Motor Skills: Learning & Memory, 3, 727-745.

Groeneveld, C. M. (2014)
Implementation of an adaptive training and tracking game in statistics teaching.
In M. Kalz & E. Ras (Eds.), Computer assisted assessment: research into e-assessment (Vol. 439, pp. 53–58). Communications in Computer and Information Science. Springer International Publishing.

Jansen, B. R. J., Hofman, A. D., Straatemeier, M., van Bers, B. M. C. W., Raijmakers, M. E. J., & van der Maas, H. L. J. (2014)
The role of pattern recognition in children’s exact enumeration of small numbers.
British Journal of Developmental Psychology, 32 (2), 178–194.

Kadengye, D. T., Ceulemans, E., & Van den Noortgate, W. (2014)
A generalized longitudinal mixture IRT model for measuring differential growth in learning environments.
Behavior Research Methods, 46 (3), 823–840.

Klinkenberg, S. (2014)
High speed high stakes scoring rule.
In M. Kalz & E. Ras (Eds.), Computer assisted assessment. research into e-assessment (Vol. 439, pp. 114–126). Communications in Computer and Information Science. Springer International Publishing.

Raijmakers, M. E. J., Mandell, D. J., van Es, S. E., & Counihan, M. (2014)
Children’s strategy use when playing strategic games.
Synthese, 191 (3), 355–370.

van der Maas, H. L. J., Kan, K.-J., Hofman, A. D., & Raijmakers, M. E. J. (2014)
Dynamics of development: a complex systems approach.
In P. C. Molenaar & R. M. Lerner (Eds.), Handbook of developmental systems theory and methodology (pp. 270–286).

Jansen, B. R. J., De Lange, E., & Van der Molen, M. J. (2013)
Math practice and its influence on math skills and executive functions in adolescents with mild to borderline intellectual disability
Research in developmental disabilities, 34, 1815-1824.

Gierasimczuk, N., van der Maas, H. L., & Raijmakers, M. E. (2013)
An Analytic Tableaux Model for Deductive Mastermind Empirically Tested with a Massively Used Online Learning System.
Journal of Logic, Language and Information, 22 (3), 297–314.

Jansen, B. R. J., Louwerse, J., Straatemeier, M., Van de Ven, S. H., Klinkenberg, S., & Van der Maas, H. L. (2013)
The influence of experiencing success in math on math anxiety, perceived math competence, and math performance.
Learning and Individual Differences, 24, 190-197.

Van der Ven, S., van der Maas, H. L. J., Straatemeier, M., & Jansen, B. R. J. (2013)
Visuospatial working memory and mathematical ability at different ages throughout primary school.
Learning and Individual Differences, 27, 182–192.

Bouwman, M., & Van der Maas, H. L. J. (2013)
Taalzee illustratief voor de toekomst van het onderwijs.
Tijdschrift voor Remedial Teaching, 21(1), 24-26.

Pieters, W., van der Ven, S. H. G., & Probst, C. W. (2012)
A move in the security measurement stalemate: Elo-style ratings to quantify vulnerability.
In Proceedings of the 2012 workshop on new security paradigms (pp. 1–14). NSPW ’12. Bertinoro, Italy: ACM.

Savi, A., Williams, J. J., Maris, G. K., & van der Maas, H. L. (2017)
The role of A/B tests in the study of large-scale online learning.

Onderwijs en onderzoek gaan hand in hand

Prof. Dr. Han van der Maas

Dr. Claire Stevenson

Dr. Abe Hofman

Dr. Brenda Jansen

Drs. Sharon Klinkenberg

Prof. Dr. Maartje Raijmakers

Dr. Alexander Savi

Dr. Gunter Maris

Dr. Alexander Krepel

Dr. Marco van de Ven

Dr. Elise de Bree

Dr. Evelien Mulder

Dr. Matthieu Brinkhuis

Dr. Sergey Sosnovsky

Prof. Dr. Wim van den Noordgate

Dr. Rogier Kievit (Cambridge)

Susanne de Mooij, MSC

Key publiations

Proefschriften

Research papers

Research papers