Введение. Создание концептуально новой модели СКАТ опиралось на результаты теоретических и экспериментальных российских (В. А. Векслер, П. П. Дьячук, В. С. Добряк, Т. М. Зубкова, А. Р. Кочура, М. С. Мазорчук, И. П. Перегудова, Л. Ф. Тагирова и др.) и зарубежных (M. V. Brus, A. J. Martin, G. Lazendic, S. L. Zahrebelnyi) исследований, анализ которых позволил выявить три сложившихся подхода к адаптации, используемых в большинстве СКАТ (варьирование количества, уровня сложности и времени выполнения тестовых заданий). При этом нерешенной оставалась проблема индивидуальной настройки СКАТ, так как традиционно подобные системы выполняли только одну функцию – оценивающую. Две другие функции – диагностическая (выявление причин невыполнения тестового задания) и корректирующая (подбор элементов содержания) обеспечивали устранение индивидуальных учебных дефицитов, что способствовало бы повышению эффективности промежуточной аттестации.
Материалы и методы. В проведенном исследовании были использованы следующие методы: теоретический анализ научной литературы, сравнительный анализ СКАТ, систематизация и обобщение результатов локального эксперимента.
Результаты. В статье обсуждается структура представленной модели системы компьютерного адаптивного обучающего тестирования (СКАТ), необходимость разработки которой связана с развитием теории и практики создания адаптивных систем обучения и их востребованностью для реализации персонифицированных моделей обучения. Специфика предложенной модели определяется ее структурой, которая в отличие от распространенных моделей СКАТ включает два обязательных дополнительных блока – диагностический и обучающий. Соответственно, наполнение этих блоков потребовало разработки специальных требований к тестовым заданиям, которые представлены кейсами или наборами кейсов. Новизна исследования заключается в развитии теории и практики разработки СКАТ включением диагностирующей и обучающей функций для обеспечения дополнительной и более гибкой адаптации.
Обсуждение и выводы. Включение диагностирующего и обучающего блоков расширяет границы применимости СКАТ и их влияние на повышение успешности решения математических задач обучающимися. Продолжение исследования будет связано с использованием технологий искусственного интеллекта для совершенствования разработанной системы компьютерного адаптивного обучающего тестирования.
Introduction. The creation of a conceptually new CAT model was based on the results of theoretical and experimental studies by Russian (V. A. Veksler, P. P. Dyachuk, V. S. Dobryak, T. M. Zubkova, A. R. Kochura, M. S. Mazorchuk, I. P. Peregudova, L. F. Tagirova, etc.) and foreign researchers (M. V. Brus, A. J. Martin, G. Lazendic, S. L. Zahrebelnyi). The analysis of these studies revealed three established approaches to adaptation used in most CAT systems (variation of the number, difficulty level, and time for completing test tasks). However, the problem of individual CAT customization remained unsolved, as traditionally such systems performed only one function – assessment. Meanwhile, it was the other two functions – diagnostic (identifying the reasons for failing to complete a test task) and corrective (selecting content elements) – that ensured the elimination of individual learning deficits, which would contribute to improving the effectiveness of interim assessment.
Materials and Methods. The following methods were used in the conducted research: theoretical analysis of scientific literature, comparative analysis of CAT systems, systematization, and generalization of local experiment results.
Results. The article discusses the structure of the presented model of the Computer Adaptive Learning Testing System (CAT), the need for which development is related to the advancement of theory and practice in creating adaptive learning systems and their demand for implementing personalized learning models. The specificity of the proposed model is determined by its structure, which, unlike common CAT models, includes two mandatory additional blocks – diagnostic and learning. Accordingly, filling these blocks required the development of special requirements for test tasks, which are represented by cases or sets of cases. The novelty of the research lies in the development of theory and practice of CAT development by incorporating diagnostic and learning functions to provide additional and more flexible adaptation.
Discussion and сonclusions. The inclusion of diagnostic and learning blocks expands the scope of CAT applicability and their impact on improving the success rate of solving mathematical problems by students. The continuation of the research will be related to the use of artificial intelligence technologies to improve the developed Computer Adaptive Learning Testing System.
Готская Ирина Борисовнадоктор педагогических наук, профессор
Российский государственный педагогический университет имени А. И. Герцена; Национальный исследовательский университет ИТМО
Санкт-Петербург, Российская Федерация
iringot@mail.ru
Снегурова Виктория Игоревнадоктор педагогических наук
Институт содержания и методов обучения имени В.С. Леднева
Москва, Российская Федерация
snegurova@bk.ru
1. Безруков А. И., Акимова С. А. Моделирование адаптивного теста по результатам классического тестирования // Современные информационные технологии и ИТ-образование. – 2023. – Т. 19. – № 2. – С. 498–507. EDN KQPWNH.
2. Векслер В. А., Отроков Д. А. Адаптивное тестирование как вид объективного контроля знаний, умений и навыков обучаемых и одного из способов повышения качества образования // NovaInfo. – 2018 – Т. 1. – № 94. – С. 170–174. EDN: VNYVVE.
3. ВихревВ.В. Цифровая трансформация образования и проблематика адаптивного обучения // Информационные технологии в образовании: материалы XI Всероссийской (с международным участием) научно-практической конференции, Саратов, 01–02 ноября 2019 года. – Саратов: Перо, 2019. – С. 44–48. EDN NUYXDU.
4. Готская И. Б., СнегуроваВ. И. Компьютерное диагностическое адаптивное тестирование в подготовке бакалавров и магистров технологического образования // Технологическое образование: теория и инновационные практики (К 45?летнему юбилею кафедры технологического образования РГПУ им. А.И. Герцена): материалы Всероссийской научнопрактической конференции с международным участием, Санкт-Петербург, 28–30 марта
2023 года. – СПб.: РГПУ им. А. И. Герцена, 2023. – С. 167–171. EDN THNZBO.
5. Готская И. Б., Снегурова В. И., Сивинский С. А. Система компьютерного адаптивного тестирования: варьирование уровня сложности и формата предъявления тестовых заданий // Управление качеством образования: теория и практика эффективного администрирования. – 2025. – № 3. – С. 41–47. – EDN YVXIHE.
6. Дьячук П. П., Шкерина Л.В., Шадрин И.В., Перегудина И. П.Динамическое адаптивное тестирование как способ самообучения студентов в электронной проблемной среде математических объектов // Вестник Красноярского государственного педагогического университета им. В. П. Астафьева. – 2018. – № 1 (43). – С. 48–59. EDN: XLWTKX.
7. Ларин С. Н., Герасимова Л. И., Герасимова Е. В. Адаптивное тестирование уровня знаний обучаемых как инструментарий реализации принципов индивидуализации и дифференциации обучения // Педагогический журнал. – 2018. – Т. 8. – № 2А. – С. 48–57. EDN: XYDEJN.
8. Мазорчук М. С., Добряк В. С., Кочура А. Р. Технология адаптивного тестирования в среде R // Открытые информационные и компьютерные интегрированные технологии. 2017. – № 75. – С. 215–230.
9. Перегудова И. П. Динамическое адаптивное тестирование учебной деятельности студентов при изучении времен английского языка // Педагогические науки. – 2020. –№ 10 (100). – С. 40–45. EDN: ZPPMDC.
10. СнегуроваВ. И., Готская И. Б., Пиотровская К. Р. Кейсы по математике для системы компьютерного диагностического адаптивного тестирования // Новые образовательные стратегии в современном информационном пространстве: сб. науч. статей по материалам международной научно-практической конференции, Санкт-Петербург, 09–30 марта 2022 года. – СПб.: Астерион, 2022. – С. 141–148. EDN WIRQDV.
11. Столярова И. В. Электронный тестовый метод контроля на этапе фронтального опроса на уроках информатики у учащихся средней школе // Russian Journal of Education and Psychology. – 2020. – Том 11. – № 3. – С. 48–54. EDN: ZZVPJ.
12. Тагирова Л. Ф., Зубкова Т. М. Интеллектуальная система адаптивного тестирования // Научно-технический вестник информационных технологий, механики и оптики. – 2023. – № 4 (24). – С. 757–764. EDN: AYOMEW.
13. Томашев М.В., Авдеев А.С., Краснова М.В. Адаптивное тестирование как средство управления качеством образования // Информатика и образование. – 2018. – № 9 (298). – С. 27–33. EDN: YQHHLV
14. Шершнева В. А., Вайнштейн Ю. В., Кочеткова Т. О. Адаптивная система обучения в электронной среде // Программные системы: теория и приложения. – 2018. – Т. 9. – № 4 (39). – С. 159–177. EDN DNBANN.
15. Delgado-G?mez D., Laria J. C., Ruiz-Hern?ndez D. Computerized adaptive test and decision trees: A unifying approach // Expert systems with applications, March 2019. – Vol. 117. – P. 358–366. DOI: 10.1016/j.eswa.2018.09.052.
16. Gotskaya I. B., Zhukov N. N., Gosudarev I. B., SnegurovaV. I. [et al.]. The problem of increasing the efficiency of computer adaptive testing for students in higher educational establishments // Revista EDaPECI: Educa??o a Dist?ncia e Pr?ticas Educativas Comunicacionais e Interculturais. – 2021. – Vol. 21. – No. 2. – P. 98–108. EDN AMBNRX.
17. Martin A. J., Lazendic, G.Computer-adaptive testing: Implications for students’ achievement, motivation, engagement, and subjective test experience // Journal of Educational Psychology. – 2018. – 110(1).- P. 27–45. DOI: 10.1037/edu0000205.
18. Samsudin M. A., Som Chut T., Ismail M. E. Evaluating computerized adaptive testing efficiency in measuring students’ performance in science TIMSS // Jurnal pendidikan IPA Indonesia (Indonesian Journal of Science Education). [S.l.]. – 2019. – Vol. 8. – № 4. – P. 547–560. DOI:10.1007/978-3-642-20074-8_3.
19. Shapiro E. S., Dennis M. S., Fu Q. Comparing computer adaptive and curriculum-based measures of math in progress monitoring // School Psychology Quarterly. – 2015. – Vol. 30 (4). – P. 470–487. DOI: 10.1037/spq0000116.
20. Zahrebelnyi, S.L., Brus, M.V. Adaptive testing as a means of students’ knowledge control at technical higher educational institutions. DHMA Bulleting. – 2017. –1(22). – P. 155–162.
21. Zhuang Y., Liu Q., Huang Z., Li Z., Shen S., Ma H. Fully adaptive framework: neural computerized adaptive testing for online education. Proceedings of the thirty-sixth AAAI conference on artificial intelligence (AAAI?22). February 22 March 1, 2022, held virtually. – 2022. – Vol. 36. – № 4. – P. 4734–4742. DOI: 10.1609/aaai.v36i4.20399.
22. Gomede E., Barros R. M., Mendes L. S. Deep auto encoders to adaptive e-learning recommender system // Computers and education: Artificial intelligence. – 2021. Vol.2. – Pp. 2–12. DOI: 10.1016/j.caeai.2021.100009
1. Bezrukov, A. I., Akimova, S. A. (2023) Modelirovanie adaptivnogo testa po rezul'tatam klassicheskogo testirovaniya [Modeling of adaptive testing based on classical testing results]. Sovremennye informacionnye tekhnologii i IT-obrazovanie – Modern Information Technologies and IT Education. No. 2 (19). Pp. 498–507. (In Russian). EDN KQPWNH.
2. Veksler, V. A., Otrokov, D. A. (2018) Adaptivnoe testirovanie kak vid ob"ektivnogo kontrolya znanij, umenij i navykov obuchaemyh i odnogo iz sposobov povysheniya kachestva obrazovaniya [Adaptive testing as a type of objective knowledge control, skills and abilities of students and one of the ways to improve the quality of education]. NovaInfo – NovaInfo. No. 94 (1). Pp. 170–174. (In Russian). EDN: VNYVVE.
3. Vihrev, V. V. (2019) Cifrovaya transformaciya obrazovaniya i problematika adaptivnogo obucheniya [Digital transformation of education and issues of adaptive learning]. Informacionnye tekhnologii v obrazovanii [Information Technologies in Education]. Proceedings of the XI AllRussian (with international participation) scientific-practical conference. Saratov, November 01–02, 2019. Saratov: Pero Publishing House. Pp. 44–48. (In Russian). EDN NUYXDU.
4. Gotskaya, I. B., Snegurova, V. I. (2023) Komp'yuternoe diagnosticheskoe adaptivnoe testirovanie v podgotovke bakalavrov i magistrov tekhnologicheskogo obrazovaniya [Computer diagnostic adaptive testing in the training of bachelors and masters in technological education]. Tekhnologicheskoe obrazovanie: teoriya i innovacionnye praktiki (K 45?letnemu yubileyu kafedry tekhnologicheskogo obrazovaniya RGPU im. A. I. Gercena) [Technological Education: Theory and Innovative Practices (Dedicated to the 45th Anniversary of the Department of Technological Education, Herzen State Pedagogical University)]. Materials of the russian scientific and practical conference with international participation, St. Petersburg, March 28–30, 2023. St. Petersburg: Russian State Pedagogical University A. I. Herzen. Pp. 167–171. (In Russian). EDN THNZBO.
5. Gotskaya, I. B., Snegurova, V. I., Sivinskij, S. A. (2025) Sistema komp'yuternogo adaptivnogo testirovaniya: var'irovanie urovnya slozhnosti i formata pred"yavleniya testovyh zadanij [Computer adaptive testing system: varying the level of complexity and format of presenting test tasks]. Upravlenie kachestvom obrazovaniya: teoriya i praktika effektivnogo administrirovaniya. – Education quality management: theory and practice of effective administration. No. 3. Pp. 41–47. (In Russian). EDN YVXIHE.
6. D'yachuk, P. P., SHkerina, L. V., Shadrin, I. V., Peregudina, I. P. (2018) Dinamicheskoe adaptivnoe testirovanie kak sposob samoobucheniya studentov v elektronnoj problemnoj srede matematicheskih ob"ektov [Dynamic adaptive testing as a method of students’ self-learning in the electronic problem-based environment of mathematical objects]. Vestnik Krasnoyarskogo gosudarstvennogo pedagogicheskogo universiteta im. V.P.Astaf'eva – Bulletin of Krasnoyarsk state pedagogical university named after V.P.Astafyev. No. 1 (43). Pp. 48–59. (In Russian). EDN: XLWTKX. 7. Larin, S. N., Gerasimova, L. I., Gerasimova, E. V. (2018) Adaptivnoe testirovanie urovnya znanij obuchaemyh kak instrumentarij realizacii principov individualizacii i differenciacii obucheniya [Adaptive testing of students’ knowledge level as a tool for implementing the principles of individualization and differentiation of education]. Pedagogicheskij zhurnal – Pedagogical Journal. No. 2A (8). Pp. 48–57. (In Russian). EDN: XYDEJN.
8. Mazorchuk, M. S., Dobryak, V. S., Kochura, A. R. (2017) Tekhnologiya adaptivnogo testirovaniya v srede R [Adaptive testing technology in the R environment]. Otkrytye informacionnye i komp'yuternye integrirovannye tekhnologii – Open information and computer integrated technologies. No. 75. Pp. 215–230. (In Russian).
9. Peregudova, I.P. (2020) Dinamicheskoe adaptivnoe testirovanie uchebnoj deyatel'nosti studentov pri izuchenii vremen anglijskogo yazyka [Dynamic adaptive testing of students’ learning activities in the study of English tenses]. Pedagogicheskie nauki – Pedagogical Sciences. No. 10 (100). Pp. 40–45. (In Russian). EDN: ZPPMDC. 10. Snegurova, V. I., Gotskaya,I.B., Piotrovskaya,K.R. (2022) Kejsy po matematike dlya sistemy komp'yuternogo diagnosticheskogo adaptivnogo testirovaniya [Cases in mathematics for the computer diagnostic adaptive testing system]. Novye obrazovatel'nye strategii v sovremennom informacionnom prostranstve [New educational strategies in modern information space]. Collection of scientific articles based on the materials of the international scientific-practical conference, SanktPeterburg, March 09–30, 2022. Saint-Petersburg: Asterion. Pp. 141–148. (In Russian). EDN WIRQDV.
11. Stolyarova, I. V. (2020) Elektronnyj testovyj metod kontrolya na etape frontal'nogo oprosa na urokah informatiki u uchashchihsya srednej shkole [Electronic testing method for control at the frontal survey stage in computer science lessons for secondary school students]. Russian Journal of Education and Psychology – Russian Journal of Education and Psychology. No. 3 (11). Pp. 48–54. EDN: ZZVPJ.
12. Tagirova, L. F., Zubkova, T. M. (2023) Intellektual'naya sistema adaptivnogo testirovaniya [Intelligent adaptive testing system]. Nauchno-tekhnicheskij vestnik informacionnyh tekhnologij, mekhaniki i optiki – Scientific and Technical Bulletin of Information Technologies, Mechanics and Optics. No. 4 (24). Pp. 757–764. (In Russian). EDN: ZZVPJ.
13. Tomashev, M. V., Avdeev, A.S., Krasnova, M. V. (2018) Adaptivnoe testirovanie kak sredstvo upravleniya kachestvom obrazovaniya [Adaptive testing as a tool for education quality management]. Informatika i obrazovanie – Computer Science and Education. No. 9 (298). Pp. 27–33. (In Russian). EDN: YQHHLV
14. Shershneva, V. A., Vajnshtejn, YU. V., Kochetkova, T. O. (2018) Adaptivnaya sistema obucheniya v elektronnoj srede [Adaptive learning system in electronic environment]. Programmnye sistemy: teoriya i prilozheniya – Software Systems: Theory and Applications. No. 4 (39). Pp. 159–177. (In Russian). EDN DNBANN.
15. Delgado-G?mez, D., Laria, J. C., Ruiz-Hern?ndez, D. (2019) Computerized adaptive test and decision trees: A unifying approach. Expert systems with applications. Vol. 117. Pp. 358–366. DOI: 10.1016/j.eswa.2018.09.052.
16. Gotskaya, I. B., Zhukov, N. N., Gosudarev, I. B., Snegurova, V. I. (2021) [et al.] The problem of increasing the efficiency of computer adaptive testing for students in higher educational establishments. Revista EDaPECI: Educa??o a Dist?ncia e Pr?ticas Educativas Comunicacionais e Interculturais. Vol. 21. No. 2. Pp. 98–108. EDN AMBNRX.
17. Martin, A. J., Lazendic, G. (2018) Computer-adaptive testing: Implications for students’ achievement, motivation, engagement, and subjective test experience. Journal of Educational Psychology. No. 110(1). Pp. 27–45. DOI: 10.1037/edu0000205.
18. Samsudin, M. A., Som, Chut T., Ismail, M. E. (2019) Evaluating computerized adaptive testing efficiency in measuring students’ performance in science TIMSS. Jurnal pendidikan IPA Indonesia (Indonesian Journal of Science Education). [S.l.]. Vol. 8. No. 4. Pp. 547–560. DOI: 10.1007/978-3-642-20074-8_3.
19. Shapiro, E. S., Dennis, M. S., FuQ. (2015) Comparing computer adaptive and curriculumbased measures of math in progress monitoring. School Psychology Quarterly. Vol. 30 (4). Pp. 470–487. DOI: 10.1037/spq0000116.
20. Zahrebelnyi, S. L., Brus, M. V. (2017) Adaptive testing as a means of students’ knowledge control at technical higher educational institutions. DHMA Bulleting. No. 1 (22). Рp. 155–162.
21. Zhuang, Y., Liu, Q., Huang, Z., Li, Z., Shen, S., Ma, H. (2022) Fully adaptive framework: neural computerized adaptive testing for online education. Proceedings of the thirty-sixth AAAI conference on artificial intelligence (AAAI?22). February 22– March 1, 2022, held virtually. Vol. 36. No. 4. Pр. 4734–4742 DOI: 10.1609/aaai.v36i4.20399.
22. Gomede, E., Barros, R. M., Mendes, L. S. (2021) Deep auto encoders to adaptive e-learning recommender system. Computers and education: Artificial intelligence. Vol. 2. Pp. 2–12. DOI: 10.1016/j.caeai.2021.100009.