В РГПУ им. А. И. Герцена разработан прототип интеллектуальной системы, которая автоматизирует проверку знаний студентов. Модель ставит баллы и анализирует аномальные ответы — помогает выявить и отличников, и тех, кто списывает. Преподаватель получает готовую таблицу с результатами и комментариями для каждого студента. Сервис может быть адаптирован под различные дисциплины — от программирования до математики и естественных наук.
«Когда у педагога сотни студентов, ручная проверка тестов превращается в колоссальную нагрузку, а субъективные искажения все равно влияют на оценки. Существующие системы автоматической проверки либо сложно встроить в реальный учебный процесс, либо они умеют только считать правильные ответы, не замечая контекста», — отметил автор исследования, доцент кафедры информационных технологий и электронного обучения РГПУ им. А. И. Герцена Дмитрий Власов.
В основу разработки легла российская интеграционная платформа Albato, сервис Yandex.Forms для сбора данных, и API популярных языковых моделей. Главным новшеством является двухуровневый анализ аномалий. Сначала система проверяет баллы по жестким порогам: повод для пристального внимания появляется, если студент набрал меньше 20 или больше 85 баллов из 100. Затем в дело вступает второй уровень — интеллектуальный анализ от нейросети. Она изучает ответы, предварительную оценку и выносит финальный вердикт: есть ли в результате что-то необычное. Такой подход переводит платформу от примитивной оценки «верно или неверно» к пониманию контекста.
«Мы имеем дело с принципиально иным качеством педагогической диагностики, — прокомментировал Дмитрий Власов. — Нейросеть, помимо того, что считывает правильные ответы, анализирует контекст и выносит суждение: требует ли конкретный результат внимания преподавателя. Подозрительно высокий балл может говорить и об исключительных способностях, и о списывании. Аномально низкий — сигнализировать о пробелах в знаниях или отсутствии мотивации. Алгоритм показывает преподавателю, на что стоит взглянуть лично, и формирует персонализированный комментарий для студента».
Система уже работает как прототип. Студент заполняет форму в Yandex.Forms, данные автоматически уходят в Albato, оттуда, в виде обезличенных ответов студента, — к нейросети. Первая модель выставляет оценку по 100-балльной шкале и пишет комментарий. Затем вторая модель анализирует ответы на аномалии. Все результаты записываются в единый документ и попадают в таблицу. Преподаватель видит структурированные данные: личную информацию, предоставленную студентом, его ответы, оценку, метки аномалий и комментарии нейросети. Учащийся получает персонализированный отчет на почту.
«Практическая значимость подтверждена работающим прототипом, готовым к внедрению. Он освобождает преподавателей от рутины, позволяет сосредоточиться на анализе сложных случаев и индивидуальной работе. Подход согласуется с современными методами анализа образовательных данных и позволяет выявлять скрытые закономерности в результатах тестирования», — добавила заведующая кафедрой информационных технологий и электронного обучения РГПУ им. А. И. Герцена Елена Власова.
Ученые планируют внедрить анализ аномалий на основе межквартильного размаха (IQR) и более развитых подходов, таких как медианные абсолютные отклонения (MAD), алгоритмы машинного обучения — изоляционного леса (Isolation Forest), локального фактора выброса (Local Outlier Factor) — и методов многомерного анализа, разработать собственный локализованный backend-сервис для массовой рассылки отчетов и интегрировать модель с системами прокторинга для выявления академической нечестности. Отдельное направление — «объяснимый ИИ», чтобы сделать автоматизированное оценивание прозрачным и понятным для преподавателей. В перспективе возможна разработка алгоритмов адаптивного тестирования, где сложность вопросов меняется в зависимости от предыдущих ответов студента и от результатов анализа аномалий в реальном времени.
