Ключевой проблемой больших языковых моделей искусственного интеллекта остается отсутствие подлинного эмоционального интеллекта и сложность интерпретации невербальных сигналов — интонации, мимики и жестов. Ручная разметка данных для обучения ИИ, по оценкам специалистов, обходится дорого и требует огромных временных затрат. Исследователи РГПУ им. А. И. Герцена выяснили, что видеоигры предлагают практически готовое решение: их диалоги уже содержат встроенную эмоциональную аннотацию, где каждая реплика снабжена указаниями вроде «саркастично», «с сочувствием» или «грубо». Это делает игровые тексты ценнейшим ресурсом для дообучения нейросетей.
Авторы исследования, кандидат филологических наук, доцент Ольга Кустова и младший научный сотрудник Глеб Полтавец, проанализировали 50 диалоговых фрагментов из видеоигры Disco Elysium, включающих общение с неигровыми персонажами (NPC) и внутренние монологи главного героя. Исследование проводилось на материале англоязычной и русскоязычной версий игры.
«Современные большие языковые модели лишены доступа к мультимодальной информации: тону голоса, интонациям, мимике и жестам, которые в естественной коммуникации помогают точно оценить состояние собеседника. Как следствие, при генерации текста модели могут выдавать правдоподобные, но неадекватные или вымышленные эмоциональные реакции. Видеоигры же предлагают естественную эмоциональную аннотацию текста: игроку предлагаются реплики с явно заданной интонацией, что фактически представляет собой готовую размеченную выборку. Это крайне ценно для задач анализа тональности, эмоциональной классификации и обучения эмпатичных моделей», — рассказала Ольга Кустова.
По словам экспертов, видеоигры обладают рядом преимуществ перед традиционными источниками данных для обучения нейросетей. Во-первых, игровые диалоги сопоставимы с естественной коммуникацией по базовым прагматическим механизмам. Во-вторых, они позволяют моделям обучаться на интерактивных сценариях с изменяющимся контекстом, где реплики зависят от предшествующих выборов игрока и психоэмоционального состояния персонажа. В-третьих, в играх представлен широкий спектр речевых регистров — от литературных до разговорных форм, диалектных вариантов и даже вымышленных языков.
Выявлены четыре ключевые характеристики вербальной составляющей видеоигр: лексико-грамматическая и стилистическая сложность, сопоставимая с художественными фильмами; эмоциональная насыщенность; функциональность и информативность, включающая подсказки и инструкции; контекстуальная изменчивость в зависимости от внутриигровых событий.
Исследователи подчеркивают, что практическое применение их выводов выходит далеко за пределы игровой индустрии. Использование видеоигровых текстов, охватывающих широкий эмоциональный спектр и широкий круг коммуникативных ситуаций, может быть востребовано в социальной робототехнике, цифровой педагогике, системах психоэмоциональной поддержки, где корректная речевая реакция играет ключевую роль в эффективности взаимодействия.
«Благодаря высокой насыщенности эмоциями, интонацией и контекстом, диалоги из видеоигр могут служить моделью для создания реалистичных и чувствительных коммуникационных систем, таких как интеллектуальные чат-боты, голосовые помощники и системы виртуального консультирования», — добавила Ольга Кустова.
Особую ценность, по мнению экспертов, представляет интерактивная природа игровых сценариев с ветвящимися диалогами, зависящими от выбора пользователя. Это дает возможность обучать языковые модели на ситуациях с изменяющимся контекстом и последствиями, что особенно важно для построения интерфейсов, способных адаптироваться к поведению и эмоциональному состоянию собеседника в реальном времени.
