Sony тестирует ИИ-диалоги с игровым персонажем Horizon Forbidden West

Компания Sony экспериментирует с интеграцией искусственного интеллекта в игровых персонажей, сообщает The Verge. Как стало известно, в рамках закрытого демо был представлен прототип, где Элой — главная героиня Horizon Forbidden West — общается с игроком в реальном времени с помощью ИИ.
В демонстрации Элой отвечает на голосовые команды во время геймплея, синхронизируя речь с мимикой. Например, после вопроса «Как дела?» персонаж после короткой паузы заявил: «Всё нормально, просто немного болит горло».
Технология работает как в изолированном демо, так и в полноценной игре. Элой способна комментировать локации («сейчас мы в каньоне») и время суток, хотя вместо точного времени отвечает обобщениями вроде «после полудня и жарко». По завершении сессии персонаж переключается в «режим интервью», подводя итоги игрового процесса.

Наиболее неоднозначным моментом, по мнению Engadget, стал эпизод, где Элой попросили попрощаться с аудиторией. Персонаж выполнил просьбу, но синтезированный голос и неестественная мимика создали «жутковатый» эффект.
Для разработки прототипа Sony задействовала несколько моделей: GPT-4 и Llama 3 — для принятия решений и генерации диалогов, а также Whisper от OpenAI для преобразования речи в текст. Кроме того, компания использовала собственные наработки — систему Emotional Voice Synthesis (EVS) для генерации эмоционального голоса и технологию Mockingbird, синхронизирующую аудио с анимацией лица. Обе технологии ранее не анонсировались публично.
Хотя технология Sony всё ещё находится на ранней стадии, она демонстрирует потенциал ИИ в играх. Однако вопросы к естественности взаимодействия и этические аспекты использования синтетических персонажей остаются открытыми. Пока что неясно, когда и в каком виде разработка появится в релизных проектах, но эксперименты крупных компаний подтверждают: игровая индустрия активно движется в сторону гиперреалистичных диалоговых систем. Аналогичные проекты разрабатывают NVIDIA и Microsoft. Например, NVIDIA с помощью платформы ACE создаёт ИИ-диалоги для NPC.
