Activision представила результаты использования искусственного интеллекта для борьбы с токсичностью в голосовом чате серии Call of Duty. Согласно отчету компании, внедрение ИИ-системы ToxMod от Modulate привело к значительному сокращению повторных нарушений правил общения.
С момента запуска усовершенствованной системы модерации голосового чата в июне 2024 года количество неприятных инцидентов в Modern Warfare 3 и Warzone уменьшилось на 67%. В июле 80% геймеров, получивших предупреждения, больше не нарушали правила. Общий уровень токсичности в голосовом чате снизился на 43% с января 2024 года.
ToxMod функционирует как постоянный наблюдатель, анализируя разговоры пользователей. Система не накладывает баны самостоятельно, а передает информацию модераторам для принятия решений. Одной из ключевых особенностей ToxMod является способность различать дружеские подшучивания и настоящую агрессию, анализируя интонации речи. ИИ учитывает контекст использования потенциально оскорбительных выражений. Например, если кто-то произносит расовое оскорбление, явно задевая других пользователей, нарушение оценивается как более серьезное. При этом система распознает ситуации, когда представители меньшинств сами используют такие слова в общении.
ToxMod также уделяет особое внимание защите несовершеннолетних геймеров. Нарушения, происходящие в присутствии детей, оцениваются строже, чтобы оградить их от грубой лексики и агрессивного поведения.
Несмотря на впечатляющие результаты, внедрение подобных систем вызывает вопросы о конфиденциальности. Однако в современном мире, где наши данные постоянно собираются и анализируются различными сервисами, ИИ-модерация чатов кажется меньшей из проблем.
