Саундтреки PS5 от ИИ могут реагировать на ваш стиль игры и эмоции

Sony уже пообещала, что PS5 произведет революцию в игровом звуке благодаря встроенному модулю обработки 3D-аудио. Похоже, что следующим шагом Sony является разработка звуковых дорожек для игр на основе искусственного интеллекта, которые реагируют на то, как вы играете, позволяя менять музыку, в зависимости от эмоций.

Патент «Динамическое создание музыки в играх» был впервые обнаружен Game Rant, и хотя в нем конкретно не упоминается PlayStation 5, в нем есть все признаки функции, которую Sony рассматривает для будущей консоли.

В патенте инженеры Sony описывают, как они планируют использовать машинное обучение для анализа того, как различные «музыкальные компоненты», такие как ритм, мелодия и гармония, соотносятся с конкретными эмоциями, а затем создают различные эмоциональные варианты музыкальных партитур, которые будут вызывать определенные чувства у геймеров во время игры.

Во-первых, Sony заставит своих композиторов создавать музыкальные «мотивы», которые соответствуют определенному персонажу, игровой деятельности, локациям или даже «личности» игрока. Затем эти мотивы будут закодированы для воспроизведения на основе данных Sony о том, что проигрыватель чувствует или должен чувствовать в данный момент.

Принцип работы музыкального искусственного интеллекта

Например, на PS5 Sony может взять сверхурочную музыку от Assassin’s Creed Valhalla и уменьшить темп и ударные для более спокойной обстановки, если игрок на некоторое время прекратил движение, увеличить напряженность, если они зафиксировали цель, или добить душевную скрипку, если появится любимый персонаж.

Конкретные эмоции, которые эта динамическая система будет пытаться вызвать, включают в себя

  • напряжение;
  • сила;
  • радость;
  • удивление;
  • нежность;
  • превосходство;
  • спокойствие;
  • ностальгия;
  • печаль;
  • чувственность;
  • страх.

Инженеры планируют проанализировать тонны популярной музыки, чтобы превратить вызывающую эмоции музыку в науку. Их система машинного обучения преобразует музыку в электронные партитуры, сопоставляет баллы с отзывами критиков и поклонников, а затем отмечает временные отрезки музыки, соответствующие определенным эмоциям.

Затем Sony планирует поэкспериментировать с «отображением эмоций в сценарии». В стрессовый момент, вместо того чтобы предсказуемо играть напряженную музыку, они утверждали, что недостаток чувственности может оказать «лучшее и более интересное влияние» на ваш опыт игры.

Многие современные видеоигры уже корректируют свою музыку, в зависимости от действий или событий игроков в игре, но не с таким уровнем тонкости и персонализации.

Биометрическое будущее Sony для PS5

Саундтреки PS5 от ИИ могут реагировать на ваш стиль игры и эмоции

Sony хочет настроить саундтрек в зависимости от того, кто вы есть, перечислив такие категории, как «молодой, старый, мужской, женский, интровертный, [и] экстравертный». Но патент исследует, как их музыкальная система может выходить далеко за рамки таких базовых дескрипторов.

Геймеры могут «согласиться» предоставить свои данные в социальных сетях Sony для анализа личности и поведения. Геймеры также могут использовать «биометрические устройства» для предоставления таких данных, как «электродермальная активность, пульс и дыхание, температура тела, артериальное давление, активность мозговых волн и [и] генетическая предрасположенность».

Чтобы отследить эту информацию, инженеры перечислили некоторые потенциальные биометрические устройства, которые могли бы отслеживать данные пользователей: «тепловая или инфракрасная камера», «носимый трекер активности» или «умные часы с биосенсированием».

Оттуда система будет принимать ваши данные тела и настраивать саундтрек в соответствии с ними. Представьте, что вы несколько раз умирали от крутого босса, и PS5 может ощутить ваше учащенное сердцебиение, расценить это как разочарование и настроить аудиодорожку для воспроизведения чего-то более успокаивающего.

Многие владельцы PS5 не будут чувствовать себя комфортно, когда Sony так много знает об их здоровье и индивидуальности. Но если машинное обучение Sony может создавать профили подмножества игроков, они, вероятно, могут предсказать среднюю эмоциональную реакцию на определенные игровые сегменты. Затем они могут экстраполировать, как любой геймер может реагировать на данную сцену, и соответствующим образом корректировать музыку.

Независимо от соображений конфиденциальности, этот патент намекает на то, что Sony может быть заинтересована в отслеживании здоровья игроков в других контекстах. Nintendo годами исследовала технологию отслеживания сна, и ее игра-тренировка Ring Fit Adventure стала главным хитом.

Вполне возможно, что у Sony есть аналогичные надежды на PlayStation 5 либо для создания собственной технологии отслеживания, либо для подключения существующих умных часов и фитнес-трекеров геймеров к PS5 для предоставления данных в режиме реального времени.

Источник

Поделиться в соц.сетях:

Вам также может понравиться...

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *