Сбер обучил GigaChat писать музыку по текстовому запросу

Сбер интегрировал в GigaChat нейросети CLaMP и SymFormer. Это дозволит GigaChat генерировать музыкальные треки по произвольным текстовым запросам юзеров.

Юзеру необходимо сконструировать задачку, к примеру, «сочини развеселую музыку в стиле кантри» либо «напиши трек для лаундж-зоны бизнес-центра». GigaChat пришлет аудиофайл с неповторимой музыкальной композицией и даже нотную партитуру в формате MIDI.

При всем этом создание музыки происходит в несколько шагов:

  1. Поначалу модель CLaMP обрабатывает запрос юзера и преобразует его в понятный для генератора мелодий язык.
  2. Потом в SymFormer генерируется несколько вариантов мультидорожечного трека, из которых нейросеть выбирает более удачные варианты по стилю и композиции.
  3. На крайнем шаге формируется аудиофайл и передается юзеру.

О этом сказал Денис Филиппов, вице-президент по цифровым поверхностям «Салют» Сбербанка, в рамках интернациональной конференции по искусственному уму AI Journey 2023.

Одним из частей мотивированной аудитории сервиса мы лицезреем представителей среднего и малого предпринимательства. Благодаря GigaChat они сумеют стремительно, отменно и, что принципиально, полностью законно решать задачки бизнеса: создавать фоновое музыкальное сопровождение для кафе, салонов красы и залов ожидания, генерировать треки для маркетинговых видеороликов и соцсетей.

Для обучения SymFormer использовались платформа ML Space на базе суперкомпьютера Christofari и датасет из наиболее 200 тыщ композиций различных стилей: от классики до современной электрической музыки и рока.

По ссылке собрали все анонсы про GigaChat.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *