Сбер обучил GigaChat писать музыку по текстовому запросу
Сбер интегрировал в GigaChat нейросети CLaMP и SymFormer. Это дозволит GigaChat генерировать музыкальные треки по произвольным текстовым запросам юзеров.
Юзеру необходимо сконструировать задачку, к примеру, «сочини развеселую музыку в стиле кантри» либо «напиши трек для лаундж-зоны бизнес-центра». GigaChat пришлет аудиофайл с неповторимой музыкальной композицией и даже нотную партитуру в формате MIDI.
При всем этом создание музыки происходит в несколько шагов:
- Поначалу модель CLaMP обрабатывает запрос юзера и преобразует его в понятный для генератора мелодий язык.
- Потом в SymFormer генерируется несколько вариантов мультидорожечного трека, из которых нейросеть выбирает более удачные варианты по стилю и композиции.
- На крайнем шаге формируется аудиофайл и передается юзеру.
О этом сказал Денис Филиппов, вице-президент по цифровым поверхностям «Салют» Сбербанка, в рамках интернациональной конференции по искусственному уму AI Journey 2023.
Одним из частей мотивированной аудитории сервиса мы лицезреем представителей среднего и малого предпринимательства. Благодаря GigaChat они сумеют стремительно, отменно и, что принципиально, полностью законно решать задачки бизнеса: создавать фоновое музыкальное сопровождение для кафе, салонов красы и залов ожидания, генерировать треки для маркетинговых видеороликов и соцсетей.
Для обучения SymFormer использовались платформа ML Space на базе суперкомпьютера Christofari и датасет из наиболее 200 тыщ композиций различных стилей: от классики до современной электрической музыки и рока.
По ссылке собрали все анонсы про GigaChat.