Yandex разработал ультрамалую нейросеть для носимых ИИ-устройств

Yandex разработал ультрамалую нейросетевую модель для голосового управления в носимых ИИ-устройствах – к примеру, в наушниках, умных часах и остальных малогабаритных носимых устройствах. Размер модели удалось уменьшить без утраты свойства приблизительно до 200 КБ, поведал Дмитрий Солодуха, управляющий направления голосовой активации в Yandex’е.

Подход к голосовому управлению в носимых устройствах различается от подхода, применяемого в умных колонках либо телефонах. Малогабаритные девайсы посильнее ограничены по емкости аккума, размеру памяти и вычислительной мощности микропроцессора. При всем этом система голосовой активации обязана повсевременно рассматривать аудиопоток и обрабатывать его локально в ожидании главный команды, не создавая приметной перегрузки на устройство и не сокращая время его автономной работы.

Для решения данной для нас задачки Yandex сделал систему обработки голоса на нескольких уровнях – от аппаратной части до самой нейросетевой модели.

Инженеры применили двухэтапную систему обработки аудиосигнала. Поначалу легкая модель описывает наличие речи в потоке звука и фактически не нагружает устройство. Основная модель запускается лишь опосля этого и инспектирует, была ли произнесена главная голосовая команда. Таковой подход дозволяет понизить постоянную вычислительную нагрузку и расход энергии.

Отдельной задачей стала оптимизация самой нейросетевой модели, так как конкретно непрерывная работа системы голосовой активации, которая ожидает команду, делает основную нагрузку на аккумулятор устройства. Команда уменьшила число характеристик модели приблизительно в 10 раз за счет наиболее малогабаритной архитектуры нейросети, которая просит меньше вычислений без значимой утраты свойства определения. Это дозволяет делать определение голосовой команды локально – без неизменной передачи аудиосигнала в скопление. Из-за этого понижается энергопотребление устройства и миниатюризируется задержка при обработке установок.

Одним из решений трудности сделалось внедрение чипов с NPU — спец нейропроцессором для убыстрения вычислений нейросетей с наименьшим энергопотреблением по сопоставлению с CPU.

Напомним, ранее Yandex запустил бесплатный онлайн-курс, посвященный ИИ-технологиям в кибербезопасности.