Yandex открыл доступ к технологии обработки данных в настоящем времени

Yandex представил в открытом доступе YTsaurus Flow – технологию непрерывной обработки огромных потоков данных. Решение дозволяет рассматривать клики, заказы, просмотры, лайки и остальные действия сходу опосля их возникновения, без долгого скопления инфы перед обработкой.

Разработка сотворена для задач, где критична актуальность данных. А именно, она может употребляться в рекомендательных и маркетинговых системах, антифрод-сервисах, аналитике продаж, также при подготовке данных для обучения ML-моделей. За счет обработки событий в настоящем времени методы могут резвее учесть смену пользовательских интересов и конфигурации спроса.

Обычно огромные массивы данных обрабатываются пакетно: действия поначалу скапливаются, а потом передаются в систему. Это может приводить к задержкам длительностью в несколько часов. YTsaurus Flow уменьшает этот интервал фактически до нуля, обрабатывая поток данных по мере его поступления.

Решение уже употребляется в сервисах Yandex’а. К примеру, на Маркете разработка помогает оперативнее сформировывать статистику для продавцов, антифрод-системам – выявлять деяния злоумышленников, а маркетинговым продуктам – резвее обновлять данные для подбора предложений. По данным компании, ранее подготовка инфы для дообучения отдельных маркетинговых моделей занимала наиболее 10 часов. Опосля внедрения YTsaurus Flow эту задержку удалось фактически убрать.

YTsaurus Flow заходит в экосистему YTsaurus – открытой платформы Yandex’а для хранения и обработки огромных размеров данных. Новое решение дает компаниям возможность соединять воединыжды в одной системе скопленные массивы и свежайшие потоковые данные, переходя от пакетной обработки к непрерывной.

Разработка сотворена командами Yandex Infrastructure и Yandex Рекламы. YTsaurus Flow размещена под лицензией Apache 2.0, потому ее можно применять в том числе в коммерческих проектах.

Напомним, ранее Yandex представил ИИ-модель Sona для индивидуальных советов.