Кластеризация семантики через нейросети: как создать и как много это стоит
Кластеризация по топу издавна стала эталоном: два запроса попадают в одну группу, если поисковик указывает по ним одни и те же адреса. Способ надежный, но для всякого запроса нужна выдача, а на 10-ках тыщ фраз это время и средства.
Нейросети дают иной путь: группировать запросы по смыслу. Ниже – пошаговый метод, как это создать, что созодать с запросами, которые модель отсеяла, как проверить свойство, и раздельно – как много это стоит по животрепещущим прайсам. Сходу оговорюсь: это методика и расчет, а не отчет о проекте. Тестовый набор – 40 запросов о кондюках, которые я составил сам.
Почему не стоит просто вставлять перечень в чат
1-ое, что приходит в голову, – скопировать семантику в чат и попросить разбить ее на группы. На сотке запросов это даже работает. На 10 тыщах – нет, и дело не в стоимости.
Поглядим на токены. В моем наборе российский запрос совместно с номером строчки занимает в среднем 10,7 токена в токенизаторе o200k_base, которым OpenAI размечает текст для моделей крайних поколений. 10 тыщ запросов – около 107 тыщ токенов на входе. Но модель обязана возвратить любой запрос с меткой кластера, а это уже около 147 тыщ токенов на выходе. У GPT-6 Luna, к примеру, потолок ответа – 128 тыщ токенов. Ответ просто не поместится, и модель или оборвет его, или начнет «сберегать»: пропускать запросы, склеивать похожие, исправлять опечатки. Каждое такое исправление разламывает сравнение с частотностью.
При всем этом по деньгам таковой запрос стоит копейки: около 137 рублей на GPT-6.1 Sol и около 7 рублей на GPT-6 Luna. Неувязка в том, что итог нереально проверить, не считая как перечитав все руками. Потому ниже – схема, где языковая модель возникает лишь на проверке уже готовых групп.
С чего же начать: пошаговый метод
Я делю задачку на семь шагов. Языковая модель нужна лишь на четвертом. Можно идти по чек-листу сверху вниз.
1. Входные данные. Перечень запросов в формате id< TAB >запрос. У всякого запроса неповторимый числовой id. Частотность и URL посадочных на этом шаге не неотклонимы – они понадобятся при сверке и при выбирании наименования кластера. Не отдавайте модели сырой перечень без id: по другому она начнет переписывать фразы, и сравнение с начальной семантикой развалится.
2. Эмбеддинги. Любой запрос преобразуется в вектор, отражающий его смысл. Это делает отдельная модель, не языковая. text-embedding-3-small у OpenAI стоит $0,02 за миллион токенов. Эти модели употребляют токенизатор cl100k_base, и в нем российский запрос из моего набора весит в среднем 15,2 токена. 10 тыщ запросов – около 152 тыщ токенов, либо приблизительно 25 копеек по курсу ЦБ на 23 октября (81,13 ₽ за бакс). Старшая text-embedding-3-large обойдется в 1,6 рубля. Gemini Embedding 2 у Гугл стоит $0,20 за миллион текстовых токенов, но токенизатор у нее собственный, так что четкое число я не назову, порядок этот же – рубли.
3. Кластеризация методом и порог. Векторы группируются по косинусному расстоянию, к примеру агломеративной кластеризацией. Это безвозмездно, считается на ноутбуке и воспроизводимо: те же векторы и этот же порог постоянно дают те же группы. Основной параметр – порог расстояния. Подбирайте его под тему: очень маленький – размажет близкие синонимы по различным группам, очень высочайший – склеит услуги, продукты и информационные запросы в один ком. Начните с 1-го порога, поглядите на размер кластеров и долю одиночек, потом сдвиньте порог и сравните.
4. Проверка всякого кластера языковой моделью. Модель получает не всю семантику, а одну группу на 10–15 запросов и отвечает на определенные вопросцы: одна ли это посадочная страничка, какой интент, какие запросы излишние (outliers), как именовать группу. Промпт, который я использую:
Ты проверяешь кластер запросов в поисковике для SEO. Тема веб-сайта: {тема}. Регион: {регион}.
На вход – перечень запросов в формате «id< TAB >запрос». Все запросы уже сгруппированы методом по смыслу,
твоя задачка – проверить группу, а не придумать новейшую.
Правила:
1. Один кластер = одна посадочная страничка. Если запросы требуют различных страничек (покупка продукта и заказ услуги, {инструкция} «своими руками» и коммерческая страничка, различные бренды, различные городка), это различные кластеры.
2. Обусловь главный интент кластера: commercial, informational, navigational либо mixed.
3. Перечисли id запросов, которые не подступают к главный группе, и кратко растолкуй почему.
4. Предложи заглавие кластера: 2–5 слов, на базе самого частотного либо самого общего запроса группы.
5. Не исправляй опечатки и не переписывай запросы. Не добавляй запросы, которых нет во входных данных.
Работай лишь с id.
6. Если не уверен, ставь "confidence": "low" – такие кластеры проверит человек.
Ответ строго в JSON: {"name": str, "intent": str, "outliers": [{"id": int, "reason": str}], "confidence": str}
Ключевое тут – работа через id. Модель не пересказывает запросы, а лишь ссылается на номера, потому переписать либо утратить фразу она не может на физическом уровне, а излишний id просто отловить кодом.
5. Outliers. Запросы, которые модель сочла излишними, не выкидывайте и не оставляйте «висеть» без кластера. Раздел ниже – куда их девать и когда повторять прогон.
6. Сверка с выдачей. Большие коммерческие кластеры, группы с confidence: low, все с интентом mixed и спорные outliers инспектируйте по топу. Так кластеризация по выдаче остается, но применяется к сотке спорных групп, а не к 10 тыщам запросов. Сколько стоит съем выдачи, зависит от сервиса, и в расчет цен ниже я его не включаю.
7. Проверки кодом. Опосля всякого прогона сверяйте: любой id из входных данных встречается ровно в одном кластере; в ответах нет id, которых не было на входе; JSON разбирается. Если хотя бы одна проверка не прошла, кластер отчаливает на повтор либо человеку. Это три строки на Python, которые сберегают часы.
Что созодать с outliers
Outlier – запрос, который метод положил в группу, а языковая модель при проверке отметила как чужой. В JSON он лежит в массиве outliers совместно с недлинной предпосылкой. Варианты, что с ним созодать:
|
Решение |
Когда уместно |
Что созодать далее |
|---|---|---|
|
В иной имеющийся кластер |
Причина показывает на соседнюю группу (иной бренд, иная услуга, этот же продукт) |
Перенести id вручную либо скриптом; при колебании – повторная LLM-проверка уже новейшей группы |
|
Новейший кластер |
Outlier один либо несколько схожих друг на друга, и под их нужна отдельная посадочная |
Собрать их в отдельную группу, изгнать через этот же промпт |
|
Ручная проверка |
confidence: low, причина размытая, либо запрос на стыке интентов |
Глядит спец; при коммерческом весе – сверка с топом |
|
Отложить |
Низкая частотность, служебный хвост, очевидный мусор |
Пометить в отдельный перечень «вне кластеров», не соединять с рабочими группами |
Когда повторять прогон. Если из кластера выпало больше трети запросов – порог либо первичная группировка, быстрее всего, ошиблись: имеет смысл двинуть порог и перечесть этот участок, а не разносить outliers руками по одному. Если outliers единичные и предпосылки определенные («иной бренд», «информационный при коммерческом кластере») – довольно точечного переноса.
Когда глядеть топ. Постоянно для outliers из больших коммерческих групп и для случаев, где модель пишет «похож, но интент иной». На стыке услуги и продукта, бренда и общего запроса, городка и общего коммерческого – правым оказывается поисковик, поэтому что страничку вы делаете под его выдачу.
Как проверить свойство кластеризации
Ориентиры, по которым я понимаю, что итог пригодный:
-
Один кластер = одна посадочная. Снутри группы не обязано быть запросов, которые требуют различных страничек: продукт и услуга, «своими руками» и коммерция, различные бренды, различные городка. Если такие есть – или outlier, или кластер нужно дробить.
-
Покрытие id. Любой входной id встречается ровно один раз: нигде не потерян и нигде не продублирован. Это проверяется кодом опосля всякого прогона.
-
Толика confidence: low. Если low больше 15–20% кластеров – или порог нехороший, или тема для модели томная, или промпту не хватает контекста (тема, регион). Имеет смысл поначалу починить вход, а не разбирать любой low руками.
-
Выборочная сверка с топом. Беру 20–30 больших коммерческих кластеров и спорные outliers и сверяю пересечение выдачи. Если на выборке топ подтверждает группы – далее можно довериться схеме и глядеть топ лишь по low и mixed.
-
Стабильность при повторном прогоне. Фиксирую модель и версию промпта, сохраняю ответы. При повторном прогоне сравниваю лишь изменившиеся кластеры. OpenAI прямо пишет в документации, что даже схожие запросы не гарантируют схожего ответа – потому без фиксации версии «свойство» не измерить.
Неплохой итог на практике смотрится так: кластеры читаются как будущие посадочные, outliers объяснимы одной фразой, low – единицы, а не третья часть проекта, а код-проверки по id проходят с первого раза.
Пример того, что выдает нейросеть
На вход модели уходит уже собранный методом кластер. Допустим, тема – кондюки, регион – Москва, и группа смотрится так:
|
id |
запрос |
|---|---|
|
12 |
приобрести кондюк |
|
15 |
кондюк приобрести дешево |
|
18 |
сплит система приобрести |
|
22 |
установка кондюка стоимость |
|
27 |
кондюк daikin приобрести |
Ответ модели по промпту выше:
{
"name": "приобрести кондюк",
"intent": "commercial",
"outliers": [
{
"id": 22,
"reason": "услуга установки, нужна отдельная посадочная"
},
{
"id": 27,
"reason": "брендовый запрос Daikin, отдельная страница"
}
],
"confidence": "high"
}
Как это читать и что созодать далее:
|
id |
запрос |
решение |
причина |
|---|---|---|---|
|
12 |
приобрести кондюк |
в кластере |
ядро группы, commercial |
|
15 |
кондюк приобрести дешево |
в кластере |
этот же интент покупки |
|
18 |
сплит система приобрести |
в кластере |
синоним к ядру |
|
22 |
установка кондюка стоимость |
outlier → новейший кластер |
услуга, не продукт |
|
27 |
кондюк daikin приобрести |
outlier → иной / новейший кластер |
бренд Daikin |
До проверки в одной группе лежали продукт, услуга и бренд. Опосля – ядро «приобрести кондюк» осталось, два outlier ушли: установка – в собственный кластер услуг, Daikin – в брендовый. Конкретно так схема уменьшает размер ручной работы: метод дает черновик, модель отмечает чужие id, человек разбирает лишь outliers и low.
Как много это стоит
Возьмем условный проект: 10 000 запросов, которые метод разбил на 800 кластеров, в среднем по 12–13 запросов. Мой промпт занимает 298 токенов, сам кластер – еще около 134. На ответ в JSON я закладываю 100 токенов. Итого около 345 тыщ входных и 80 тыщ выходных токенов на весь проект. Это мои допущения, а не застыл, но порядок цифр они демонстрируют честно. Цены – по прайсам провайдеров на 23 октября 2026 года, пересчет по курсу ЦБ.
Самые дешевенькие варианты – GPT-6 Luna у OpenAI и Claude Haiku 5.5 у Anthropic: обе стоят $0,10 за миллион входных и $0,50 за миллион выходных токенов, весь проект – около 6 рублей. DeepSeek Flash выйдет в 8 рублей вне пиковых часов и в 16 рублей в пик. Gemini 3.5 Flash-Lite – около 25 рублей, Gemini 3.8 Flash – около 45, GPT-5.4 mini – около 50. Модели среднего уровня, GPT-6.1 Sol и Claude Sonnet 5, стоят идиентично, $2 и $10 за миллион, проект обойдется приблизительно в 121 рубль. Claude Opus 5.5 – около 242 рублей, флагман OpenAI GPT-6 Astra – около 605.
Даже самый дорогой вариант стоит меньше часа работы спеца. Но в этих цифрах есть три ловушки, которые просто пропустить.
1-ая – рассуждения. Современные модели перед ответом «задумываются», и эти сокрытые токены оплачиваются как выходные. У GPT-6 Luna, GPT-6 Sol и GPT-6.1 Sol уровень рассуждения по дефлоту – medium. Если модель растрачивает на любой кластер лишнюю тыщу токенов раздумий, проект на GPT-6.1 Sol дорожает со 121 до 770 рублей, на GPT-6 Astra – до 3,9 тыщи. Для проверки кластера глубочайшие рассуждения обычно не необходимы: я начинаю с reasoning effort none либо low и поднимаю его, лишь если свойство не устраивает.
2-ая – кеширование, на которое почти все рассчитывают. OpenAI кеширует циклическое начало промпта, и у новейших моделей повторное чтение из кеша стоит 10% от обыкновенной цены входа (у GPT-6.1 Sol – 5%). Но лишь если это начало не короче 1024 токенов. Мой промпт в 298 токенов под кеш не попадает, и скидки не будет. Удлинять промпт ради кеша имеет смысл, лишь если добавленные примеры вправду делают лучше ответы.
3-я – сроки цен. У Gemini 3.8 Flash текущая стоимость действует до 31 декабря 2026 года, с 1 января она умножается. Цены DeepSeek зависят от времени суток: пиковые часы – с 4 до 7 и с 9 до 13 по Москве в будни, остальное время в два раза дешевле. Если проверка кластеров не срочная, проще пользоваться пакетной обработкой: Batch API у OpenAI, Anthropic и Гугл стоит в два раза дешевле обыденных запросов, ответ приходит позднее.
И отдельная обмолвка про токены. Я считал их токенизаторами OpenAI. У Claude 4.7 и новее, по данным самой Anthropic, новейший токенизатор дает приблизительно на 30% больше токенов на этот же текст, а у Gemini и DeepSeek токенизаторы свои. Так что ассоциировать эти числа меж провайдерами можно лишь по порядку, а не до рубля. Не считая того, это прайсы провайдеров в баксах. Впрямую из Рф к API OpenAI не подключиться, и через посредника стоимость в рублях будет выше.
Где модель группирует не так, как поисковик
Чтоб показать, как смотрятся ошибки, я прогнал свои 40 запросов через бесплатную локальную модель эмбеддингов paraphrase-multilingual-MiniLM-L12-v2 и агломеративную кластеризацию. Это не та модель, за какую платят по API, и на платных моделях картина быть может лучше. Но нрав ошибок показательный.
При пороге 0,2 в одну группу попали «установка кондюка стоимость», «очистка кондюка стоимость», «заправка кондюка фреоном стоимость» и «кассетный кондюк стоимость». Модель склеила их по слову «стоимость», хотя это четыре различные посадочные странички: три услуги и продукт. В другую группу попали «инверторный кондюк что это», «шумит кондюк что созодать» и «кондюк в рассрочку», которые соединяет воединыжды разве что система фразы. При всем этом «сплит система приобрести дешево» не встала рядом с «приобрести кондюк», хотя для покупателя это практически синонимы и выдача по ним, быстрее всего, пересекается. Это как раз тот вариант, который стоит проверить по топу.
Если порог поднять до 0,35, выходит оборотная неудача: 29 запросов из 40 оказались в одном большущем кластере. Модель увидела общее слово «кондюк» и решила, что все другое непринципиально. Это основная изюминка смысловой кластеризации: она группирует то, что похоже по смыслу, а поисковик группирует то, что ранжируется совместно. Почаще всего эти огромного количества совпадают. Но на стыке коммерческих и информационных запросов, услуг и продуктов, брендов и городов они расползаются, и правым постоянно оказывается поисковик, поэтому что страничку вы делаете под его выдачу.
На шаге проверки кластера языковой моделью у меня иной перечень того, за чем я смотрю. Модель может придумать заглавие кластера, которого нет в данных, к примеру прекрасное «Климатическое оборудование для дома» заместо настоящего «приобрести кондюк». Потому в промпте прямо сказано строить заглавие из самого частотного запроса. Модель может проигнорировать гео и бренд и бросить «кондюк daikin приобрести» в общей коммерческой группе. И модель не должна отвечать идиентично – потому я фиксирую модель и версию промпта, сохраняю ответы и при повторном прогоне сравниваю лишь изменившиеся кластеры.
Что в итоге
Нейросети не подменяют кластеризацию по топу, а уменьшают ее размер. Эмбеддинги и метод делают предварительную разбивку практически безвозмездно, языковая модель за 10-ки либо сотки рублей на проект инспектирует группы и размечает интент, outliers уходят в примыкающие либо новейшие кластеры, а выдача нужна лишь для спорных групп. Самая финансово накладная часть данной для нас схемы – не токены, а время спеца на проверку. Потому средства имеет смысл растрачивать не на самую умную модель, а на то, чтоб ошибки модели было просто отыскать.