Отслеживаем потребительские тренды в продуктах питания и товарах повседневного спроса: собираем сигналы из соцсетей, считаем по ним Trend Score и за несколько дней показываем, какие позиции стоит завести в ассортимент. Всё это доступно в дашборде, в чате на обычном языке, через API и в квартальном отчёте, свёрстанном в вашем брендбуке.
Дашборд тянет тренды из Telegram вживую и показывает реальные посты за каждым. Открыть прототип на весь экран →
Платформа собирает посты, очищает их, группирует похожие в один тренд и считает по нему Trend Score. Категорийный менеджер видит готовый список позиций к закупке, и под каждой может открыть посты и цифры, на которых вывод построен.
В MVP: Telegram, VK, RSS, Google Trends. Instagram/Reels и научные публикации — фаза 2. Каждый источник опрашиваем по своему расписанию.
Расшифровываем речь из видео, переводим, приводим слова к начальной форме, группируем в тренды, считаем Trend Score и определяем, на какой стадии тренд находится.
Дашборд, чат на естественном языке, API, квартальный отчёт.
Требование Ozon собирать данные самим совпадает с нашим интересом: платформа остаётся вашей, и вы не привязаны к чужому сервису. Часы и сроки ниже взяты из нашего PERT-расчёта.
Кликните по источнику, покажем, как находим каналы, как догружаем только новое и как отсеиваем повторы. Сплошные блоки уже работают в прототипе, пунктирные — это то, что по ТЗ доделываем в боевой версии.
Архитектура Kappa: один инкрементальный поток, без второго кода как в Lambda. Firehose нет. Источники мы опрашиваем по расписанию (от 2 часов до недели), так что поток по сути плановый микро-батч. Квартальный отчёт считается тем же батч-запросом по той же витрине. Кликните на слой, чтобы увидеть состав работ и оценку.
Кликните источник, чтобы увидеть, как мы его разведываем и собираем. Кликните слой пайплайна, чтобы увидеть состав работ и оценку.
Распознавание речи, языковые модели и перевод подключены через единый интерфейс: сменить провайдера можно правкой конфига, не переписывая обработку.
каркас под 6 источников, в MVP 4
Whisper и Parakeet по видео; Reels — фаза 2
лемматизация словоформ, BGE-M3 → Qdrant
HDBSCAN → формирование трендов
охват + вовлечённость + новизна + рост
emerging → growing → peak → declining
ответы с доказательной базой
Ниже — обезличенные кейсы из работающих продуктов и то, как мы выбираем способ сбора под конкретную задачу.
Определяем, каким путём собирать данные под конкретную цель, и считаем стоимость на масштабе. Сначала проверяем решающий факт дешёвым экспериментом, потом закупаем ресурсы, без переплаты за прокси, которые не решают задачу.
Выводим поэтапно: к концу второго месяца команда из 6–8 человек (архитектор, AI/ML, backend, frontend, DevOps, QA, PM) запускает рабочий MVP в эксплуатацию. Дальше — опытная эксплуатация и вывод в промышленную эксплуатацию.
Опытная эксплуатация (4 нед) и вывод в промышленную (2 нед) идут после MVP. Полный план-график с критериями готовности по каждому этапу приложим отдельным документом к подаче.
Внешнюю разработку чаще всего срывает то, что заказчик перестаёт видеть, как идут работы. Поэтому мы описываем процесс заранее: один ответственный, заранее согласованные часы и показ результата каждую неделю.
Заказчик общается с одним человеком. Он дирижирует delivery, инженерами и QA, держит весь контекст и отвечает за результат. Спрашивать можно с одного человека.
Отдельный человек ведёт план, риски и эскалации, чтобы архитектор не отвлекался от продукта.
Каждый этап оцениваем по PERT и согласуем объём и часы до начала. Работ без согласованной оценки не ведём.
Если меняются требования, мы переоцениваем и согласуем новый объём ещё до старта работ. Никаких сюрпризов в счёте в конце месяца.
Время ведём в трекере, раз в неделю присылаем отчёт: что сделано, сколько часов ушло, что в работе дальше.
Раз в неделю показываем рабочий инкремент, собираем правки и корректируем приоритеты на следующую неделю.
Все суммы с НДС 5% (УСН, IT-льгота). Часы разработки с учётом AI-assisted сборки. Полный расчёт по часам, детальная PERT-таблица и форма КП Ozon. Предварительно, до уточнения объёма сигналов и SLA.
Прямо из нашего PERT-расчёта: трудоёмкость по блокам, команда на старте и команда поддержки на 36 месяцев.
Архитектура, спайк HDBSCAN+RAG, дирижирует AI-агентами, ревьюит каждый PR. One Face to Client.
Ядро обработки и DWH — самый рисковый слой на сильнейшем инженере.
Платформа сбора, коннекторы, Data Lake, MTProto, реализация API.
Дашборд категорийного менеджера, карточка тренда, отчёт, админка.
Observability, security-инфра, CI/CD и контур на инфраструктуре Ozon.
Тест-планы и регресс критичных путей: чат, отчёт, скоринг.
План, риски, эскалации, еженедельные демо, отчёт по часам.
| Роль | FTE | Что делает каждый месяц |
|---|---|---|
| Backend, поддержка скраперов | 0,75 | Чинит скраперы при смене анти-бота и API площадок, чистит пул каналов. AI-агенты снижают стоимость одного фикса, не частоту поломок. |
| DevOps / SRE, дежурство 24/7 | 0,50 | 99% SLA, восстановление пайплайна, ротация прокси и секретов, патчинг. Структурный пол. |
| AI / ML | 0,40 | Обновление моделей и промптов, пересчёт Trend Score, gazetteer, пороги. |
| PM + QA | 0,50 | Квартальный ритм, приёмка отчётов, регресс пайплайна. |
| Итого | 2,15 | Аллокация постоянна все 36 месяцев. |