Это упрощённая демо-версия, а не финальный продукт. Сейчас она вживую скрапит Telegram и считает частотные слова. За 2 месяца доводим до того, что нужно по ТЗ: строгое определение тренда (популярные слова вроде «творог» или «баклажаны» сами по себе трендом не считаем), классификация по стадии жизненного цикла, определение аудитории тренда и полный набор источников. Прототип показывает подход, а не максимум возможностей.
trends.ozonfresh.internal / dashboard
Трендов найдено
—
Растут в окне
—
Постов в сборе
—
Каналов в сборе
—
Нажмите «Обновить», чтобы собрать тренды.
Сейчас сервер опрашивает 40 публичных food-каналов через t.me/s/. Тренды считаем на окне 60 дней, мёртвые каналы отбрасываем. По ТЗ добавляются ещё пять типов источников: VK, RSS, Google Trends, Instagram, научные публикации. Кликните по любому тренду, откроются посты, на которых он держится, с подсветкой совпадений.
Как прототип считает тренды
нормализация словоформвес по просмотрамучёт свежестичат с цитатами на постах
Production-контур по ТЗ (включаем уже на проекте): считаем рост упоминаний относительно фона (hype-score в духе Santiment), ловим всплески по алгоритму Kleinberg (KDD’02), схлопываем форварды и репосты через MinHash, привязываем тренды к категориям Ozon Fresh по справочнику, кластеризуем эмбеддингами BGE-M3 + HDBSCAN, вытаскиваем названия блюд через food-NER, расшифровываем видео в текст, читаем комментарии через MTProto-sidecar.