Рассчитать проект

Парсер публикаций

ИИ-сервис находит публикации статьи за 5 минут вместо 40 и доказывает охват PR-кампании

Задача
Клиент
Международное PR-агентство
Сфера
PR, медиааналитика
Стек
Node.js, TypeScript, BullMQ, Prisma, Puppeteer, React, Mantine, GPT-4.1 mini, Perplexity

Почему охват PR-кампании трудно посчитать

Охват PR-кампании трудно посчитать, потому что материал крупного СМИ расходится по агрегаторам, региональным сайтам и блокам «похожие новости», иногда под другим заголовком и иногда только на время. Всё это входит в реальный охват, и аналитики собирали его вручную.

Международное PR-агентство продвигает 25–40 компаний и выпускает для них 200–400 публикаций в месяц. Агентство подтверждает данными каждый свой результат.

Системы мониторинга упоминаний агентству не помогали, потому что ищут бренд в закрытом списке сайтов и не отслеживают путь конкретной статьи.

Как было
40мин
на проверку одной статьи
до3часов
на полный отчёт по кампании
около40%
публикаций аналитики находили вручную
Решение

Можно ли полностью автоматизировать поиск публикаций

Полностью автоматизировать поиск публикаций нельзя, потому что часть площадок не индексируется, а за стопроцентный охват пришлось бы заплатить намного больше, чем он принёс бы. Агентство хотело понять это до разработки, поэтому мы начали с совместного исследования.

Этот вывод сделал задачу точнее. Мы автоматизировали сбор первичных данных, который съедал часы, а финальное решение по каждому результату оставили аналитику.

Поиск в интернете

Парсер ищет статью в Яндексе, Google, Bing, DuckDuckGo и ещё двух системах, читает до четырёх страниц выдачи в каждой и отдельно ищет точные цитаты.

Отбор с помощью ИИ

Языковая модель сверяет найденную страницу с оригиналом и отличает публикацию от случайного совпадения.

Доказательство в отчёте

Страницы с публикациями иногда исчезают, поэтому парсер сразу сохраняет скриншот каждой.

Решение за аналитиком

Аналитик сам выставляет порог совпадения и решает, что попадёт в отчёт.

Как работает

Как парсер публикаций проверяет статью

Парсер публикаций проверяет статью за восемь шагов, от загрузки до отчёта. Аналитик видит в интерфейсе шесть из них, а ещё два парсер выполняет внутри для каждой найденной страницы.

В интерфейсе01–06
01

Пакетная загрузка статей

Аналитик заводит кампанию, указывает отрасль и загружает статьи одним CSV-файлом. Парсер проверяет весь список одним пакетом.

Окно новой кампании с загруженным CSV-файлом на 41 статью
02

Разбор статьи по ссылке

Отдельную статью можно добавить по ссылке. Парсер сам читает страницу и заполняет заголовок, описание и дату публикации.

Окно добавления статьи по ссылке с данными, которые парсер извлёк со страницы
03

Поиск по шести системам

Каждая статья встаёт в очередь задач, и парсер ищет её в шести поисковых системах. Очередь доводит каждую задачу до конца, повторяет упавшие запросы и соблюдает лимиты поисковиков.

Список кампаний с очередью поиска по шести системам
04

Скриншоты как доказательство

Для каждой найденной публикации парсер сразу делает скриншот страницы. Если материал потом удалят, у строки в отчёте всё равно останется доказательство.

Результаты поиска: найденные публикации и скриншот страницы
05

Аналитика кампании

Результаты по всем статьям кампании сводятся в общую статистику. Аналитик видит число площадок, минимальное, среднее и максимальное сходство с оригиналом и пять площадок с наибольшим числом публикаций.

Статистика кампании: площадки, сходство и главные издания
06

Рейтинг и выгрузка

Публикации ранжируются по проценту совпадения. Аналитик выставляет порог под сложность кампании, потому что от длины и формулировки заголовка зависит, какое сходство считать совпадением. Результаты выгружаются в CSV, скриншоты скачиваются одним архивом.

Настройка порога сходства над списком результатов
Внутри парсера07–08
07

Сравнение по смыслу

Языковая модель сравнивает каждую найденную страницу с оригиналом по заголовку, сниппету и описанию. Так парсер отличает публикацию той же новости от заметки на другую тему с похожими словами.

Сравнение оригинала и найденной страницы по заголовку, сниппету и описанию
08

Проверка и удаление дублей

Перед тем как попасть в результаты, совпадение проходит первичный фильтр и проверку даты. Если одна публикация доступна по двум адресам, парсер засчитывает её один раз.

Проверки совпадения: первичный фильтр, дата и дубли
Результат

Как парсер сократил проверку статьи с 40 до 5 минут

5мин
на проверку одной статьи
2раза
быстрее собирается отчёт по кампании
21день
на разбор 6 000 статей
328
СМИ в рейтинге агентства

Парсер публикаций проверяет одну статью за 5 минут вместо 40, а агентство собирает отчёт по кампании вдвое быстрее. Вручную аналитики находили около 40% публикаций, которые теперь находит парсер.

С парсером агентство разобрало 6 000 статей на 350 площадках. По этим данным оно составило собственный рейтинг из 328 СМИ с оценкой качества распространения.

Теперь в медиаплане у каждого издания есть цифра рядом с экспертной рекомендацией. Аналитики занимаются выводами и стратегией, а сбор данных делает парсер.

Комментарий

«Сложные проекты мы начинаем с исследования и прямо говорим, если полная автоматизация не окупится. Здесь это помогло найти решение, которое экономит часы и оставляет последнее слово за экспертом».

Команда Haiku
Обсудить задачу

Ваши аналитики больше собирают данные, чем делают выводы?

Давайте поговорим

или напишите нам в мессенджере

 
6 инсайтов, которые помогут избежать потерю бизнеса
Игорь Николаев
0:00 / 0:00
1x
0.5х
1х
1.25х
1.5х
2х