В этой статье вы узнаете о нашем антибот фильтре, который исключает ботовую активность из отчётов.
В этой статье вы узнаете о нашем антибот фильтре, который исключает ботовую активность из отчётов.
Часть действий на сайтах партнёров могут совершаться ботами. Такие показы и клики попадают в отчёты и искажают представление о конверсии программ, инструментов, возможном доходе и других показателях.
Чтобы партнёры получали информацию только о реальных посетителях своих проектов, мы сделали антибот фильтр. Он автоматически исключает ботовый трафик из всех отчётов и статистикам по партнёрским программам.
Какой трафик считается ботовым
Ботовым трафиком мы считаем любой автоматизированный трафик. Например, это могут быть роботы поисковых систем (Яндекса или Google), парсеры, SEO-боты, боты для скликивания рекламы, поиска уязвимостей и другие.
Мы собираем не весь автоматизированный трафик, но выявляем самых крупных и популярных ботов. Это позволяет исключить их из отчётов и показывать статистику по реальным посетителям сайта.
Как мы выявляем ботовый трафик
У каждого интернет-пользователя есть юзер-агент (идентификатор с дополнительными параметрами). Агенты крупных ботов известны и хранятся в открытом доступе.
Мы создали бота, который:
- Собирает свежие юзер-агенты с подозрительной активностью из открытых источников.
- Отправляет полученные данные в нашу базу.
- Просматривает историю логов Travelpayouts (файлов с системной информацией) и сравнивает юзер-агенты в базе данных и логах.
- При совпадении юзер-агентов помечает их как ботовые. Такие исключаются из отчётов по партнёрским программам.
Чтобы партнёры получали корректную статистику, этот алгоритм запускается ежедневно, и данные в отчётах обновляются регулярно.
Информацию о том, что в отчёте скрыты действия ботов, можно найти в верхней части таблицы с данными, например:
Чтобы узнать больше, прочитайте статью в нашем блоге о том, какими бывают боты, как их вычислить и защититься.