Веб-боты — это так называемые роботы или команды, которые автоматически и эффективно выполняют возложенные на них задачи. Задачи преследуют самые разные цели, поэтому веб-боты, которые их выполняют могут быть как полезными, так и вредными для веб-сайтов. Например, ботов используют как цифровые помощники, например Сири и Aлекса, которых используют для поиска различной информации на миллионах страниц. Однако есть также боты, которые предназначены для замедления работы веб-страниц или влияния на статистические данные страницы.
Считается, что до 40% всего веб-трафика исходит от ботов и значительная его часть находится за вредоносными ботами. Поэтому многие компании ищут способы ограничить доступ ботов к своим веб-сайтам.
Но есть также компании и сайты, которые сознательно используют ботов чтобы показывать больше трафика на свои страницы, чем есть на самом деле и таким образом, например, зарабатывать больше денег на рекламе. К сожалению, это обычная практика для международных и крупных национальных новостных порталов, а также других веб-сайтов, где не так просто обнаружить обман.
Как узнать, влияют ли боты на статистику посетителей страницы?
Поскольку поведение роботов смоделировано и следовательно относительно стандартно, существуют индикаторы, свидетельствующие о том, что количество посетителей веб-сайта может управляться ботами:
Веб-трафик ботов также может быть обнаружен с помощью интегрированных инструментов веб-аналитики, таких как Google Analytics. Различные сети интернет-рекламы, такие как Google, Yahoo и т. д., также являются достаточно ппрофессиональными идентификаторами. Если они подозревают, что веб-сайт манипулирует статистикой посетителей, страница будет занесена в черный список и станет непривлекательной для рекламодателей.
К сожалению, почти в 90% случаев мошеннические сайты очень долго не обнаруживаются, что позволяет им длительное время манипулировать мнением рекламодателей или покупателей. Поэтому необходимо, чтобы все рекламодатели и пользователи интернет-сервиса скептически относились к статистике посещений страниц и по возможности запрашивали дополнительные данные для независимого анализа. Мы напоминаем всем нашим клиентам, что к данным на страницах с очень высоким трафиком следует обращаться с некоторой осторожностью, так как фактическое количество посетителей может не соответствовать представленному и поэтому рекламное место которую вы покупаете у них, не даст вам должного результата.
Пример использования: Статистика посещаемости украинской новостной онлайн-страницы Обозреватель
С 2018 года идет очень интересный и тщательный анализ посещаемости сайта, о котором можно прочитать на исходной странице: https://dou.ua/forums/topic/24101/. Это ясно показывает как можно определить, что веб-сайт увеличил посещаемость с помощью ботов. Для наших читателей мы сделали его краткое содержание на эстонском и русском языке. Для удобства чтения текст был переведен сейчас, но стоит помнить, что данные и анализ датируются двумя годами ранее.
Новостная интернет-страница Обозреватель: www.obozrevatel.com - самая читаемая и посещаемая новостная интернет-страница в Украине по общедоступным данным. Однако, если вы углубитесь в их информацию вы можете найти так много подозрительных данных, которые предполагают, что страница манипулировала своей статистикой трафика.
Первый знак опасности: Google и Яндекс забанили украинский сайт Обозреватель, в частности, из-за слияния доменов obozrevatel.com.ua. Просмотр статистики страницы не мешает многим посетителям попасть на страницу, в том числе через одни и те же поисковые системы. Также подозрительно, что если посетители сайта действительно видят домен www.obozrevatel.com, то статистические базы данных показывают, что наиболее посещаемым является www.obozrevatel.com.ua - тот самый домен, который запрещен основными поисковыми системами.
Очень высокий процент (49,9%) трафика на страницу поступает из поисковых систем - это очень необычно, учитывая средние данные по любой странице. В то время как средний трафик на страницу составляет 1,1 миллиона в день, по их собственным данным, 571 000 человек посещают их страницу в день через поисковые системы. И это в то время, когда домен их веб-сайта запрещен основными поисковыми системами. Определенное количество кликов поисковиками якобы поступает из российских поисковых систем Яндекс и Search.Mail.Ru несмотря на то, что сайт запрещен в России.
При анализе трафика поисковой системы вы также должны смотреть на ключевые слова, которые ведут на страницу. Если условия поиска логичны и понятны, это поможет подтвердить вероятность того, что данные являются надежными. Однако, если некоторые поисковые запросы непонятны, как если бы они были вымышленными комбинациями, то это конкретная ссылка на управление трафиком страницы. В случае украинской страницы поисковые запросы вообще не указаны в общедоступных базах данных, но в случае более глубокого поиска достигается список очень нелогичных словосочетаний.
Фактический трафик на страницы обычно изменяется постоянно, без неоправданно больших изменений. Однако в данных украинской газеты происходят резкие изменения: например, в мае 2016 года количество посетителей сократилось почти вдвое - 45,6 млн против 89,6 млн посетителей в феврале того же года. Посещаемость оставалась относительно одинаковой до января 2017 года (46,4 миллиона человек в месяц), но в феврале 2017 года посещаемость почти удвоилась: 80,4 миллиона посетителей. Вероятная причина? Администраторы сайта увеличили маркетинговый бюджет, чтобы «увеличить» посещаемость страницы.
Существует очень простая формула для расчета приблизительной конверсии постов в Facebook: каждый пост достигает в среднем 5% подписчиков и 5% из них нажимают на пост. Согласно публичной статистике украинской газеты, на 9 мая 2018 года на страницу из Facebook зашли 464 434 человека. Если вы посмотрите на статистику страницы в Facebook, то всего 537 615 подписчиков, а 9 мая 2018 года было опубликовано 71 сообщение. Принимая во внимание правило Facebook 5% x 5%, 1344 человека должны перейти на страницу из одного сообщения, то есть 1344 x 71 = 71 424 человека из 71 сообщения. Сам сайт утверждает, что его посетило 464 434 человека, что в 4,9 раза больше, чем показывает средняя статистика Facebook.
