Как победить скликивание в Я. Директ и AdWords на 600 тысяч рублей в месяц
За последние полгода нам удалось победить «скликивание» нашей контекстной рекламы с бюджетом в 1 миллион рублей в месяц.
Ключом победы над фродом стал поминутный мониторинг трафика с уведомлениями об аномальных изменениях и отключением проблемных объявлений по API, и ряд отчётов, которые отражают ситуацию в реальном времени.
Рисунок 1. Диаграмма количества посетителей по ключевым словам по декаминутам
Как узнать, что вас атакуют?
«В Яндекс Директ расходы на фрод автоматически возвращаются на баланс рекламной кампании. Количество кликов, отсеянных системой защиты от фрода, отображается в отчетах «статистика по дням» «общая статистика» в строке «недействительные клики за весь выбранный период.»
В AdWords отображение уровня «недействительных кликов» можно включить на вкладке «столбцы»:
Рисунок 2. Настроенные столбцы с уровнем «недействительных кликов» в AdWords
В нашем случае, при среднем уровне «недействительных кликов» в Директе ≈ 10%, Яндексе вдруг стал возвращать 40% рекламного бюджета, а через месяц и вовсе 54%.
Следующий признак фрода – это необоснованный рост количества переходов и сильные изменения поведенческих показателей по ряду групп объявлений.
Мы заметили, что по ряду ключевых слов, по которым никогда не было больше 200 посетителей в день, вдруг появились всплески до 3 000 посетителей. По факту, бюджет, в дни подобных активностей, мог уйти на одну рекламную кампанию, если её вовремя не останавливали.
Рисунок 3. Необоснованный рост трафика по определенной группе объявлений в Директ
Яндекс и Google не защищают от фрода
Достаточно прочесть обсуждение уровня фрода в контекстной рекламе в официальном Клубе Директа, чтобы убедиться: многие рекламодатели теряют из-за фрода деньги.
Google официально признаёт ошибки своей системы защиты и предоставляет рекламодателям «Refund Claims» (возврат израсходованного бюджета). По статистике сервиса ClickSease, Google Ads в среднем возвращает 12% рекламного бюджета.
Необходимо отправить жалобу на «недействительные клики» в Адвордс, после рассмотрения которой вам возместят ≈ 12% потраченных средств. Также сервис ClickSease автоматический отправляет в Google подобные требования на возврат денег раз в 2 месяца.
В нашем случае, Google AdWords сначала признал 18% нашего трафика «недействительными» и вернул за них деньги, а когда мы отправили жалобу «refund claims», Google возместил ещё 13% бюджета.
Яндекс же не признаёт уязвимость собственных фильтров защиты и на жалобы об очевидных случаях фрода, отправляет шаблонный ответ, что проблема заключается в рекламодателе и его сайте.
В нашем случае, процент «недействительных кликов» в отчёте Я. Директа никогда не поднимался выше заветных 50% ни по одной из рекламных кампаний, даже в дни самых яростных всплесков, когда 80% бюджета «сливалось» на обычно мало популярную группу объявлений без звонков и заявок.
Рисунок 4. Уровень «недействительных кликов» в одной из кампаний в Директ
С каким уровнем атаки мы столкнулись
Мошеннический трафик направлялся по четырем направлениям бизнеса в двух городах. При подключении новых рекламных кампаний или запуске давно остановленных, в течение нескольких часов «скликивание» перераспределялось и на них.
Click Fraud не привязывался ко времени, и перераспределение бюджета, например на ночь, не давало никакого эффекта: свой объем левого трафика мы всё равно получали. «Скликивание» происходило одинаково активно и в РСЯ, и на поиске Яндекса, и в КМС Google.
На сайте боты симулировали поведение пользователя, переходили по разделам сайта, выделяли текст, естественно скролили и перемещали курсор.
Есть ли готовые средства защиты?
У всех сервисов защиты от кликфрода есть всего один инструмент прямой борьбы – это блокировка подозрительных IP адресов или площадок размещений в кампаниях Я.Директ и AdWords.
В случае, если против вас используются динамические IP, любой сервис борьбы с клик фродом всегда будет отставать на один шаг от мошенников в блокировке их по IP: бот уже совершит несколько кликов по вашей рекламе к тому моменту, когда сервис внесет этот IP в черный список и остановит по нему показ рекламы. К тому же, после того, как мошеннический софт не сможет увидеть вашу рекламу, он просто поменяет IP адрес, Hardware-ID и продолжит свои действия.
При атаке на рекламу в КМС или РСЯ, обычно используются различные места размещения, и системы автоматической защиты не могут обнаружить подозрительных площадок для блокировки.
Вернемся к блокировке по IP – здесь мы подходим к самому интересному – если в AdWords допускается блокировать до 500 IP адресов, то в Яндекс Директ можно блокировать всего лишь 25 уникальных IP адресов на одну рекламную кампанию! Столь маленький черный список IP адресов уже не актуален, так как сейчас можно спокойно закупить 500 IPv4 адресов за 10 тысяч рублей и обойти это ограничение.
Защититься от «скликивания», выполняемого на высоком уровне, можно всего двумя способами:
Отрезать часть аудитории, чтобы сохранить её большую часть
Если научиться не показывать рекламу клик ботам или мошенническим пользователям – то и навредить они не смогут.
Ищем паттерны во фроде через сервисы защиты
Для того, чтобы иметь представление о том, как именно нас атакуют, и вручную отследить закономерности в мошенническом трафике, мы подключили российский сервис защиты от фрода ClickFrog. Продукт это давно всем известный, популярный в среде CPA и так далее.
ClickFrog быстро доказал полную недееспособность:
ClickSease оказался полезнее: он начал вылавливать по 300-400 уникальных мошеннических IP в день. По каждому заблокированному IP сервис отдает статистику:
Ищем паттерны во фроде вручную
Однако даже таких очевидных паттернов оказалось мало для снижения вреда от фрода, да и отключать рекламу на мобильных не хотелось. Сервисы обычно способны только дать идеи по выявлению схожих паттернов во фроде, а дальше необходимо обнаружить фрод в Метрике (в случае атаки на Директ) и выделить его в отдельных сегмент Яндекс Аудиторий для последующего анализа и блокировки.
Рисунок 5. Пример анализа трафика по возрастным группам в Метрике для поиска паттернов фрода
а) вам удалось найти очевидный паттерн фрода, относящийся к полу, возрасту или мобильности:
Строим диаграммы, которые показывают фрод
Фрод всегда порождает очевидные очаги и пики, будь то заумный софт с имитацией поведения настоящего пользователя или группа фрилансеров, выполняющих техническое задание.
Рисунок 6. Диаграмма количества посетителей по ключевым словам по декаминутам
Для визуализации лучше всего подойдёт Google Data Studio, поскольку корректно собирать данные, разбитые по времени на 1 и 10 минут, способен только Analytics, а Метрика, при построении отчетов по декаминутам, отдаёт некорректные показатели.
По умолчанию, в Analytics или Data Studio нельзя строить графики поминутно или по 10 минутам, однако это можно сделать следующим образом в Дата Студии:
Шаг 1. Открываем редактирование полей
Шаг 2. Создаем копии следующих полей: Год, Месяц года, День месяца, Час, Минута, и называем их, например, Год (число), Месяц года (число) и так далее. Также в скопированных полях необходимо изменить Тип с формата времени и даты на „число“ как показано на рисунке.
Шаг 2. Изменяем тип скопированного поля с «даты» на «число»
Шаг 3. Создаем новое поле, в котором прописываем следующую формулу: Год (число)*10000000+Месяц года (число)*100000+День месяца (число)*1000+Час (число)*10+FLOOR(Минута (число)/10)
Шаг 3. Создаём вычисляемое поле «Время по 10 минут»
Шаг 4. Сохраняем созданное поле, затем возвращаемся к списку всех полей и находим наше новое поле «Время по 10 минут (декаминут)». Необходимо изменить его тип с «Число» на «Дата и время» как показано на рисунке, а затем обратно присвоить этому полю тип «Число».
Шаг 4. Создаём вычисляемое поле „Время по 10 минут“
Шаг 5. Создаем «Комбинированную диаграмму» и ставим как параметр наше новое поле «Время по 10 минут», как показано на рисунке. Готово.
Шаг 5. Создаём «комбинированную диаграмму»
Настраиваем уведомления на очаги фрода
Чтобы не следить за всеми случаями фрода вручную, я сделал отчёт в Google Таблицах, который обновляет данные каждую минуту и уведомляет о начале фрода.
Google Таблицы поддерживают Core Reporting API, обращаться к которому можно через «Редактор скриптов» в Таблицах.
Шаг 1. Заходим в редактор скриптов для обращения к Analytics
Рисунок 7. Редактор скриптов для обращения к Analytics Core Reporting API через Гугл Таблицы
Шаг 2. Прописываем API запрос к Analytics, чтобы получать данные о нужных показателях (например, о количестве пользователей, перешедших по платной рекламе, в каждую минуту суток, как в нашем случае).
Шаг 3. Задаем триггер на обновление данных каждую минуту:
Рисунок 8. Запрашиваем свежие данные каждую минуту для оперативного реагирования на фрод
Шаг 4. Создаем сводную таблицу из листа, обновляемого нужными данными раз в минуту, и анализируем эти показатели для настройки триггеров для уведомлений на электронную почту или же отключения групп объявлений по API Я.Директа или AdWords.
Рисунок 9. Пример настройки формул для уведомлений об аномалиях
Итоги: как победить скликивание
Противодействие клик фроду можно подразделить на три группы:
Любой адекватный конкурент будет минимизировать свой ущерб при атаке на других:
Чтобы было проще анализировать конкурентов, с которыми вы пересекаетесь, можно смотреть все включенные объявления конкурентов по каждому ключевому слову в интерефейсе Директа:
Рисунок 9. Все объявления конкурентов по ключевому слову
Кто также столкнулся со скликиванием контекстной рекламы – пишите в комментариях, постараемся помочь друг другу!
Отключение показов по ip адресам
Как заставить Яндекс.Метрику показать IP в 2017 году
Очень часто недобросовестные конкуренты прибегают к скликиванию вашей контекстной рекламы. Они дают своим менеджерам задачу, чтобы они каждый день переходили по определенным запросам и нажимали на объявления конкурентов.
Ваши оппоненты таким образом преследуют очень банальную цель – слить все ваши деньги и добиться того, чтобы вы больше не показывались в контекстной рекламе.
Но как противостоять таким откровенным пакостям? Система Директ позволяет запрещать показывать объявления пользователям, имеющим определенный IP.
Я уже слышу ваши восторженные крики: «Ура, теперь мы можем зайти в «Метрику» и узнать IP того, кто скликивал нас». Но я вас слегка разочарую. В базовой функции «Метрика» не показывает полный IP пользователя, а, следовательно, его нельзя заблокировать.
Но есть несколько небольших хитростей, которые мы можем задействовать, чтобы все-таки видеть IP посетителей нашего сайта. Об этом я расскажу в этой статье.
1. Модернизация кода Яндекс.Метрики, чтобы он показывался IP полностью
1. Открываем код страницы. Вписываем этот код. Важно! Он должен присутствовать ПЕРЕД счетчиком Яндекс.Метрики:
2. Находим код Яндекс.Метрики и вписываем в это место этот код:
params: <'ip': userip>(после этого кода ставим запятую)
3. Готово! Все манипуляции с кодом на странице теперь закончены! Переходим в «Метрику»!
2. Находим IP при помощи Яндекс.Метрики
1. Переходим на metrika.yandex.ru, выбираем сайт
3. Заходим в отчет «Параметры визитов»:
4. Сейчас мы перешли в отчет «Параметры визитов». Обратите внимание на строчку:
5. Нажмите на указанный значок:
6. Теперь IP отображается следующим образом:
7. Чтобы вычислить IP, с которых происходит скликивание, рекомендуем вам сравнивать значения этих двух столбцов:
8. Также не забывайте регулировать временной период статистики:
9. Если один посетитель совершает множество визитов, то этот IP адрес стоит заблокировать.
3. Блокируем IP в Яндекс.Директ
3.1 Блокировка через Директ Коммандер
1. Заходим в Директ Коммандер
2. Выбираем рекламную кампанию и переходим в «Параметры»:
3. Находим раздел «Запрещенные IP» и вписываем туда найденный ранее номер:
4. Отправляем изменения на сервер:
3.2 Блокировка в онлайн интерфейсе Яндекс.Директ
1. Переходим в direct.yandex.ru
2. Выбираем кампанию и нажимаем «Параметры»:
3. Находим блок «Специальные настройки» и нажимаем на него:
4. Добавляем IP-адреса сюда:
5. После внесения изменений сохраняем рекламную кампанию
Отключение показов по ip адресам
Доброго времени суток. Господа, такое дело. Если на главной Яндекс изменить местоположение, то можно увидеть рекламу этого самого местоположения. И это несмотря на то что в настройках РК фактический регион такого пользователя не указан и выключен расширенный географический таргетинг. Мне собственно надо таких пользователей заблокировать, а именно конкретный регион. Нашел в настройках возможность запрещения показов по IP-адресам. Может кто знает какие маски ip у Крыма?
Однако, если пользователь из этого региона самостоятельно изменит регион показа у себя в браузере на тот, что присутствует в настройках кампании рекламодателя, то он сможет видеть его рекламу.
Например, если пользователь из Крыма поменяет регион показа в браузере на Москву, он увидит рекламу для Москвы.
Рекламодатель никак не может повлиять на настройки браузера (регион) на устройстве пользователей.
Дмитрий Громов:
Добрый день! Если в в параметрах кампании НЕ указан регион (в данном случае Крым) и отключен расширенный геотаргетинг, то показы рекламы в этом регионе идти не будут.
Однако, если пользователь из этого региона самостоятельно изменит регион показа у себя в браузере на тот, что присутствует в настройках кампании рекламодателя, то он сможет видеть его рекламу.
Например, если пользователь из Крыма поменяет регион показа в браузере на Москву, он увидит рекламу для Москвы.
Рекламодатель никак не может повлиять на настройки браузера (регион) на устройстве пользователей.
Зачем тогда функция запрещения показов по IP-адресам?
Эта возможность нужна для ограничения показа определенным пользователям. Сделать это можно на странице параметров кампании в блоке Специальные настройки. Можно внести до 25 IP-адресов в список запрещенных. Тогда пользователи с указанных адресов не увидят объявления из этой рекламной кампании. Однако, запрещение показов по IP может навредить рекламе, так как некоторые пользователи имеют динамический IP-адрес, который может меняться при переподключении к сети, либо используют прокси-сервер. В обоих случаях за одним и тем же IP-адресом может находиться большое количество не связанных между собой пользователей. Подробнее о запрещении показов по IP-адресам: https://yandex.ru/support/direct/campaigns/disable-ip.html.
То что надо! Гугл так же всем пользователя Крыма заблокировал рекламу. Я хочу тоже самое сделать из Яндекса. Кто-нибудь знает как посмотреть маски IP-крыма?
Скликивание Яндекс Директа
Скликивание Яндекс Директа уже не просто факт, а целое направление деятельности в условиях свободного рынка. У конкурента карман глубже твоего? У него работает специалист по контекстной рекламе бок-о-бок уже не первый год?
Тогда отними у него деньги за деньги, не давая его клиентам увидеть его в контекстной рекламе, а его крутому специалисту подкинь неожиданных проблем по рекламным кампаниям. Недорого.
Стоит отметить разницу в скликивании на Поиске и РСЯ. Если в РСЯ это очевидно отражается в статистике и буквально фиксируется с целью возврата денег по “пустым” кликам, то на поиске дела обстоят куда хуже.
В статистике вы такого уже не увидите, а часто даже кликать не надо, чтобы вам подпортить показатели. Начнем с простого.
Что такое скликивание
Скликивание (Фрод или КликФрод) – это “пустые”, не несущие намеренья человека клики, сделанные программами по рекламному объявлению; сделанные реальным пользователем по ошибке или путем введения в заблуждения, так же сделанные пользователем из злого умысла с целью израсходовать бюджет рекламодателя, пользуясь правилами размещения по системе оплаты за клики. а так же накручивание показов с целью потратить бюджет рекламодателя.
Не мошеннические клики
Например: при быстром парсинге пользователем в интернете идёт клики по первой же ссылки с прицелом, на то, что это самый релевантный ответ на заданный поисковой системе запрос, но в итоге это оказывается, что это не так. Ну или просто мышкой промахнулся.
Например: из выдачи Яндекса попал через клик по объявлению на сайт, случайно закрыл вкладку и на вкладке выдачи повторно нажал на рекламное объявления без ввода нового поискового запроса. Или пользователь видел разные части объявления, такие как быстрые ссылки, ссылку на виртуальную визитку и заголовок объявления и неоднократно нажал на разные части одного и тоге же рекламного сообщения.
Стоит отметить, что введение в заблуждение может быть как умышленным, так и не умышленным со стороны рекламодателя, который создает рекламный креатив.
Например: рекламодатель берет слишком широкую аудиторию исходя из неверных представлений о целевой аудитории потребителей продукта и без злого умысла подменяет один продут другим. Буквально, сообщая пользователю:
“этот продукт такой же как тот, что ты искал” или “этот продукт так же хорошо (или по-другому удовлетворяет твои потребности), как и тот, который ты искал”.
Под умышленной эксплуатацией имеется ввиду – умышленное намерение рекламодателя создать в сознании потребителя картину того, что за рекламным сообщением стоит именно тот продут, который искал пользователь, а по факту за ним будет стоять совершенно другой продукт. Разница в умысле наиболее полно отражена в рекламном сообщении, которое либо сообщает о разнице, либо не сообщает.
Важный момент: кликбейт в данном контексте больше относиться к поисковым рекламным объявлениям.
Если Яндекс нам обещает, что первые 2 он “как-то фильтрует” с помощью технологии Матрикснет и возвращает на счет деньги, то кликбейт я добавил в качестве глупости со стороны рекламодателя при системе оплаты за клики, за которые Яндекс деньги не возвращает.
Мошеннические клики
В отличии от вариантов, рассмотренных ранее, где в основном бралось поведение пользователя и особняком нерациональное поведение рекламодателя, то тут уже рассматривается поведение третьих лиц. Это может быть:
Скликивание в ручную
Это самый тупой и убогий способ на мой взгляд. Просто потому, что сознательная вредительская человеческая деятельность, опосредованно направленная на достижение цели израсходовать бюджет в пользу третьих лиц (Яндекса) – это не то, чем должен заниматься взрослый умный человек в рабочее или нерабочее время.
Например: конкурент – это 1 конкретный человек. Он заходит на Яндекс и намеренно кликает именно по объявлениям конкурента. При этом не гнушается делать это и в РСЯ. Он не собирается ничего покупать (он же конкурент), он не хочет заценить ваш сайт, потому что он его уже 1000 раз видел. Он конкретно хочет нажать на объявления с той целью, чтобы у вас списались средства с общего счета в кабинете Яндекс Директ.
Причем делает он это регулярно чаще всего неумело, так как не меняет устройство, вбивает одни и те же ключевые слова и даже, если Яндекс такого “пропускает” каждый раз, то его легко отправить в Сегмент Метрики и понизить ставку в кампаниях для таких как он. Или же заблочить его ip, если смогли его узнать, конечно.
Продвинутый вариант этого мероприятия для конкурентов со штатом “крепостных”, которые без увеличения заработной платы обременяются задачей.
С личных устройств и желательно с домашней ip сети (а не рабочей, а то палево) кликать по объявлениям конкурента регулярно.
В целом вопрос решается так же, как и вопрос с одним человеком, но только дольше, а значит потерь больше (успеют-таки накликать).
Скликивание рекламы роботами
Роботами в данном случае называют программы, которые имитируют поведение человека, переходят по ссылкам с целью скликать бюджет рекламодателя.
Роботы как вы понимаете не люди и заниматься вредной деятельностью могут намного чаще и качественней благодаря проработке технических вопросов. Это вопросы смены ip-адреса, большего “очеловечивания” поведения робота и другими вариантами обойти систему защиты для достижения поставленной цели.
Защита от кликфрода строиться путем фильтрации по определенным параметрам (250 характеристик по 4 000 000 000 событий как сообщает статья), которые специально держаться в тайне, дабы не было продуманного противодействия.
Результат работы антифрод системы можно увидеть в отчетах кампании:
То есть все накрученные клики, которые удались распознать, беспощадно выпиливаются из отчетов и выводятся отдельной строкой. Деньги за это не берут, а точней берут и потом возвращают на счет.
На 2020 год КликФрод остается довольно острой проблемой. Так, не только в России, но и в мире на “фальшивый трафик” приходиться от 10 до 30% всех переходов на сайт в результате клика. И это по исследованию 2017 года
С роботами борются роботами, иногда людьми, но редко. По крайней мере только по запросу другого человека, обычно все решается автоматически. Так говорит Яндекс.
взято с https://yandex.ru/adv/materials/antifrod
Скликивание в РСЯ
Если в предыдущих рассуждениях рассматривалось 5 объектов взаимодействия
То с Рекламной Сетью Яндекс становиться всё иначе, теперь на поле брани:
Во всех вариантах страдает рекламодатель.
На поиске выгодоприобретатель – Яндекс (получает деньги за клики) и Конкурент (получает убыток конкурента).
В РСЯ выгодоприобретатель- Яндекс (получает деньги за клики) и Вебмастер (который тоже получает деньги за клики).
Если у Вас есть интернет ресурс с большой посещаемостью, вы традиционно хотите превратить его в источник несметных богатств. Яндекс дает такой инструмент – код для встраивания на сайт для открутки рекламных блоков РСЯ. Каждый клик по объявлению = копеечка владельцу сайта. Много кликов – много копеечек. Значит роботы пошли в ход, пусть добывают деньги.
О том что такие действия приводят к исключения площадки из показов на уровне кампании можно почитать в моей статье Запрещенные площадки для РСЯ
Не говоря уже о том, что сам Яндекс с целью защиты своего авторитета исключает такие сайты из своей сети. Но на данный момент походу они устали бороться и просто сделали свои Турбо-Страницы с блек-джеком и рекламными блоками.
Признаки скликивания
Чаще всего определяются с помощью систем аналитики Яндекс Метрика и Google Analytics и выражены в следующем:
Сервисы по скликиванию
Не нашел какого-то нормального списка сервисов, которые оказывают данные услуги. Да и не хотелось бы делать им рекламу, но отрицать их существование не стоит. Вот что нарыл:
Последнее – пример любой биржи, где вы за копеечку просите нажать на чужое объявление. Этот вариант отследить трудней всего на мой взгляд он же называвается Кликфрод-фермы.
Более подробно о способах скликивания и защите от них читайте в другой статье.
Защита от скликивания в Яндекс Директ
Программы от кликфрода
Все иностранные, все в долларах, отечественных аналогов не нашел, поэтому просто оставлю тут список с ценами на момент публикации статьи.
Хотя, честно говоря, не особо искал, так как предыдущие 4 варианты защиты покрывают все мои потребности.
Накрутка показов
Когда речь идет про клики, скорей всего речь идет про деньги. Потому что оплата за клики. Но когда речь идет про показы, от которых зависит цена клика – это совсем другой разговор.
Для этого пришлось вынести этот вопрос в отдельную статью. Хотя сам Яндекс относит “накрутку” показов к фроду.
Более подробно о накрутке показов на Поиске Яндекса, где это имеет значение в отличии от РСЯ читайте в этой статье👈
