ТОП 200 IP ботов Яндекса
Для благих нужд (хотя смотря в чьих руках) необходимо знать IP адреса поисковых роботов, например для идентификации подлинности поискового робота (основного индексирующего робота), что его не «подделали» и запросы на сервер действительно выполняет робот Яндекса. Проверить IP адрес на принадлежность к поисковой системе можно в сервисе «Валидатор ботов».
Для наглядности в таблице выделен ТОП 10 самых часто используемых ботов Яндекса.
ТОП IP адресов YandexBot
| ТОП | IP YandexBot | Доля активности |
|---|---|---|
| 1 | 141.8.132.30 | 4,69% |
| 2 | 178.154.200.24 | 4,07% |
| 3 | 141.8.142.6 | 3,63% |
| 4 | 95.108.213.22 | 3,55% |
| 5 | 178.154.244.41 | 3,43% |
| 6 | 141.8.142.137 | 3,16% |
| 7 | 37.9.113.18 | 3,14% |
| 8 | 141.8.183.14 | 2,89% |
| 9 | 141.8.142.182 | 2,70% |
| 10 | 141.8.142.111 | 2,32% |
| 11 | 93.158.166.5 | 2,19% |
| 12 | 141.8.183.41 | 2,15% |
| 13 | 178.154.200.1 | 2,02% |
| 14 | 141.8.188.61 | 2,02% |
| 15 | 178.154.200.130 | 1,94% |
| 16 | 5.45.207.60 | 1,86% |
| 17 | 178.154.200.10 | 1,63% |
| 18 | 141.8.188.67 | 1,60% |
| 19 | 141.8.183.8 | 1,59% |
| 20 | 178.154.200.245 | 1,57% |
| 21 | 141.8.188.41 | 1,52% |
| 22 | 141.8.142.130 | 1,52% |
| 23 | 213.180.203.118 | 1,47% |
| 24 | 213.180.203.78 | 1,41% |
| 25 | 178.154.171.156 | 1,41% |
| 26 | 93.158.166.11 | 1,35% |
| 27 | 178.154.200.59 | 1,30% |
| 28 | 178.154.200.60 | 1,23% |
| 29 | 141.8.189.2 | 1,19% |
| 30 | 87.250.224.92 | 1,10% |
| 31 | 95.108.213.60 | 1,04% |
| 32 | 178.154.200.8 | 1,04% |
| 33 | 213.180.203.66 | 1,03% |
| 34 | 178.154.200.20 | 0,94% |
| 35 | 178.154.200.108 | 0,90% |
| 36 | 178.154.200.146 | 0,83% |
| 37 | 141.8.142.106 | 0,78% |
| 38 | 178.154.200.56 | 0,72% |
| 39 | 37.9.113.73 | 0,70% |
| 40 | 213.180.203.89 | 0,69% |
| 41 | 213.180.203.193 | 0,66% |
| 42 | 178.154.200.200 | 0,63% |
| 43 | 5.255.253.103 | 0,59% |
| 44 | 178.154.200.238 | 0,58% |
| 45 | 178.154.200.195 | 0,57% |
| 46 | 141.8.142.212 | 0,55% |
| 47 | 5.45.207.70 | 0,54% |
| 48 | 213.180.203.101 | 0,52% |
| 49 | 141.8.132.20 | 0,52% |
| 50 | 5.255.253.70 | 0,49% |
| 51 | 178.154.200.75 | 0,49% |
| 52 | 87.250.224.67 | 0,47% |
| 53 | 178.154.200.62 | 0,46% |
| 54 | 213.180.203.60 | 0,44% |
| 55 | 213.180.203.61 | 0,44% |
| 56 | 213.180.203.6 | 0,40% |
| 57 | 5.45.207.103 | 0,38% |
| 58 | 178.154.200.58 | 0,38% |
| 59 | 178.154.200.217 | 0,37% |
| 60 | 5.45.207.16 | 0,37% |
| 61 | 178.154.200.45 | 0,36% |
| 62 | 213.180.203.39 | 0,34% |
| 63 | 95.108.181.43 | 0,33% |
| 64 | 141.8.142.162 | 0,33% |
| 65 | 213.180.203.72 | 0,32% |
| 66 | 178.154.200.216 | 0,29% |
| 67 | 178.154.200.116 | 0,29% |
| 68 | 178.154.200.30 | 0,29% |
| 69 | 178.154.200.86 | 0,28% |
| 70 | 213.180.203.44 | 0,26% |
| 71 | 213.180.203.99 | 0,26% |
| 72 | 213.180.203.87 | 0,25% |
| 73 | 213.180.203.148 | 0,23% |
| 74 | 87.250.224.214 | 0,22% |
| 75 | 213.180.203.183 | 0,22% |
| 76 | 213.180.203.98 | 0,20% |
| 77 | 5.45.207.127 | 0,19% |
| 78 | 95.108.181.108 | 0,18% |
| 79 | 178.154.200.106 | 0,18% |
| 80 | 178.154.200.172 | 0,18% |
| 81 | 178.154.200.208 | 0,18% |
| 82 | 95.108.181.64 | 0,17% |
| 83 | 5.45.207.84 | 0,17% |
| 84 | 213.180.203.62 | 0,16% |
| 85 | 178.154.200.53 | 0,16% |
| 86 | 213.180.203.31 | 0,15% |
| 87 | 213.180.203.68 | 0,14% |
| 88 | 213.180.203.76 | 0,14% |
| 89 | 178.154.200.2 | 0,14% |
| 90 | 178.154.200.203 | 0,14% |
| 91 | 178.154.200.26 | 0,13% |
| 92 | 213.180.203.110 | 0,12% |
| 93 | 87.250.224.212 | 0,12% |
| 94 | 213.180.203.189 | 0,12% |
| 95 | 213.180.203.97 | 0,12% |
| 96 | 141.8.142.44 | 0,11% |
| 97 | 178.154.200.109 | 0,10% |
| 98 | 213.180.203.176 | 0,10% |
| 99 | 213.180.203.57 | 0,10% |
| 100 | 213.180.203.192 | 0,10% |
| 101 | 178.154.200.99 | 0,10% |
| 102 | 178.154.200.160 | 0,10% |
| 103 | 178.154.200.114 | 0,09% |
| 104 | 178.154.200.87 | 0,09% |
| 105 | 178.154.200.166 | 0,09% |
| 106 | 178.154.200.96 | 0,09% |
| 107 | 178.154.200.181 | 0,08% |
| 108 | 213.180.203.156 | 0,08% |
| 109 | 141.8.142.9 | 0,08% |
| 110 | 213.180.203.43 | 0,08% |
| 111 | 213.180.203.174 | 0,08% |
| 112 | 178.154.200.185 | 0,07% |
| 113 | 141.8.189.3 | 0,07% |
| 114 | 213.180.203.142 | 0,07% |
| 115 | 178.154.200.90 | 0,07% |
| 116 | 213.180.203.38 | 0,06% |
| 117 | 178.154.171.101 | 0,06% |
| 118 | 213.180.203.82 | 0,06% |
| 119 | 5.45.207.83 | 0,06% |
| 120 | 178.154.200.233 | 0,06% |
| 121 | 95.108.213.59 | 0,06% |
| 122 | 178.154.200.57 | 0,06% |
| 123 | 178.154.200.84 | 0,06% |
| 124 | 178.154.200.144 | 0,06% |
| 125 | 213.180.203.79 | 0,06% |
| 126 | 213.180.203.94 | 0,06% |
| 127 | 213.180.203.200 | 0,06% |
| 128 | 37.9.113.141 | 0,06% |
| 129 | 93.158.166.17 | 0,06% |
| 130 | 213.180.203.121 | 0,06% |
| 131 | 178.154.200.25 | 0,06% |
| 132 | 213.180.203.30 | 0,06% |
| 133 | 5.45.207.66 | 0,06% |
| 134 | 213.180.203.151 | 0,06% |
| 135 | 87.250.224.74 | 0,06% |
| 136 | 213.180.203.122 | 0,06% |
| 137 | 37.9.113.66 | 0,05% |
| 138 | 178.154.200.79 | 0,05% |
| 139 | 178.154.200.4 | 0,05% |
| 140 | 213.180.203.29 | 0,05% |
| 141 | 178.154.200.246 | 0,05% |
| 142 | 178.154.200.67 | 0,05% |
| 143 | 37.9.113.85 | 0,05% |
| 144 | 213.180.203.171 | 0,05% |
| 145 | 213.180.203.146 | 0,05% |
| 146 | 213.180.203.134 | 0,05% |
| 147 | 178.154.171.37 | 0,05% |
| 148 | 141.8.183.212 | 0,05% |
| 149 | 178.154.200.201 | 0,05% |
| 150 | 141.8.183.213 | 0,05% |
| 151 | 213.180.203.184 | 0,05% |
| 152 | 87.250.224.41 | 0,05% |
| 153 | 213.180.203.40 | 0,05% |
| 154 | 178.154.200.190 | 0,04% |
| 155 | 178.154.200.41 | 0,04% |
| 156 | 213.180.203.22 | 0,04% |
| 157 | 178.154.171.27 | 0,04% |
| 158 | 213.180.203.137 | 0,04% |
| 159 | 141.8.142.214 | 0,04% |
| 160 | 213.180.203.45 | 0,04% |
| 161 | 178.154.200.118 | 0,04% |
| 162 | 213.180.203.167 | 0,04% |
| 163 | 93.158.166.10 | 0,04% |
| 164 | 37.9.113.100 | 0,04% |
| 165 | 213.180.203.36 | 0,04% |
| 166 | 178.154.244.67 | 0,04% |
| 167 | 213.180.203.90 | 0,04% |
| 168 | 141.8.183.214 | 0,04% |
| 169 | 178.154.200.153 | 0,04% |
| 170 | 213.180.203.145 | 0,04% |
| 171 | 213.180.203.11 | 0,04% |
| 172 | 178.154.200.188 | 0,04% |
| 173 | 141.8.142.25 | 0,04% |
| 174 | 213.180.203.117 | 0,04% |
| 175 | 178.154.200.7 | 0,04% |
| 176 | 95.108.213.20 | 0,04% |
| 177 | 141.8.132.18 | 0,04% |
| 178 | 37.9.113.77 | 0,04% |
| 179 | 178.154.200.77 | 0,04% |
| 180 | 37.9.113.81 | 0,04% |
| 181 | 178.154.200.159 | 0,04% |
| 182 | 141.8.142.5 | 0,03% |
| 183 | 213.180.203.140 | 0,03% |
| 184 | 141.8.142.8 | 0,03% |
| 185 | 178.154.200.117 | 0,03% |
| 186 | 213.180.203.100 | 0,03% |
| 187 | 178.154.200.226 | 0,03% |
| 188 | 141.8.142.180 | 0,03% |
| 189 | 213.180.203.124 | 0,03% |
| 190 | 213.180.203.102 | 0,03% |
| 191 | 87.250.224.38 | 0,03% |
| 192 | 178.154.200.36 | 0,03% |
| 193 | 178.154.200.158 | 0,03% |
| 194 | 178.154.200.28 | 0,03% |
| 195 | 141.8.183.16 | 0,03% |
| 196 | 178.154.200.65 | 0,03% |
| 197 | 213.180.203.108 | 0,03% |
| 198 | 178.154.171.51 | 0,03% |
| 199 | 178.154.200.47 | 0,03% |
| 200 | 178.154.200.16 | 0,03% |
В таблице указана доля активности запросов именно с User-Agent «YandexBot», но с этих же IP приходили и другие.
Разные User-Agent с одного IP
С этих же IP адресов могут поступать запросы от разных ботов, с разными User-Agent:
Ip адреса роботов яндекса
Коллеги, подскажите пожалуйста где добыть список ip-адресов с которых ходят боты яндекса?
А так же по возможности
Google, Mail, Rambler, Bing, Ask и др.
Спасибо, а как быть с другими ПС?
IPGrabber is the world’s largest database of verified search engine spiders.
IPGrabber is the world’s largest database of verified search engine spiders.
alexvivarina:
Коллеги, подскажите пожалуйста где добыть список ip-адресов с которых ходят боты яндекса?
А так же по возможности
Google, Mail, Rambler, Bing, Ask и др.
IP-адреса, которые использует робот Googlebot, время от времени меняются. Чтобы узнать, посещал ли он ваш сайт, просмотрите данные по агенту пользователя (Googlebot). С помощью обратного DNS-запроса можно проверить, действительно ли к вашему серверу обращался Googlebot, а не другой робот.
Вы можете убедиться, что ваш сайт сканирует робот Googlebot или иной поисковый робот Google. Это полезно сделать, если у вас есть подозрения, что под видом робота Googlebot к вашему сайту обращаются спамеры или другие злоумышленники. Компания Google не публикует «белые списки» IP-адресов для веб-мастеров. Они могут изменяться, что вызовет проблемы на сайтах, где эти адреса указаны в коде. Поэтому мы рекомендуем выполнить DNS-запрос следующим образом:
Как убедиться, что сайт сканируется роботом Googlebot:
С помощью команды host выполните обратный DNS-запрос IP-адреса, который можно узнать в журнале.
Убедитесь, что доменное имя – googlebot.com или google.com.
С помощью команды host выполните прямой запрос DNS на преобразование доменного имени, которое вы узнали на шаге 1. IP-адрес, полученный в результате, и исходный должны совпадать.
Роботы Яндекса
Методы управления поведением робота Яндекса
Виды роботов Яндекса
IP-адреса роботов Яндекса
IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов не разглашается.
Кроме роботов у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.
Директива Host
Во избежания возникновения проблем с зеркалами сайта рекомендуется использовать директиву «Host». Директива «Host» указывает роботу Яндекса на главное зеркало данного сайта. С директивой «Disallow» никак не связана.
User-agent: Yandex
Disallow: /cgi-bin
Host: www.site.ru
User-agent: Yandex
Disallow: /cgi-bin
Host: site.ru
в зависимости от того что для вас оптимальнее.
Вот цитата из ЧаВо Яндекса:
Мой сайт показывается в результатах поиска не под тем именем. Как это исправить?
Скорее всего, ваш сайт имеет несколько зеркал, и робот выбрал как основное не то зеркало, которое хочется вам. Есть несколько решений:
В случае реализации одного из вышеперечисленных советов ваше основное зеркало будет автоматически изменено по мере обхода робота.
Интересная информация об обработке директивы Host из ответов А. Садовского на вопросы оптимизаторов:
Вопрос: Когда планируется своевременное соблюдение директивы Host: в robots.txt? Если сайт индексируется как www.site.ru, когда указано Host: site.ru уже после того, как robots.txt был размещен 1–2 недели, то при этом сайт с www и без www не склеивается более 1–2 месяца и в Яндексе существуют одновременно 2 копии частично пересекающихся сайтов (один 550 страниц, другой 150 страниц, при этом 50 страниц одинаковых). Прокомментируйте, пожалуйста, проблемы с работой «зеркальщика».
Ответ: Расширение стандарта robots.txt, введенное Яндексом, директива Host — это не команда считать зеркалами два любых сайта, это указание, какой сайт из группы, определенных автоматически как зеркала, считать главным. Следовательно, когда сайты будут идентифицированы как зеркала, директива Host сработает.
HTML-тег
Тег работает аналогично мета-тегу noindex, но распространяется только на контент, заключенный внутри тега в формате:
текст, индексирование которого нужно запретить
Тег noindex не чувствителен к вложенности (может находиться в любом месте html-кода страницы). При необходимости сделать код сайта валидным возможно использование тега в следующем формате:
текст, индексирование которого нужно запретить
LiveInternetLiveInternet
—Рубрики
—Музыка
—неизвестно
—Поиск по дневнику
—Подписка по e-mail
—Интересы
—Постоянные читатели
—Статистика
Роботы Яндекса.
Виды роботов Яндекса
IP-адреса роботов Яндекса
IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов не разглашается.
Кроме роботов у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.
Директива Host
Во избежания возникновения проблем с зеркалами сайта рекомендуется использовать директиву «Host». Директива «Host» указывает роботу Яндекса на главное зеркало данного сайта. С директивой «Disallow» никак не связана.
User-agent: Yandex
Disallow: /cgi-bin
Host: www.site.ru
User-agent: Yandex
Disallow: /cgi-bin
Host: site.ru
в зависимости от того что для вас оптимальнее.
Вот цитата из ЧаВо Яндекса:
Мой сайт показывается в результатах поиска не под тем именем. Как это исправить?
Скорее всего, ваш сайт имеет несколько зеркал, и робот выбрал как основное не то зеркало, которое хочется вам. Есть несколько решений:
В случае реализации одного из вышеперечисленных советов ваше основное зеркало будет автоматически изменено по мере обхода робота.
Интересная информация об обработке директивы Host из ответов А. Садовского на вопросы оптимизаторов:
Вопрос: Когда планируется своевременное соблюдение директивы Host: в robots.txt? Если сайт индексируется как www.site.ru, когда указано Host: site.ru уже после того, как robots.txt был размещен 1–2 недели, то при этом сайт с www и без www не склеивается более 1–2 месяца и в Яндексе существуют одновременно 2 копии частично пересекающихся сайтов (один 550 страниц, другой 150 страниц, при этом 50 страниц одинаковых). Прокомментируйте, пожалуйста, проблемы с работой «зеркальщика».
Ответ: Расширение стандарта robots.txt, введенное Яндексом, директива Host — это не команда считать зеркалами два любых сайта, это указание, какой сайт из группы, определенных автоматически как зеркала, считать главным. Следовательно, когда сайты будут идентифицированы как зеркала, директива Host сработает.
HTML-тег
Тег работает аналогично мета-тегу noindex, но распространяется только на контент, заключенный внутри тега в формате:
текст, индексирование которого нужно запретить
Тег noindex не чувствителен к вложенности (может находиться в любом месте html-кода страницы). При необходимости сделать код сайта валидным возможно использование тега в следующем формате:
текст, индексирование которого нужно запретить
Яндекс.Метрика обновит систему определения роботов
Показатель роботности — это важный инструмент, который помогает увидеть реальные данные о качестве трафика из каждого источника, а также оценить общую посещаемость сайта реальными людьми.
Роботы — это программы, которые обходят сайт с определенной целью. Например, для индексации сайта или для проверки его работы. Какие-то роботы представляются сами, другие — наоборот, стараются маскироваться под реального пользователя, чтобы аналитические системы их не вычислили.
Фильтрация роботов в отчетах помогает получить точные значения важных метрик: показателя отказов, времени на сайте и глубины просмотра. С фильтрацией эти данные видны без искажений, связанных с учетом ботов в статистике.
Регулярно в Интернете появляются новые, все более хитрые роботы, которые не хотят, чтобы их распознали. Наша задача — вычислять таких роботов, чтобы наши пользователи могли принимать решения на основе максимально точных данных. Именно поэтому мы планируем масштабное обновление системы определения роботов.
В чем суть обновления
Когда обновление вступит в силу
С конца лета мы начнем постепенно подключать обновление на часть пользователей Метрики. Это значит, что некоторые пользователи увидят изменения раньше других.
Если вы увидите изменения системы определения роботности в отчетах — это значит, что вы попали в выборку, и в числе первых опробуете новинку.
Уже осенью обновление станет доступно для всех. В день запуска мы обязательно расскажем много полезных подробностей. Следите за обновлениями!
