Программист ASP.NET MVC C#
IP адреса поисковых систем (Google, Yandex и другие)
Если введете свою статистку посещаемости и учет введете по IP адресам, то Вам будет полезен этот список.
Список IP адресов Google
Список IP адресов Yandex
Список IP адресов Meta
Список IP адресов Yahoo
Список IP адресов Rambler.ru
81.19.66.90
Список IP адресов Mail.ru
217.69.134.168
Список IP адресов MSN
Спасибо за публикацию, очень правильно все написано!
– это адрес интернет-протокола, назначенный пользователю его поставщиком интернет-услуг. При каждом подключении пользователя к Интернету этот адрес может отличаться. – это уникальный идентификатор файла cookie, присвоенного данному компьютеру при первом посещении сайта Google. Если пользователь удалил файл cookie с компьютера после посещения Google, это будет уникальный идентификатор файла cookie, выданный пользователю при следующем посещении Google с этого компьютера.
Если у вас по умолчанию установлена поисковая система Google, браузер Chrome связывается с серверами Google при запуске и при смене сети, чтобы подобрать локальный адрес для отправки запросов.
Как узнать все IP адреса Яндекс, Google и Mail.RU
Я уже писал как узнать все IP адреса сайта — https://moonback.ru/page/kak-uznat-ip-adres-sayta. Но когда дело касается лидеров, то результаты выдачи утилиты nslookup для домена могут меняться по несколько раз день.
Результат работы утилиты nslookup для доменного имени yandex.ru от 29 июля 2021 г. в 16:37, г.Волгоград, провайдер Мегафон:
А уже через час 29 июля 2021 г. в 17:32 мы видим иной результат:
Один из IP адресов сменился. Первым в списке был 5.255.255.55, а теперь — 5.255.255.70.
Хочешь узнать список всех IP адресов — посмотри SPF запись домена.
Как узнать IP адреса Яндекс
Из этого можно сделать вывод, что серверы меняются динамически из определенного диапазона адресов. И чтобы узнать все IP адреса принадлежащие компании Яндекс можно воспользоваться следующей инструкцией.
Определим SPF записи yandex. Напомню, что SPF запись содержит список доверенных IP адресов серверов, которые имеют право отправлять письма от имени домена (подробнее). Для этого в консоли (в командной строке) выполните следующую команду:
Для определения IPv4 адресов нас интересует значение _spf-ipv4.yandex.ru
Чтобы получить список IPv4 адресов выполните следующую команду в консоли (в командной строке):
В результате мы должны получить список всех IPv4 адресов компании Яндекс:
Все актуальные IP адреса компании Yandex
На момент написании данной статьи компании Яндекс принадлежат следующие IP адреса, точнее компания Yandex использует следующие IP адреса для своих сайтов, сервисов и прочих нужд:
| IPv4 сеть | IPv4 диапазон |
|---|---|
| 5.45.192.0/19 | 5.45.192.0 — 5.45.223.255 |
| 5.255.192.0/18 | 5.255.192.0 — 5.255.255.255 |
| 5.45.254.0/25 | 5.45.254.0 — 5.45.254.127 |
| 37.9.109.0/24 | 37.9.109.0 — 37.9.109.255 |
| 37.140.128.0/18 | 37.140.128.0 — 37.140.191.255 |
| 77.88.0.0/18 | 77.88.0.0 — 77.88.63.255 |
| 87.250.224.0/19 | 87.250.224.0 — 87.250.255.255 |
| 93.158.136.48/28 | 93.158.136.48 — 93.158.136.63 |
| 95.108.130.0/23 | 95.108.130.0 — 95.108.131.255 |
| 95.108.192.0/18 | 95.108.192.0 — 95.108.255.255 |
| 141.8.132.0/24 | 141.8.132.0 — 141.8.132.255 |
| 213.180.223.192/26 | 213.180.223.192 — 213.180.223.255 |
Как узнать все IP адреса принадлежащие компании Google
С Google поступаем по предыдущей инструкции, которую мы опробовали на Яндексе. Сначала выполним в консоли команду:
Получим примерно такой результат:
Воспользуемся полученными результатами для следующей команды:
И получим список IP адресов Google:
Полный список в текстовом виде выглядит так:
Как узнать все IP адреса MAIL.RU
С компанией Маил-РУ поступаем как и с предыдущими, правда решение будет чуть короче лишь в одну команду:
В результате мы получим список всех адресов Mail.RU:
Список IP адресов Mail.RU по состоянию на 31 июля 2021 года
На момент написания данной статьи технологической компании Mail.ru Group принадлежат следующие IP адреса:
Зачем знать IP адреса компаний Яндекс, Google и Mail.ru
Если вы нашли эту статью в интернете и читаете ее, то ответ для вас очевиден. Но для остальных напишу так: «в некотором царстве, в некотором государстве был ограничен доступ к сайтам ВКонтакте, Одноклассники и т.п.» Чтобы получить к ним доступ нужно настроить маршрутизацию через VPN из той страны, где такой доступ есть. А так как IP адреса вышеназванных сервисов могут динамически меняться, о чем я написал в начале статьи, то нужно знать список всех IP адресов на которых они теоретически могут работать.
Для справки: Одноклассники и ВКонтакте принадлежат технологической компании Mail.ru Group, а так же — такие проекты как Warface, Crossfire, Armored Warfare, Skyforge, Аллоды Онлайн, ArcheAge, Perfect World и LOST ARK, мессенджер «ICQ», мобильный сервис бесплатных объявлений «Юла», каршеринг «Ситидрайв», сервис онлайн-заказа такси «Ситимобил», и платформа для доставки еды «Delivery Club».
Выводы
Почему для определения IP адресов компании я использовал SPF запись доменного имени? Утилита nslookup при классическом применении показывает список серверов на которых в настоящий момент работает домен (сайт), а запись SPF (Sender Policy Framework) определяет весь список доверенных серверов, с которых может отправляться почта данного домена, то есть это все IP адреса на которых теоретически может «работать» домен.
Я думаю, что данный способ покажет не полный список IP адресов компании, ведь есть еще технические адреса для маршрутизаторов, коммутаторов и прочего оборудования, но нам они не нужны, так как на них не будут работать серверы, которые нас интересуют, например сайт Одноклассники.
Простейший и при этом бесплатный способ обхода блокировок на примере маршрутизатора серии Keenetic описан в этой статье — https://moonback.ru/page/keenetic-site-deblock.
Благодарности
При написании статьи были использованы следующие источники:
Все ip адреса яндекса
Есть у кого нибудь под рукой свежий полный список IP яндекса?
Для поисковиков по юзерагенту выставлен «анлим», но ИМХО лучше все-таки это по IP делать (кстати, сервер виндовый), чтобы он мог нормально проиндексировать максимум на сервере.
Собственно говоря для этого и нужен список.
Можно в личку, если прямо на форум постить не хочется.
Советую самим базу сформировать, т.к. это придется апдейтить ее постоянно.
Но у тебя наверняка база имеется ;?) 🚬
Avatar, пожалуйста. Еще список отослал в личку
albion, спасибо. первой ссылки достаточно, чтобы всю сеть Яндекса выловить.
эх, если бы все так было.
Дак с апдейтилки и начинать надо:
пишешь алгортм который просекает, что это бот se,
у яндекса штук 50 диапазонов, сам вычислял как-то. только не по поиску, а скачивал полную райповскую базу.
и имейте ввиду, что:
‘Поисковая система Яndex’,
// состоящая, в свою очередь, из следующих небольших под-сетей:
// Основной индексирующий робот. Посещает сайт примерно один раз в месяц, забирая не более 500
// страниц с кодом ответа ‘200 OK’ за одно посещение. Для остальных кодов ответа ограничений нет.
// По моим данным эта информация пока еще не проверена, следует быть с ней внимательнее и проверить ее!
‘Yandex/1.01.001 (compatible; Win16; I)’ => ‘text’,
// Индексатор картинок. Запрашивает только файлы картинок.
// Для своей работы использует результаты работы предыдущего робота.
‘Yandex/1.01.001 (compatible; Win16; P)’ => ‘image’,
// Робот, определяющий зеркала сайтов. Не регулярно посещает страницы сайта, которые подозревает
// на предмет дублирования информации. Изредка посещает уже ‘склеенные’ страницы для проверки на
// предмет убирания дублирования. Если главные страницы двух сайтов признаются дублями, с большой
// долей вероятности робот считает все страницы сайта дублями, что не всегда верно.
‘Yandex/1.01.001 (compatible; Win16; H)’ => ‘host’,
// Робот, обращающийся к страничке при добавлении ее через форму «Добавить URL». Ходит только по
// команде человека (при сабмите формы «Добавить URL»). Каждый вносимый адрес почему-то посещает дважды.
// Иногда представляется как AddUrl или Addurl/2.0.
‘Yandex/1.03.003 (compatible; Win16; D)’ => ‘check’,
// Робот, обращающийся при открытии страницы по ссылке «Найденные слова». Заходит на страницы сайта
// асинхронно каждый раз, как человек в результатах поиска нажмет ссылку ‘показать найденные слова’
// напротив адреса этой страницы.
‘Yandex/1.03.000 (compatible; Win16; M)’ => ‘check’,
// Агент-«простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он
// снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
‘Yandex/2.01.000 (compatible; Win16; Dyatel; C)’ => ‘check’,
// Агент-«простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
‘Yandex/2.01.000 (compatible; Win 16; Dyatel; Z)’ => ‘check’,
// Агент-«простукивалка» Яндекс.Директа. Он проверяет корректность ссылок из объявлений
// перед модерацией. Никаких автоматических действий не предпринимается.
‘Yandex/2.01.000 (compatible; Win 16; Dyatel; D)’ => ‘check’,
// Агент-«простукивалка» Яндекс.Новостей. Он формирует отчет для контент-менеджера,
// который оценивает масштаб проблем и, при необходимости, связывается с партнером.
‘Yandex/2.01.000 (compatible; Win16; Dyatel; N)’ =>’check’,
‘YandexBlog/0.99.101 (compatible; DOS3.30,B)’ => ‘news’,
‘Bond, James Bond (version 0.07)’ => ‘check’
Анализ использования диапазонов IP-адресов популярными хостингами почты
Насколько почтовые хостинги эффективно используют выделенный им дефицитный в наши дни ресурc IP-адресов? Насколько целесообразно расходуются известными поисковиками для своих хостингов почты предоставленные им региональными регистратурами в администрирование диапазоны? Выясним ответ на этот вопрос проведя небольшое исследование почтовых хостингов Gmail, Mail.ru и Яндекс.
Выяснить количество IP-адресов, выделенных каждым поисковиком под свой хостинг почты, можно проанализировав SPF-запись соответствующего домена. Из ответа DNS-сервера можно оценить количество IP-адресов, зарезервированных для почтовых серверов, а произведя попытку соединения по 25 порту (SMTP) выяснить количество действительно функционирующих.
Методика оценки — SPF в помощь
SPF – акроним от Sender Policy Framework, технология идентификации отправителя электронной почты, которая была принята в качестве стандарта ещё в далёком 2006 году. В DNS-зоне домена при внесении информации SPF создаётся TXT-запись, которая содержит набор правил явным образом указывающих хосты, которым разрешено и запрещено отправлять сообщения от имени этого домена. Получающая сторона имеет возможность в самом начале входящей SMTP-сессии проверить доменную зону заявляемого в поле «От:» отправителя и правила SPF-записи с фактическим IP-адресом отправителя текущей сессии. Если фактический IP-адрес входит в список SPF, сессия продолжается и сообщение успешно принимается. В случае если отправитель не входит в указанный владельцем домена список SPF, то сообщение может быть либо отклонено как мошенническое, либо принято для дальнейшей проверки в зависимости от указанной политики по умолчанию.
SPF предоставляет почтовым серверам возможность с одной стороны убедиться в легитимности отправителя сообщения, с другой — предотвратить подделку сообщений от чужого доменного имени. Немаловажно, что эта возможность требует совсем немного коммуникационных и вычислительных ресурсов принимающего и совсем не требует ресурсов отправляющего почтового сервера, что имеет большое значение для высоко нагруженных почтовых хостингов, обрабатывающих электронную почту миллионами сообщений.
Диапазон IP-адресов Яндекс почты
При анализе SPF-записи Яндекс почты выясняем, что за набор правил для основного адресного пространства IP-адресов наиболее популярной версии 4 отвечает доменное имя _spf.yandex.ru Дав DNS-запрос текстового типа к нему получаем:
> set type=txt
> _spf-ipv4.yandex.ru
Не заслуживающий доверия ответ:
_spf-ipv4.yandex.ru text =
«v=spf1 ip4:77.88.46.0/23 ip4:77.88.60.0/23 ip4:84.201.143.128/26 ip4:87.250.248.0/24 ip4:95.108.130.0/23 ip4:95.108.252.0/23 ip4:213.180.223.192/26 ip4:84.201.186.0/23 ip4:93.158.136.48/28 ip4:77.88.34.0/27 ip4:77.88.19.32/27 ip4:77.88.58.128/26
В ответе указаны диапазоны IP-адресов, которым поисковый сервер Яндекс в явном виде разрешил отправку электронной почты с домена @yandex.ru Обратите внимание на оператор
all в конце строки. Это значение и есть политика по умолчанию, которая будет применяться ко всем попыткам отправления не из указанных диапазонов. Согласно стандарту RFC 4408 (а именно он регламентирует SPF) этот оператор может быть:
all — принимать почту, принять решение о доставке позже (не рекомендуется к использованию)
То есть, как мы видим в настройках SPF почты поисковика Яндекс используется хоть и не самая бессмысленная (+all), но всё же достаточно бесполезная для почтовых серверов-получателей конструкция (
all). Тильда означает, что отправитель перекладывает решение по определению легальности отправителя и самого письма на получателя, практически никак в этом не помогая ему. В отличие от явного запрета (-all), при котором получатель тут же разорвёт SMTP-сессию, такая почта должна будет приняться на этом этапе сервером получателя и определять спам или подделку в нём ему придётся самостоятельно без всякой помощи почтового сервера Яндекса.
Приставка «ip4:» в начале означает, что речь идёт об обычных IP-адресах текущей 4 версии протокола. /23, /24 и другие обозначают битовые маски подсетей и уточняют размер диапазона IP-адресов. Обратите внимание, это лишь резерв IP-адресов, которые сам поисковик указал как свои SMTP-серверы — совершенно необязательно, что все они используются для обработки электронной почты. Сканирование указанных диапазонов показывает какое количество IP-адресов из них действительно задействовано для приёма-передачи электронной почты по протоколу SMTP. Для этого достаточно совершить попытку подключения по стандартному для передачи электронной почты между серверами порту 25 протокола TCP, например, с помощью популярного open source сканера портов Nmap.
| Диапазон IP-адресов | Всего адресов | Используется | Лог-файлы результатов сканирования |
| 77.88.46.0/23 | 512 | 0 | 77.88.46.0.txt |
| 77.88.60.0/23 | 512 | 266 | 77.88.60.0.txt |
| 84.201.143.128/26 | 64 | 21 | 84.201.143.128.txt |
| 87.250.248.0/24 | 256 | 59 | 87.250.248.0.txt |
| 95.108.130.0/23 | 512 | 266 | 95.108.130.0.txt |
| 95.108.252.0/23 | 512 | 387 | 95.108.252.0.txt |
| 213.180.223.192/26 | 64 | 31 | 213.180.223.192.txt |
| 84.201.186.0/23 | 512 | 442 | 84.201.186.0.txt |
| 93.158.136.48/28 | 16 | 7 | 93.158.136.48.txt |
| 77.88.34.0/27 | 32 | 0 | 77.88.34.0.txt |
| 77.88.19.32/27 | 32 | 0 | 77.88.19.32.txt |
| 77.88.58.128/26 | 64 | 32 | 77.88.58.128.txt |
| Итого: | 3088 | 1511 |
Получается, что из 3088 IP-адресов для действительно функционирующих SMTP-серверов электронной почты используется всего 48,9%, менее половины.
Сравним использование IP-адресов с почтовым хостингом от Google — Gmail. Методика прежняя, SPF-запрос к зоне google.com даёт нам следующие диапазоны IP-адресов:
| Диапазон IP-адресов | Всего адресов | Используется | Лог-файлы результатов сканирования |
| 216.239.32.0/19 | 8190 | 135 | 216.239.32.0.txt |
| 64.233.160.0/19 | 8190 | 46 | 64.233.160.0.txt |
| 66.249.80.0/20 | 4094 | 1437 | 66.249.80.0.txt |
| 72.14.192.0/18 | 16382 | 3415 | 72.14.192.0.txt |
| 209.85.128.0/17 | 32766 | 3505 | 209.85.128.0.txt |
| 66.102.0.0/20 | 4094 | 9 | 66.102.0.0.txt |
| 74.125.0.0/16 | 65634 | 17742 | 74.125.0.0.txt |
| 64.18.0.0/20 | 4094 | 1716 | 64.18.0.0.txt |
| 207.126.144.0/20 | 4094 | 585 | 207.126.144.0.txt |
| 173.194.0.0/16 | 65634 | 16434 | 173.194.0.0.txt |
| Итого: | 213174 | 45024 |
Конечно, было бы несправедливо сравнивать крупнейшую интернациональную корпорацию Google стоимостью более 71,7 млрд. долларов (на 2012 год) и российское ООО «Яндекс», известное почти исключительно лишь русскоязычным пользователям. Проведём проверку почтовой службы ещё одного российского поисковика Mail.ru
Диапазон IP-адресов хостинга почты Mail.ru
Диапазон адресов, заявленных этим поисковиком в зоне SPF для своего хостинга почты:
Результат поиска действующих на них SMTP-серверов:
| Диапазон IP-адресов | Всего адресов | Используется | Лог-файлы результатов сканирования |
| 94.100.176.0/20 | 4096 | 2272 | 94.100.176.0.txt |
| 217.69.128.0/20 | 4096 | 1811 | 217.69.128.0.txt |
| 128.140.168.0/21 | 2048 | 792 | 128.140.168.0.txt |
| 195.218.168.66 | 1 | 0 | 195.218.168.66.txt |
| 188.93.58.0/24 | 256 | 51 | 188.93.58.0.txt |
| 185.5.136.0/22 | 1024 | 524 | 185.5.136.0.txt |
| 89.184.66.210 | 1 | 0 | 89.184.66.210.txt |
| 89.184.66.211 | 1 | 0 | 89.184.66.211.txt |
| Итого: | 11523 | 5450 |
Подведём итоги
Эффективность использования IP-адресов хостингами почты:
| Хостинг почты | Всего IP-адресов для SMTP | Используется | Коэффициент использования IP-адресов | Количество пользователей | Пользователей на действующий IP-адрес |
| Gmail | 213174 | 45024 | 0,21 | 425 млн. | 9439 |
| Mail.ru | 11523 | 5450 | 0,47 | 42,7 млн. | 7835 |
| Яндекс почта | 3088 | 1511 | 0,49 | 25,1 млн. | 16612 |
Полученные данные неутешительны — российские поисковики не используют и половины заявленных ими для целей хостинга почты адресов. Но мировой гигант Gmail переплюнул даже такой результат, у него действительно функционирует лишь пятая часть адресов.
Выходит, IP-адресов тот же Яндекс в своё время зарегистрировал на себя явно больше, чем ему нужно для предоставления нехарактерных для поискового сервиса услуг электронной почты. В чём вполне открыто расписался, указав их в своей SPF-записи.
Также, сравнивая количество IP-адресов, используемых почтовыми сервисами в расчёте на каждого своего пользователя можем определить степень нагрузки на каждый IP-адрес. У хостинга почты Яндекса на один почтовый IP-адрес приходится более 16 тыс. пользователей, что более чем в 2 раза больше чем у Mail.ru и в 1,7 раза чем у Gmail. Очевидно, что кратное превышение этого показателя не может не сказаться негативно на качестве и надёжности обслуживания пользователей этого почтового хостинга.
Между тем в условиях тотальной нехватки IP-адресов версии 4 оператор адресного пространства Европы RIPE вовсе прекратил выдачу заявителям новых диапазонов так как их попросту нет, они исчерпаны. В ARIN (American Registry for Internet Numbers), обслуживающей Серверную Америку, дела обстоят иначе, там свободные сети IPv4 ещё остались и продолжают выдаваться заявителям. Возможно поэтому Google всё ещё может позволить себе владеть таким гигантским количеством неиспользуемых IP-адресов выделенных только для хостинга почты Gmail — почти 170 тысяч! А вот регистратору RIPE для решения проблемы нехватки IP-адресов в Европе (и России в том числе), возможно, следует задуматься об отзыве неиспользуемых IP-адресов у операторов, которые загружают их лишь наполовину и явно не знают чем занять оставшуюся.
Не подскажете диапазоны IP-адресов Яндекса, Вконтакте, Одноклассников и Мейл.ру?
Салют. Не хочу вызвать лишнего негодования своим вопросом, но я из Украины, и у нас тут недавно начали закручивать гайки на манер Роскомнадзора.
Поднял себе, само собой, VPN, но сейчас заворачиваю полностью весь трафик, а мне это не нравится, да и не бесконечный он на VPS-ке. Собственно, ищу сабж, чтобы как-то адекватно разрулить перенаправление трафика на заблокированные хосты)
Просьба посты о политике удерживать внутри себя, или испражнять их в соответствующем месте.
Вот сразу для конфига openvpn 🙂
Обратите внимание, ipv6 у меня закомментировано.
nslookup, dig, drill
А кто вам сказал, что украинские блокировщики знают сами все адреса,
тем более, что эти адреса могут появлять новые, удаляться старые время от времени.
А кто вам сказал что они заблокировали корректно, что ничего не забыли,
что не заблокировали лишнего по ошибке.
Я бы по факту конкретных выявленных вами блокировок смотрел.
То есть индивидуально по каждой ситуации.
Денис Акимкин:
Это я перепутал тоже.
Все написанное мною относится к Роскомнадзору.
Они не блокируют, они не решают.
Они всего лишь контролируют чужие решения (решения принимают законодательная и судебная власть) выполняемые другими исполнителями (провайдерами)
То есть именно гайки закручивает не Роскомнадзор.
Так полный proxy/VPN решает проблему в корне.
Вам не нужно заморачиваться с отдельными адресами.
Тем более что сбои с отдельными адресами могут быть и по причине чисто технических временных проблем.
в любом случае же каким-то образом они фиксируются. или Вы считаете, что кто-то просто так заберет у гугла 8.8.8.8, например?
Почему обязательно заберет?
У тебя есть 100 адресов.
На внешние сервера ты выставил 50 адресов.
По мере роста нагрузки добавил еще 10 новых серверов и 10 новых адресов для них
По мере выхода серверов из строя убрал 2 старых адреса, починил сервера, через неделю возвратил в строй эти 2 адреса.
Это постоянно происходит.
«Фиксируются» через DHCP/DDNS. Такие высоконагруженные сервисы часто используют CDN, а эти вообще могут подниматься по мере необходимости. Я подозреваю что блокировка идет не на уровне IP, а на уровне автономных систем BGP.
Впрочем со своим сервером какое-то время может работать.
Собирать адреса с бы начал с DNS/EMail/WWW ip, потом через whois выяснил бы подсети
BTW А что статью за обход запретов разве не ввели?
правильно. но ведь у тебя конечный список этих адресов. или, скорее всего, подсетей.
Даже Тор вскрывается. Подложными серверами.
А простая точка-точка легко сечется с помощью синхронности. Статья была на Хабре:
1. Чел ломал банк в своем городе. Естественно через внешний VPS, недоступный местным безопасникам.
Другое дело, что никому этого не нужно. Ведь технические возможности не позволяют сделать запросто. Поэтому по факту никто не будет ловить.
