как узнать страницы проиндексированные в гугле

Как узнать количество проиндексированных страниц в Гугле

От автора

Важно следить за количеством проиндексированных страниц сайта. Резкий рост и резкое снижение страниц в индексе, означает, что на сайте существуют проблемы или ошибки которые решать и исправлять.

Способы узнать количество проиндексированных страниц в Гугле

Способ 1. Search Console

Чтобы следить за всеми показателями сайта в поиске Google, нужно зарегистрировать сайт Search Console, – сервисе для комплексного анализа показателей сайта в поиске Гугле.

После регистрации, подтверждении прав на сайт и выполнении необходимых настроек, сервис должен набрать статистику по сайту, в том числе показать, сколько страниц есть в индексе Гугле.

Посмотреть количество и их список можно на вкладке Индекс Google>>>Статус Индексирования.

На диаграмме страницы сервис покажет динамику индексации страниц за год в двух вариантах: Только основные и Расширенные данные.

Основные данные показывают количество страниц в индексе и график индексации по месяцам за год.

Расширенные данные покажут, сколько страниц закрыты от сканирования в файле robots.txt, и сколько страниц вы сами удалили из индекса за текущий год.

Важно! Резкое снижение и резкое увеличение страниц в индексе Гугле, не связанное с вашими действиями на сайте, может говорить о проблемах.

Например, резкое увеличение может говорить о взломе сайта, автоматическим созданием контента, большим количеством дублей. Резкое снижение, говорит, о невозможности Гугле сканировать часть вашего контента или санкциях наложенных новым алгоритмом.

Как говорит сам Google в своих рекомендациях:

Стремитесь к стабильным показателем роста страниц в индексе. Стабильный рост просканированных и проиндексированных страниц сайта говорит, что Гугле регулярно получает доступ к содержанию и индексирует ваш ресурс.

Информация Search Console доступна только после подтверждения прав на сайт, а значит, не всегда доступна и не может использоваться для анализа сайтов конкурентов.

Как в этом случае узнать количество проиндексированных страниц в Гугле?

Способ 2. Язык запросов

Общее количество (приблизительное) проиндексированных страниц сайта можно получить сразу в выдаче Google, сделав такие запросы:

, в которых example.ru нужно поменять на свой домен. Без пробелов.

Нажав на кнопку «настройки» внизу поиска можно посмотреть, какие страницы поисковик проиндексировал за час, 24 часа, неделю, месяц.

Второй способ не очень корректный и дает выдачу со всеми страницами, где есть ваш сайт. Включая соцсети, сервисы проверок и т.д. Более точную информацию по количеству проиндексированных страниц в Гугле может дать одно из специальных расширений браузера.

Способ 3. Расширения для браузера

Приведу один пример такого расширения. Оно дает подробную информацию о состоянии сайта с точки зрения оптимизации и индекса. Это расширений под названием «RDS bar».

Это расширение для браузеров, в один клик покажет сколько на любом сайте проиндексировано страниц.

Примечание: расширение RDS я показал для примера. Есть аналогичные, такие же мощные расширения и расширения менее функциональные, которые помогут быстро посмотреть индекс сайта и не только в Гугле. Например, SEO Quake ( https://www.seoquake.com/index.html ).

Это полезно

Если вам нужно моментально узнать есть ли домен или отдельная страница в индексе, используйте Букмарклеты —Java Script программы, оформленные в виде «javascript:URL», сохраняемая как закладка браузера.

Имея такой букмарклер, вы моментально посмотрите есть открытая страница сайта в Индексе.

Вот «буки» от Netpeak: http://img.netpeak.net/melik/index-check.html?_ga=2.163131836.1475269850.1519456507-549606374.1519456507

Их нужно положить в панель закладок вашего браузера и нажать на открытой странице сайта.

Вывод

Каждый веб мастер выбирает инструменты под себя и для выполнения своих задач. Однако надеюсь, что эта статья была полезна, и вы без труда узнать количество проиндексированных страниц в Гугле вашего сайта и сайта ваших конкурентов.

Похожее

2 ответа на “Как узнать количество проиндексированных страниц в Гугле”

От какого года эта статья… уже список разделов в Google Search console давно поменялся, нет там уже давно никакого «Индекс Google>>>Статус Индексирования».

Всё меняется, однако теперь есть вкладка «Эффективность», где очень похожая и более расширенная информация.

Добавить комментарий Отменить ответ

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

Источник

Как быстро проверить индексацию сайта в Google и Яндекс

Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описала в этом посте способы, которые чаще всего используют SEO-специалисты.

При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.

Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.

1. Проверьте индексацию сайта в консоли вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта.

Google. Необходимо зайти в Search Console и на вкладке «Обзор» выбрать график «Покрытие»:

Читайте также: майнеры под mac os

Зеленым цветом на графике отмечается количество страниц в индексе без ошибок, красным — с ошибками. Перейдя на вкладку «Покрытие», можно детально посмотреть: какие ошибки возникли при индексировании данных страниц и когда они были обнаружены.

Отдельно можно проверить есть ли в индексе конкретная страница. Для этого нужно только вставить интересующий вас URL в строку поиска:

Если все хорошо, вы увидите такое сообщение:

Если страница еще не в индексе сайта, вы увидите такое сообщение:

Если вы внесли изменения в страницу, на которой раньше были ошибки, ее можно отправить на переиндексацию с помощью кнопки «Запросить индексирование»:

После отправки запроса вы увидите сообщение:

Также с помощью этой кнопки можно самостоятельно отправить новые страницы в очередь на индексацию.

Яндекс. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц без ошибок растет, и они добавляются в индекс.

Проблемы с индексацией выглядят так:

На скриншоте — сайт, закрытый от индексации в файле robots.txt

2. Используйте операторы поисковых запросов

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.

Например, сайт cubing.com.ua находится под фильтром АГС.

С помощью дополнительных инструментов поисковых систем можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

Также можно проверить индексацию и вид в поиске одной отдельной страницы с помощью оператора site: или просто добавив нужный вам URL в поисковую строку:

Если поисковые платформы наложили на сайт или страницу санкции и фильтры, то ссылка может не отобразиться. Тогда надежнее будет использовать специальные операторы. Для Google это оператор inurl:. Запрос будет таким:

Для Яндекса это оператор url:. Запрос будет выглядеть так:

Если страница показывается в выдаче, значит она проиндексирована, а если поиск выдал пустой результат — страницы в индексе нет.

3. Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В этом случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать.

Плагин Seo Magic также показывает количество страниц в индексе Яндекса и Google, при нажатии на интересующую цифру — откроет выдачу поисковой системы. Кроме этого, плагин показывает и другую полезную информацию:

Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.

4. Установите сервисы для проверки индексации

Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете список страниц и много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Существует огромное количество бесплатных сервисов для проверки индексации. На мой взгляд, самые удобные и популярные:

Также похожий инструмент существует в сервисах Топвизор и SeRanking, но при использовании платного тарифного плана.

Почему не индексируется сайт

1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров и файл robots.txt.

3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:

5. Ошибка с X-Robot-Tag. X-Robots-Tag — HTTP-заголовок, но, в отличие от метатега robots, он находится не на странице, а непосредственно в файле конфигурации сервера. Вебмастера могут закрыть сайт, внося изменения или запуская тестовую версию, а потом забыть его удалить. Проверить, закрыт ли ваш сайт с помощью X-Robots-Tag, можно в Netpeak Spider или в консоли разработчика:

6. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для сканирования сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от сканирования, если вы видите у себя в robots.txt эту конструкцию:

Как ускорить индексацию сайта

Поисковый робот обходит ограниченное количество страниц за раз, в зависимости от размера краулингового бюджета. Но всем хочется, чтобы новые статьи, товары и категории как можно скорее попали в поисковую выдачу и начали приводить посетителей на сайт.

Страницы можно отправить на индексацию принудительно, но есть еще несколько методов для ускорения индексации сайта.

Все новые страницы должны автоматически попадать в карту сайта (sitemap). Благодаря этому файлу роботы лучше понимают структуру сайта и видят все страницы, которые необходимо посетить. Кроме того, в карте сайта можно указать приоритетность и частоту посещения страницы роботом.

Дубли страниц и неуникальный контент — враги индексации, так как они расходуют на себя краулинговый бюджет, и робот просто не доходит до нужных вам страниц. Необходимо следить, чтобы таких страниц на сайте не было.

Большое количество битых страниц, и внутренних редиректов также расходуют краулинговый бюджет. Робот попадает на нерабочие страницы или посещает те, на которых уже был из-за редиректа и не успевает просканировать новые, нужные страницы. Необходимо контролировать, чтобы битых ссылок и ссылок на страницы с внутренними редиректами было как можно меньше, или не было вообще.

Несмотря на то, что файл robots.txt является только рекомендацией, а не четкой инструкцией для роботов, пренебрегать им не надо. Новые страницы должны быть открыты для сканирования и доступны для роботов.

Скорость загрузки страницы — весомый показатель качества сайта. Время ответа сервера не должно превышать 200 мс, а скорость загрузки страницы — 3-5 секунд. Для проверки скорости загрузки страницы используйте PageSpeed Insights и выполняйте предложенные там рекомендации по оптимизации скорости.

Качественная перелинковка не только распределяет внутренний вес со страниц и увеличивает время пребывания посетителя на сайте. По ссылкам в тексте (или блоках «Новинки», «Популярное») переходит и робот, таким образом быстрее добавляя страницы в индекс и обновляя их.

Для этого же необходимо добавлять ссылку на новый материал, товар или категорию на главную страницу сайта: так их быстрее заметят и пользователи, и поисковые «пауки».

Влияние соцсетей на продвижение — спорный вопрос, но благодаря внешней ссылке на новую страницу начнут переходить пользователи, и это послужит для робота сигналом к индексации.

Важно, как часто вы добавляете на сайт новые товары, материалы и категории. Поисковые системы любят «живые» сайты. Поддерживайте актуальность сайта, публикуйте новый контент не реже раза в неделю; добавляйте ссылки на новые материалы в старых статьях; обновляйте информацию на сайте; настройте заголовки Last-Modified и If-Modified-Since или Etag и If-None-Match.

Источник

Проверка индексации сайта онлайн

Если вы хотите узнать, как можно онлайн проверить индексацию сайта в поисковых системах, то следующий материал вам очень пригодится. Способов существует много, но мы раскроем те, что используются вебмастерами чаще всего.

Проверка индексации страниц сайта через поиск

Термином «индексация сайта» обозначают добавление ресурса или его материалов в базу данных поисковой системы. То есть, если страницы сайта проиндексированы, то при введении поискового запроса они окажутся в общей выдаче. Это именно то, чего добиваются вебмастера – чтобы материалы Интернет-ресурсов как можно быстрее оказались проиндексированы.

Чтобы быть уверенными в том, добавлен ли сайт в поисковую базу, выполняется проверка индексации сайта в Яндексе, Гугле и других поисковых системах. Эту проверку можно выполнять как ручным способом, так и автоматически.

Рассмотрим, как проверить проиндексирован ли сайт, используя при этом поисковый запрос. Здесь возможно несколько вариантов:

Помимо использования поискового запроса, есть и другие способы проверки индексации сайта – более простые, быстрые и результативные.

Проверка индексации с помощью операторов URL и SITE

Пожалуй, этот способ является самым лучшим. Можно в адресную строку браузера или поиск ввести запрос и при необходимости нажимать F5, чтобы следить, как обновляется информация. В одном окне также можно ввести несколько запросов подряд, обновлять страницу или нажимать Назад/Вперед и отслеживать изменения.

Как узнать проиндексирован ли сайт в Яндекс? Для этого необходимо воспользоваться оператором URL. Данный сервис также используется для Bing и Рамблера.

Для проверки индексации в Google используется оператор SITE. Используется код site:site.ru, где site.ru – это адрес сайта, на котором расположена необходимая страница.

Также в адресную строку Яндекса можно ввести http://yandex.ru/yandsearch?serverurl= и далее адрес той страницы, которая вас интересует.

UPD: На данный момент рекомендуется использовать запрос типа https://yandex.ru/search/?text=url%3Awww.host.ru%2F*

Отметим, что этот способ подобен использованию расширенного поиска с тем лишь отличием, что в данном случае метод более автоматизирован и нет необходимости еще куда-то заходить. Следует знать о том, что иногда могут возникать некоторые неточности в поисковых системах, если в поиск вводится зеркало сайта. Но это, в принципе, теоретически.

Теперь нужно уточнить кое-какие вопросы относительно быстробота. В Яндексе он есть. Его задача заключается в том, чтобы как можно быстрее проиндексировать страницы. Он посещает сайты, отмечает новый контент и уходит. Через какое-то время за ним приходит основной поисковый бот, который и выполняет анализ, классифицирует и расставляет по своим местам материалы. Бывает, что быстробот проиндексирует, а Яндекс потом выбрасывает контент из индекса.

В поисковой выдаче возле каждой ссылки указывается время проведения индексации. Редко возможны случаи, когда какие бы способы проверки индексации сайта не применялись, а найти его не удается, но через какое-то время статья появляется в индексе и указано время ее индексации, скажем 18 часов назад.

Быстробота еще нужно привлечь. Он поначалу просто так не появится на сайте. Если он еще не посещает страницы ресурса, то индексация может затягиваться и недели на три.

Проверка индексации страниц сайта в Яндексе через AddURL

Еще один способ, позволяющий узнать, попал ли в индекс определенная страница сайта, можно воспользоваться инструментом AddURL. Например, проверим, проиндексировался ли сайт в Яндекс. Для этого в аддурилке данной системы поиска вводим интересующий нас адрес страницы. После этого все станет ясно. Если страница уже находится в индексе, то будет выведена надпись «Указанный URL уже проиндексирован». Ну, а если ссылка еще не появилась в индексе, то напишет приблизительно следующее: «Адрес такой-то успешно добавлен. Его индексация и добавление в поиск будут осуществлены по мере обхода робота». Все это правдиво лишь в том случае, если вы не установили запрет для индексации вашего сайта.

С помощью этого метода также можно понять, если вдруг есть запрет на индексацию robots.txt. В аддурилке обязательно будет написано, если ссылка является зеркалом или она запрещена. Но это работает только в поисковике Яндекс.

Данный метод – достаточно неплох, однако, придется тратить время на неоднократное введение капчи.

Используем панель Вебмастера

Каждая поисковая система имеет свою панель инструментов, специально предназначенную для вебмастеров. С помощью этой панели можно увидеть общее количество проиндексированных страниц. Рассмотрим на примере самых популярных ПС (Яндекс и Google), как выполнять такую проверку.

Чтобы использовать панель инструментов Яндекс в данном контексте, нужно завести аккаунт (если его еще нет), зайти в панель и добавить в нее свой сайт. Там будет показано общее количество страниц, которые уже проиндексированы.

Для использования панели инструментов Google также нужно обзавестись аккаунтом, чтобы иметь возможность зайти в панель. В нее нужно добавить свой сайт и зайти на вкладку «Состояние / Статус индексирования». Здесь также будет показано количество проиндексированных страниц.

Нередко можно заметить, что панель Вебмастера Google может показать значительно большее количество проиндексированных страниц, чем панель инструментов Яндекс. Представим, что на сайте 70 уникальных страниц, которые проиндексировались. И, скажем, Яндекс насчитал приблизительно такое количество ссылок, а Гугл, например, 210. Получается, что Яндекс показал правильное число, а Гугл в 3 раза больше. Так в чем же дело? А дело в дублях страниц, генерируемых движком WordPress. Такие дубли поисковикам не по душе. Использование robots.txt позволяет игнорировать индексацию дублей страниц поисковыми системами. И если на Яндекс это действует, то с Гуглом в этом плане могут возникать проблемы, так как он может действовать по своему усмотрению.

Есть также специальный сервис Pr-cy.ru, позволяющий получить вебмастерам различные данные по сайтам – в том числе, число страниц, проиндексированных в Гугле и Яндексе. Чтобы узнать эту информацию, нужно посмотреть на две нижние колонки соответствующих поисковых систем.

Что помогает ускорить индексацию сайта

Чтобы страницы быстрее индексировались, нужно придерживаться главных правил:

В материале мы рассмотрели основные способы, позволяющие проверить, попали ли страницы сайта в индекс различных поисковых систем. Некоторые из них более эффективные, а какие-то – менее, но каждый из них имеет право на существование и использование.