Как сайт стартанет, так он дальше и будет продвигаться. Не важно, новый он или старый, у обоих всегда есть одна и та же проблема – плохая индексация.
SEO-оптимизатор может быть очень хорошим, он может стараться продвигать сайт, писать хороший контент, делать перелинковку, закупать ссылки, отзывы и комментарии, проводить кучу работы, но без результата. А эффекта от продвижения не будет до тех пор, пока все правки не проиндексируются и не отранжируются.
Будем разбираться с этой проблемой на примере недавно созданного сайта обучающего центра. Чтобы началось ранжирование, надо заставить страницы проиндексироваться. Для этого нужно добавить URL сайта в вебмастера Яндекса, Google, Mail.ru, Bing. Но перед этим, очень важно привязать SSL-сертификат, подготовить и залить на FTP файлы sitemap.xml, а также прописать их в robots.txt.
Подготовительные работы
SSL-сертификат
Обязательно перед добавлением сайта в вебмастера нужно подвязать SSL-сертификат. Делается это через заявку-обращение в хостинг или вручную, туториалов полно.
Есть магазины, где можно купить SSL и подвязать его к сайту на 3 года, 5 или 10 лет. С большей вероятностью, обойдется он дешевле, поскольку хостинг приобретает сертификаты точно также, но продает их вам в 3 раза дороже.
Есть и бесплатные SSL-сертификаты. Они подходят для информационных сайтов, блогов и некоторых типов магазинов.
Создание и добавление карт сайта
Чтобы нормально проводить работу по своему сайту, надо сделать две вещи:
- Собрать карту сайта. Это можно сделать тремя способами:
- поставить плагины, если ваша CMS автоматически этого не делает,
- воспользоваться сторонним сервисом,
- самый простой вариант — это собрать все ссылки сайта в текстовый файлик.
- Залить ее на FTP, добавить в Robots и Вебмастера.
Желательно сделать 3 типовых карты:
- Содержит все страницы сайта,
- Включает в себя информационные страницы,
- Создается для самых приоритетных страниц и категорий.
Все три карты сайта должны быть добавлены в веб-мастера и в robots.txt, чтобы в дальнейшем уже можно было с ними что-то делать.

robots.txt
Чтобы сайт начал хорошо индексироваться, в файле robots.txt укажем все карты сайта, которые были созданы. Стандартно прописывается лишь одна – основная. Роботс обходится поисковиками регулярно и длинную карту считывать ему тяжелее, нежели несколько маленьких. Поэтому целесообразно дополнить файл, что будет гарантировать скорейшую индексацию сайта.
Важно, чтобы в файле не был прописан запрет на индексацию сайта.

Добавление сайта в вебмастера
Когда https, добавляем сайт в вебмастера Bing, Google, Mail.ru, Яндекс.
Давайте добавим сайт, для начала, в Яндекс Вебмастер. Вылезает окошко с предложением верификации. В большинстве случаев удобнее использовать файл, который можно быстро скачать. После этого закидываем его в корневую папку своего сайта через FTP и в окне вебмастера нажимаем кнопку «Проверить».

Доступ к FTP можно получить у хостинга, либо воспользоваться внутренним файловым менеджером хостера. Для некоторых CMS (Bitrix, Modx, WordPress, Joomla, Drupal) есть специальные плагины, позволяющие работать с ФТП прямо из админки.
Принцип добавления сайта в вебмастера Mail.ru, Bing и Google одинаков – скачиваем файл и размещаем его в корневой папке.
Корневая папка
Как определить вообще где у вас корневая папка? По умолчанию она может быть названа:
- в соответствии с доменом сайта,
- public_HTML,
- www,
- если видите в папке файлы robots.txt, .htaccess, sitemap.xml, то это она.
Чтобы проверить, создаете текстовый файлик, например, 1.txt. Пишите там любое слово. Загружаете в предполагаемую корневую папку. В поисковой строке вводите домен/1.txt (или как назвали файл). Если все правильно, то откроется страница с тем словом, которое вы написали в файле. Значит ваше предположение было верно. Если же ничего не открывается, значит файл находится не там.
Что делать если уже добавлен сайт http, а теперь https?
Дело в том, что для поиска URL-ы с http и https воспринимаются как два разных адреса. Тоже относится и к ресурсам с www и без. Поисковые системы воспринимают такие копии – зеркала сайтов по отдельности, т.е. в выдаче они будут участвовать независимо друг от друга. Чтобы исправить эту проблему, необходимо сообщить вебмастерам, какое зеркало главное. Обычно, оно имеет вид: https://домен
Процесс склейки зеркал в вебмастерах, имеет одни и те же действия, которые отличаются очередностью. Чтобы сайт индексировался правильно в той или иной поисковой системе, важно ее соблюдать. Сначала, добавим оба зеркала в Яндекс и Гугл.
Настроим переезд сайта в Google Search Console. Во вкладке «Настройки» есть специальная функция «Изменение адреса», отвечающая за переезд сайта со старого домена на новый. В настройках неглавного зеркала, в поле «Выбрать новый сайт», вводим URL главного.
НО! Обязательно, перед внесением информации в вебмастер Гугл, следует прописать Redirect 301. Только тогда система учтет изменения. В Яндексе и Bing – наоборот. Сначала указываем системам на главное зеркало, и только потом прописываем редирект.
В Яндексе, переходим в «Индексирование», затем «Переезд сайта». Вводим домен и ставим галочку напротив «Добавить HTTPS» и сохраняем. Изменение главного зеркала может занять несколько недель.
Настройка индексации сайта в вебмастерах Microsoft Bing, Google Search Console, Яндекс Вебмастер.
Вебмастер Microsoft Bing
В вебмастере Microsoft Bing открываем раздел «Карты веб-сайтов» и нажимаем кнопку «Отправить карту веб-сайта». В открывшемся окне, в поле, добавляем ссылку на Sitemap, которую мы создали. Например, домен/sitmap.xml или домен/1.txt. Нажимаем «Отправить». Таким образом добавляем по очереди все карты, которые есть в корневой папке.

После этого переходим в раздел «Отправить URL-адреса» и нажимаем соответствующую кнопку вверху справа. Откроется окно ввода. Туда добавляем 10 ссылок на приоритетные для продвижения страницы и нажимаем «Отправить».

Рассмотрим функции, которые могут вам пригодиться:
- Site Explorer — это робот, который обходит весь сайт.
- Раздел «SEO» включает в себя полезные функции: «Обратные ссылки», «Ключевые запросы», «SEO-отчеты». Также здесь можно запустить «Сканирование сайта» под определенное количество страниц, которые робот автоматически соберет и отправит на переиндексацию.
Google Search Console
Алгоритм действия такой же, как и в Bing. Сначала добавляем карты сайта в разделе «Файлы Sitemap». Для этого в поле вводим название файла и нажимаем кнопку «Отправить».
В блоке «Файлы Sitemap на проверке» будет представлен список со статусом добавления. При отрицательном статусе попробуйте перезагрузить страницу и добавить карту заново.

Следующие функции помогут проверить индексацию сайта в Гугле онлайн.
«Покрытие» отображает сведения о страницах, что позволяет проанализировать возникшие ошибки. Например, после сканирования сайта робот Гугла может обнаружить наличие страниц с дублирующимся контентом, созданных GET-запросами. Их необходимо скрыть от индексации в файле robots.txt. Однако, на первых этапах, когда вы только создали сайт, не нужно слишком увлекаться прописыванием исключений, иначе вы и зарубите себе нормальную индексацию.
«Эффективность» вы можете просмотреть запросы, количество показов и кликов, с какого устройства чаще посещают сайт.
Одна из полезнейших функций – «Проверка URL». В верхнее поле добавляются созданные или проработанные страницы и отправляется на переиндексацию. Минус заключается в том, что можно загружать только по одной ссылке, а не весь список сразу. Однако, Google индексирует быстрее, чем Bing и Яндекс. «Проверка URL» позволяет добавить и страницы карт сайта. Это немного улучшит процесс индексирования, что позволит быстрее войти в топ.

Яндекс Вебмастер
В «Сводке» ищем блок «Проблемы сайта».В нем сформирован перечень ошибок, обнаруженных Яндексом. Кликаем на него. Откроется страница с подробным описанием неполадок и рекомендациями по их устранению. При наличии критических ошибок, важно их устранить и отправить на перепроверку.

Возможные проблемы не считаются серьезными, на них можно не обращать внимание.
Основная работа с индексацией проводится в разделе «Индексирование» -> «Переобход страниц». Закидываем сюда URL основных категорий и нажимаем «Отправить». Рядом с кнопкой указывается дневной лимит ссылок, которые можно проиндексировать.

Ниже, в таблице «Отправленные страницы» представлен список адресов, статус, дата отправки и отслеживание. Обязательно выбираем «Отлеживать» для основных категорий, чтобы информация о всех изменениях приходила на почту. Так можно посмотреть и проверить индексацию сайта в Яндексе.Их также можно будет проанализировать в разделе «Мониторинг важных страниц».
Еще одним важным разделом является «Файлы Sitemap». Сюда добавляем все ссылки на карты сайта. Появится список адресов, напротив которых есть круглые стрелочки. Нажимаем на них, чтобы отправить на переобход.
Заключение
Это стандартный перечень работ перед продвижением сайта, который надо делать для быстрой индексации.
По ускорению процесса индексирования сайта есть отдельная статья. Основные моменты, которые помогут сайту быстрее продвинуться в поиске, это:
- Закупка внешних ссылок;
- Регистрация в каталогах и справочниках;
- Активное размещение тем на форумах;
- Социальные сети.
Также, всегда стараемся сделать мобильную версию нормальной и не забываем настроить все четыре вебмастера. Тогда поиск быстрее реагирует на изменение в сайте, а он в свою очередь активно растет.