Увеличиваем скорость индексации сайта

Большую часть посетителей сайта получают через поисковые системы. Для того, чтобы ресурс отображался в поисковой выдаче необходимо перед этим пройти индексацию. Она представляет собой процесс сканирования каждого раздела сервиса и добавления его в специальную базу поисковых систем. Без этого сайт попросту не будет выдаваться в поисковой выдаче, ведь система его не знает. Поэтому и посетителей новых отсюда не добавится.

 

Бывают случаи, что для индексации у ресурса открыто слишком много ненужных страниц — служебные, продублированные и т.д. Тогда не только скорость индексации существенно снижается, но и ранжирование сайта существенно ухудшается. Это объясняется тем, что система видит много ненужной и бесполезной информации на сайте и не выдает его в ТОП выдачи. Изменить ситуацию не сложно. Достаточно спрятать бесполезные страницы. Сделать это можно двумя методами — запретить индексацию, а также склеить страницы.

Способ первый — запрещение индексации

 Есть два варианта — это сделать:

1. Посредством директивы Disallow. В текстовом файле robots.txt. Специальная директива User-agent позволяет указать нужную поисковую систему или все разом и выставить запрет на просмотр определенных страниц.
2. Посредством noindex. Для этого выбираем директиву content мета тега robots.

Директива Disallow помогает не растрачивать краулинговый бюджет. В отличие от функции noindex. Здесь папки будут скачаны и лишь потом робот узнает, что не нужно их открывать. Поэтому для экономии краулингового бюджета лучше отдать предпочтение первому варианту. Но второй пригодится в ситуации, когда на страницах с запретом есть ссылки на другие разделы сайта, которые должны быть проиндексированы. Здесь есть ещё одна директива, которая разрешает переходить по ссылкам на запрещенных страницах. Поэтому если есть внутренние ссылки, целесообразно выбрать второй вариант.

Склеивание — особенности, как производится и влияет на индексацию

При склейке страниц такие нетекстовые параметры от присоединяемой страницы будут прибавляться к параметрам другой страницы. А при запрете любым из вышеперечисленных способов, такое содержимое теряется. Поэтому, если те страницы, которые вы хотите спрятать имеют полезные параметры, положительно отражающиеся на ранжировании, то лучше выбирать склеивание. Для этого используется три метода:

1. Если у склеиваемых страниц совпадает наполнение, то процесс осуществляется посредством редиректа 301. Он показывает, что страница была перемещена.
2. Можно воспользоваться директивой Clean-param, которая находится в файле robots.txt. Данный способ предназначен для адресов, имеющих динамические параметры.
3. Можно также воспользоваться атрибутом rel, выбираем значение” canonical” элемента <link>.

Вывод

Чтобы индексацию сайт прошел успешно можно запретить лишние страницы. Если они содержат ссылки, поведенческие файлы и прочее, то отдаем предпочтение склеиванию. Способ выбираем в зависимости от особенностей своего ресурса.