Индексация сайта поисковыми системами архиважна для Вашего сайта. Поисковые системы дают преимущественный поток посетителей, а значит нужно четко понимать, как сделать сделать индексацию сайта.
На самом деле, все, что связано с SEO в той или иной мере неоднозначно и имеет разные точки зрения. Я опишу те моменты, которые я считаю базовыми и которых я пытаюсь придерживаться.
Итак, основное, что нужно сделать — это:
1. Создать файл robots.txt
2. Создать файл sitemap.xml
3. Настроить 301 редирект на главное зеркало.
Теперь более детально:
Файл robots.txt помогает указать поисковым системам КАКОЕ содержимое и КАК им нужно индексировать.
Например, Вы можете сказать Яндексу (и только ему), что Вы не хотите, чтобы определенные страницы попали в индекс, при этом другие поисковые системы смогут читать эти страницы.
Типичный пример файла robots.txt:
User-agent: Yandex Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /themes/ Disallow: /rss/ Disallow: /*.js Disallow: /*.inc Disallow: /*.css Disallow: /*? Disallow: /*.gz Host: www.domen.ru User-agent: * Disallow: /cgi-bin/ Disallow: /*.gz Disallow: /rss/ Sitemap: http://www.domen.ru/sitemap.xml
Забегая наперед скажу, что в этом же файла мы указываем и ссылку на карту сайта (Sitemap) и параметры зеркал (Host) (так же отдельно для каждой поисковой системы).
Файл sitemap.xml содержит информацию о страницах, которые стоит индексировать.
Вот, например карта моего блога.
Как Вы видите, здесь находится список всех страниц сайта с указанием их приоритетности (помогает различать страницы по уровню их важности), датой последнего изменения и т.д. Вся эта информация помогает поисковым роботам, которые, за это со временем стают более доброжелательными к Вашему сайту, что, в свою очередь, положительно сказывается на времени индексации.
Путь к карте сайта лучше всего дополнительно указать в robots.txt в секции Sitemap.
Настройка редиректа на основное зеркало вопрос очень важный — так как для поисковых машин сайты http://onfor.info и http://www.onfor.info — это разные сущности. Соответственно они будут индексироваться отдельно, будет рассчитываться разный тИЦ и т.д.
Естественно это нам не нужно, поэтому надо с НЕ основного зеркала настроить 301 редирект на основное. Сделать это можно следующими строками в файле .htaccess
RewriteEngine On
RewriteCond %{HTTP_HOST} ^domen.ru
RewriteRule (.*) http://www.domen.ru/$1 [R=301,L]
Кроме этого, равно как и ссылку на Карту сайта, основное зеркало можно указывать в robots.txt отдельно для каждой поисковой системы.
Вот и все. В основных, самых простых моментах мы разобрались. Более детально о индексации и продвижении я буду писать в будущих статьях! Удачи!