WordPress. Как настроить и улучшить индексацию сайта?


Индексация сайта поисковыми системами архиважна для Вашего сайта. Поисковые системы дают преимущественный поток посетителей, а значит нужно четко понимать, как сделать сделать индексацию сайта.

На самом деле, все, что связано с SEO в той или иной мере неоднозначно и имеет разные точки зрения. Я опишу те моменты, которые я считаю базовыми и которых я пытаюсь придерживаться.

Итак, основное, что нужно сделать — это:
1. Создать файл robots.txt
2. Создать файл sitemap.xml
3. Настроить 301 редирект на главное зеркало.

Теперь более детально:
Файл robots.txt помогает указать поисковым системам КАКОЕ содержимое и КАК им нужно индексировать.

Например, Вы можете сказать Яндексу (и только ему), что Вы не хотите, чтобы определенные страницы попали в индекс, при этом другие поисковые системы смогут читать эти страницы.

Типичный пример файла robots.txt:

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /rss/
Disallow: /*.js
Disallow: /*.inc
Disallow: /*.css
Disallow: /*?
Disallow: /*.gz
Host: www.domen.ru

User-agent: *
Disallow: /cgi-bin/
Disallow: /*.gz
Disallow: /rss/

Sitemap: http://www.domen.ru/sitemap.xml

Забегая наперед скажу, что в этом же файла мы указываем и ссылку на карту сайта (Sitemap) и параметры зеркал (Host) (так же отдельно для каждой поисковой системы).

Файл sitemap.xml содержит информацию о страницах, которые стоит индексировать.
Вот, например карта моего блога.
Как Вы видите, здесь находится список всех страниц сайта с указанием их приоритетности (помогает различать страницы по уровню их важности), датой последнего изменения и т.д. Вся эта информация помогает поисковым роботам, которые, за это со временем стают более доброжелательными к Вашему сайту, что, в свою очередь, положительно сказывается на времени индексации.
Путь к карте сайта лучше всего дополнительно указать в robots.txt в секции Sitemap.

Настройка редиректа на основное зеркало вопрос очень важный — так как для поисковых машин сайты http://onfor.info и http://www.onfor.info — это разные сущности. Соответственно они будут индексироваться отдельно, будет рассчитываться разный тИЦ и т.д.
Естественно это нам не нужно, поэтому надо с НЕ основного зеркала настроить 301 редирект на основное. Сделать это можно следующими строками в файле .htaccess

RewriteEngine On
RewriteCond %{HTTP_HOST} ^domen.ru
RewriteRule (.*) http://www.domen.ru/$1 [R=301,L]

Кроме этого, равно как и ссылку на Карту сайта, основное зеркало можно указывать в robots.txt отдельно для каждой поисковой системы.

Вот и все. В основных, самых простых моментах мы разобрались. Более детально о индексации и продвижении я буду писать в будущих статьях! Удачи!

, ,

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *