Как найти и удалить дубли страниц на сайте Joomla

Как найти и удалить дубли страниц на сайте Joomla

Дубли страниц нередко становятся причиной АГС, но даже если и не приводят к фильтру, то создают серьёзный барьер на пути продвижения сайта, поэтому их надо своевременно найти и удалить.

Давайте коротко расскажем о вреде дублей и причинах их появления.

Если один и тот же web-документ доступен по разным интернет адресам, то это классические дубли страниц, которые могут, во-первых, восприниматься, как попытка искусственно увеличить объём документов для роста трафика или продажи ссылок, а, во-вторых, из-за них на сайте неправильно распределяется статический вес, что ведёт к ухудшению ранжирования некоторых запросов.

Дублироваться web-страницы могут на разных движках, но особенно этим грешит CMS Joomla, «родные» настройки которой далеко не идеальны.

Ищем дубли web-документов

Найти дублирующиеся страницы непросто на крупном сайте, так как просмотреть вручную индекс тысяч документов нереально, тем более что проиндексированные страницы надо отсортировать по названию (по title).

Здесь на помощь может придти специальный софт, который в десятки раз ускорит поиск дублей и поможет быстрее решить проблему.

Можно воспользоваться программой Henu, однако она не русифицирована и, по большому счёту, предназначена для других целей, поэтому находим в сети Net peak Spider и устанавливаем её на компьютер.

Этот софт пригодится и в дальнейшем, так как он кроме поиска дублирующихся документов поможет рассчитать предполагаемый PR страниц и покажет количество h1, title и Meta страниц.

Отдельно стоит отметить, что Net peak Spider бесплатна и для получения обновлений программу надо лишь зарегистрировать.

В верхнем окне после установки вводим url сайта и нажимаем «пуск» (настройки по умолчанию подойдут, потом при желании их можно расширить).

«Паук» выкачивает все документы сайта и теперь останется в правом окне выбрать тип сортировки «по title» и нажать «поиск дублей».

Теперь все одинаковые страницы, открывающиеся по разным адресам, видны нам как на ладони и остаётся только избавиться от этого наследия системы управления сайтом Joomla.

Удаляем дубли

В прямом смысле слова удалить дубли страниц Joomla или другой CMS нельзя, но избавиться от них можно. Что касается именно Joomla, то лучше всего установить плагин Shnodoubles, который устанавливает автоматически редирект 301 на основную навигационную страницу и все дубли клеятся на неё.

Если Вы установили этот плагин, то после начала его работы надо проверить сайт на битые ссылки, ибо неизвестно на какие страницы ставились внутренние ссылки. Однако одним плагином от всех дублей не избавишься и часто надо вносить правки в файлы htaccess и robots.txt. Так закрыть все страницы пагинации (динамические ссылки) можно с помощью директивы

Disallow: /*?* в файл robots,

А в случае необходимости ручной склейки в htaccess надо прописать в файл

Redirect 301 /старая страница.html http://сайт//новая страница.html,

При этом важно старый url указывать от корня, а новый приписать полностью.

Если дублируются web-документы с www и без, то это тоже плохо и надо клеить и тут через htaccess.

Вариантов избавления от дублей много и конкретный тип зависит от причины возникновения дублирующейся страницы, гораздо важнее найти все «лишние» документы, а избавиться от них проще, тем более, если держать в голове, что это может предотвратить фильтры (в том числе АГС) и сделает продвижение сайта более динамичным.

Сохраните, чтобы не потерять!

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *