Статьи

robots.txt: стандарт, расширения, аспекты применения

robots.txt — маленький текстовый файл, способный остановить самых больших роботов
С помощью нескольких простых правил, записанных в обычном текстовой файле, вебмастер может запретить доступ поисковым роботам к отдельным документам, части сайта или сайту полностью.
Подробнее

RSS в продвижении сайта

Сейчас можно сказать, что термин «RSS» уже прочно вошел в нашу повседневную жизнь. Никто не удивляется иконкам с надписями «RSS 2.0», ссылкам Feed, многие успешно пользуются программами агрегаторами и встроенной функциональностью Mozilla FireFox и Opera. Что же на самом деле означает эта звучная аббревиатура? Как RSS-потоки могут помочь в продвижении сайтов и сервисов?
Подробнее

Как склеить зеркала сайта

В случае неправильной склейки зеркал, позиции страниц сайта в результатах поиска могут значительно ухудшиться, поскольку неправильно будут учитываться внешние ссылки, а если зеркала не склеены, то ссылки будут учитываться для каждого адреса отдельно. В этом случае надо инициировать процесс переезда, несмотря на то, что в действительности сайт существует в одном экземпляре.
Подробнее

Что такое клоакинг

Клоакинг — это методика отображения роботу поисковой системы оптимизированной страницы, в отличие от страницы, которую увидит обычный пользователь. Иногда страницы делают не просто оптимизированными, а в корне отличными от оригинальной.

Глава для книги по оптимизации от «Ашманов и Партнеры»
Подробнее

Составление файла robots.txt

Как известно, файл robots.txt используется для запрета индексации части или всего сайта всевозможными роботами. Правильное составление этого файла позволит избежать индексации документов, для индексации не предназначенных.
Подробнее