Статьи

robots.txt: стандарт, расширения, аспекты применения

robots.txt — маленький текстовый файл, способный остановить самых больших роботов
С помощью нескольких простых правил, записанных в обычном текстовой файле, вебмастер может запретить доступ поисковым роботам к отдельным документам, части сайта или сайту полностью.
Подробнее

Технические аспекты в поисковой оптимизации

Работы по поисковому продвижению или оптимизации сайтов делятся на два этапа:

1. Работа с внутренними факторами
2. Работа с внешними факторами

Работа с внешними факторами — это, в первую очередь, работа с внешними ссылками на сайт, которые влияют на такие факторы ранжирования, как Google PageRank^™, Яндекс вИЦ, тИЦ. Часто при этом не уделяется должного внимания «внутренним» факторам и техническим аспектам функционирования сайта.
Подробнее

RSS в продвижении сайта

Сейчас можно сказать, что термин «RSS» уже прочно вошел в нашу повседневную жизнь. Никто не удивляется иконкам с надписями «RSS 2.0», ссылкам Feed, многие успешно пользуются программами агрегаторами и встроенной функциональностью Mozilla FireFox и Opera. Что же на самом деле означает эта звучная аббревиатура? Как RSS-потоки могут помочь в продвижении сайтов и сервисов?
Подробнее

Два переезда равны одному пожару? Исправляем кривые зеркала

В случае неправильной склейки зеркал, позиции страниц сайта в результатах поиска могут значительно ухудшиться, поскольку неправильно будут учитываться внешние ссылки, а если зеркала не склеены, то ссылки будут учитываться для каждого адреса отдельно. В этом случае надо инициировать процесс переезда, несмотря на то, что в действительности сайт существует в одном экземпляре.
Подробнее

Что такое клоакинг

Клоакинг — это методика отображения роботу поисковой системы оптимизированной страницы, в отличие от страницы, которую увидит обычный пользователь. Иногда страницы делают не просто оптимизированными, а в корне отличными от оригинальной.

Глава для книги по оптимизации от «Ашманов и Партнеры»
Подробнее

Составление файла robots.txt

Как известно, файл robots.txt используется для запрета индексации части или всего сайта всевозможными роботами. Правильное составление этого файла позволит избежать индексации документов, для индексации не предназначенных.
Подробнее