ROBOTS.TXT – зачем он нужен, смысл файла

Сам часто забываю ключевой смысл файла robots.txt, поэтому решил запостить сюда эту мысль.

Файл robots.txt  ВСЕГО ЛИШЬ направляет робота индексации и все.

То есть, страницы могут попасть в индексацию другими различными способами – внутренней перелинковкой, похожие статьи, сайтмап и все такое.

Поэтому, если нужно именно УДАЛИТЬ некоторые страницы из индекса, то нужно в вебмастере постаавить их на удаление, а не просто запретить их в роботсе.

 

5 1 голос
Рейтинг статьи
Вы уже голосовали

Читайте также:

Подписаться
Уведомить о
guest
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии