Обычно, мы говорим о том, как лучше и быстрее проиндексировать страницы в поисковых системах. Сегодня, мы поговорим о том, как скрыть страницы от поисковых роботов, чтобы те не появлялись в Гугл и Яндекс выдачах.
Давайте сначала решим, какие страницы стоит скрыть от поисковых роботов. Страницы с конфиденциальной информацией, и те страницы, где присутствуют личные данные человека, и конечно административную панель сайта. От поиска можно закрыть сайт целиком. Если вы не супер секретный агент 007, размещающий секретные документы для своих коллег по закрытому доступу, то Вам не к чему закрывать сайт от поисковых роботов целиком.
Поисковые роботы – это программа Google и Yandex, которые регулярно заходят на ваш сайт и сканируют содержимое Вашего сайта, чтобы проверить, есть ли у Вас новые материалы для публикации в поисковых системах.
Как скрыть страницу от поисковых систем?
Правила индексации страниц, задается в файле robot.txt, который находится в корневом каталоге файлов вашего сайта, если же его нет, то можно создать файл на обычном блокноте Windows. Прежде чем манипулировать данным файлом, Вам стоит лучше изучить правила внесения изменении в данный файл, чтобы случайно не закрыть от поисковых роботов те страницы, которые приносит Вам клиентов и следовательно - доход. Конечно, эту работу лучше всего доверить SEO специалисту, но если вы хотите сами разобраться, то обязательно прочтите, что такое robot.txt, и за что отвечает данный файл. Благо, в интернете куча инструкции по созданию и редактированию файла robot.txt. Уверен, вы найдете и разберетесь как с ним работать, но будьте бдительны и не закрывайте нужны страницы, иначе рискуете потерять страницы, которые приносит Вам доход.