Зачем нужен файл robots.txt?

Здравствуйте друзья. Давайте разберем несколько моментов, касающихся нашего файла robots.txt, зачем он нужен и как его использовать в жизни.

Согласитесь, что не редкость, когда мы смотрим с помощью каких-либо сервисов, сколько и какие страницы присутствуют у нас в индексе, то часто можем увидеть такие проиндексированные страницы сайта, которые не должны быть проиндексированы. Например: дублирующие страницы, админка блога, какие-либо отдельные статьи.

Но давайте немного вернемся назад к robots.txt. Что же из себя представляет robots.txt? Все очень просто, это совсем маленький по объему текстовый файл, который мы помещаем в корневую папку нашего сайта. Но вместе с тем, он играет чрезвычайно большую роль в жизни нашего сайта (блога), поскольку он создается для информирования поисковых ботов, которые часто посещают наше детище в поисках новых статей и проверке изменившихся старых, о том, какие страницы и записи необходимо оставить в индексе, а какие страницы запрещены к индексации.

Следующие пункты являются основопологающими в любом robots:

  • User-agent: *
  • Disallow:
  • Host: webdot.uz

Где:

User-agent – это параметр применяется для обозначения имение поискового робота. К примеру, для yandex’а это будет выглядеть следующим образом: “User-agent: Yandex“. Ну а если Вы хотите назначить правила сразу для всех роботов, то следует написать так: ” User-agent: * ”.

Disallow: – Этот параметр, как раз и обозначает запрещающие правила для поисковых ботов. Здесь мы должны вписывать те разделы нашего сайта, которые мы хотим закрыть от индексации ботами. К примеру, если мы хотим закрыть от индексации такую страницу: “цена на удаление зубов на сайте “, то нужно прописать после пункта Disallow, полный путь данной страницы или статьи. Также если мы хотим скрыть нашу админку от ботов, то это должно выглядеть следующим образом: ”Disallow: /wp-admin/“, это как раз и будет означать, что наш robots.txt, закроет ход ботам в раздел админ-панели.

ВАЖНО! Не забывайте, что каждый путь запрещенный для индекса, должен располагаться с новой строки:

Disallow: …

Disallow: …

Для того, чтобы узнать какие же страницы нашего сайта нужно вписать в robots.txt, чтобы скрыть их от поисковых ботов, необходимо в поиске Yandex’а, к примеру, и ввести свое доменное имя, после чего из появившегося списка страниц, которые в данный момент находятся в индексе Yandex’а, отобрать те, которые не несут никакой смысловой нагрузки.

Вот таки вот образом, мы предрасположим к лучшей индексации поисковых ботов к нашему сайту и избавимся в поисковой выдаче от ненужных и непонятных для пользователей страниц.

P.S. Задумали ремонт и решили поменять двери? Прекрасно! Не забудьте также оригинальные дверные ручки на сайте shop.modus.com.ua. Даже самый требовательный и изысканный заказчик сможет подобрать дверные ручки, какие придутся ему по нраву и точно впишутся в интерьер его дома!