Robots.txt – это самый главный файл на сайта, из всех, так как именно поисковые роботы начинают искать и сканировать именно этот файл. Именно файл robots.txt запрещает любому роботу заходить на разделы или отдельные статьи на вашем сайте.

Что представляет собой robots.txt?

Robots.txt можно написать в абсолютно любом текстовом файле, например, блокнот или notepad++, потому что, этот файл это обычный текст. Этот файл, как и все важные для поисковых систем файлы, должен находиться в корневой папки вашего сайта и доступ для него должен быть таков: site.ru/robots.txt. Пишется именно robots.txt, ни как по-другому, пытаются писать robot, поисковые системы не будут сканировать данный файл.

Как правильно составить robots.txt?

Чтобы правильно работал файл, вы должны правильно написать директивы в этом файле, чтобы робот смог нормально прочесть этот файл. Основными директивами, являются: user-agent, disallow, allow, host они должны находиться в файле robots.txt. Но директива host создается только для робота Яндекс.

Теперь рассмотрим каждую директиву в отдельности:

User-agent – это директива для всех роботов. Если вы хотите прописать отдельный участок кода или полностью создать файл robots.txt только для, например, Яндекс, то вам следует прописать user-agent: yandex.

Disallow – это директива запрещают индексацию указанного файла или директории. Пример: Disallow: /admin/ — запретит индексировать директорию и все файлы в папке admin, или Disallow: /admin/index.php – запретит индексация только для файла index.php в директории admin

Allow – директива, которая разрешает поисковому роботу индексировать файл или директорию. Пример: Allow: /public/ — разрешают индексировать всю директория public. Также можно прописать и для отдельного файла: Allow: /public/news.php

Host – эту директиву обрабатывает только поисковый робот Яндекс. Это директива позволяет указать любые зеркала сайта, например, www.site.ru или site.ru.

Sitemap – это директива предназначена, для указания поисковым роботом, файла карты сайта. Пример: Sitemap: http://site.ru/sitemap.xml.

Кстати сегодня советую всем расслабиться и отдохнуть перед голбым монитором. Отдыхать можно по разному, но я советую онлайн кино без регистрации на сайте megogo.net. Сам сейчас сижу и выбираю фильм — возможно пересмотрю фильм «Евротур».