Robots txt для сайта: полное руководство

Robots.txt для сайта: Полное руководство

Что такое robots.txt и для чего он нужен

Файл robots.txt — это текстовый файл, который размещается в корневой директории сайта и используется для управления доступом поисковых роботов к страницам ресурса. Он играет важную роль в SEO и помогает регулировать индексацию контента.

Роль robots.txt в SEO и индексации сайта

Правильная настройка robots.txt позволяет:

• Закрыть от индексации ненужные страницы (например, админку, корзину интернет-магазина);
• Предотвратить дублирование контента;
• Оптимизировать краулинговый бюджет, направляя поисковых роботов на важные страницы.

Важность правильной настройки robots.txt

Ошибки в файле robots.txt могут привести к:

• Исключению важных страниц из индекса;
• Попаданию в индекс нежелательного контента;
• Потере трафика и ухудшению позиций в поисковой выдаче.

Как работает robots.txt

Принципы работы robots.txt

Файл robots.txt действует как набор инструкций для поисковых роботов. Он сообщает, какие страницы можно индексировать, а какие нет. Однако важно помнить:

• Robots.txt — это рекомендация, а не жесткий запрет.
• Некоторые поисковые системы могут игнорировать файл robots.txt.
• Закрытые страницы все равно могут быть найдены, если на них есть ссылки.

Директивы Allow и Disallow

• Allow — разрешает индексацию указанных страниц или каталогов.
• Disallow — запрещает индексацию определенных страниц или разделов.

Пример:

User-agent: *
Disallow: /admin/
Allow: /public/

User-agent: указание для каких поисковых роботов действуют правила

Директива User-agent указывает, к какому роботу применяются правила. Можно настроить отдельные инструкции для Googlebot, YandexBot и других.

Пример:

User-agent: Googlebot
Disallow: /private/

Sitemap: указание пути к карте сайта

Файл robots.txt также может содержать ссылку на XML-карту сайта:

Sitemap: https://example.com/sitemap.xml

Практические примеры использования robots.txt

Блокировка служебных страниц

Чтобы закрыть административные панели и страницы ошибок, используйте:

Disallow: /admin/
Disallow: /login/
Disallow: /error/

Запрет индексации дублирующегося контента

Закрываем страницы пагинации и фильтров:

Disallow: /*?page=
Disallow: /*?filter=

Скрытие страниц, находящихся в разработке

User-agent: *
Disallow: /test/

Управление индексацией страниц с ограниченным доступом

User-agent: *
Disallow: /private/

Синтаксис и правила robots.txt

Формат файла robots.txt

Файл должен быть сохранен в кодировке UTF-8 и находиться в корневой директории сайта.

Основные директивы и их значения

• User-agent — указывает, к каким ботам применяются правила.
• Disallow — запрещает индексацию.
• Allow — разрешает индексацию.
• Sitemap — указывает путь к карте сайта.

Регистрозависимость и пробелы

Файл чувствителен к регистру, поэтому /Admin/ и /admin/ — это разные пути.

Ограничения и рекомендации

• Максимальный размер файла — 500 КБ.
• Файл не защищает от просмотра закрытых страниц напрямую.

Типичные ошибки при настройке robots.txt

Блокировка важных страниц сайта

Частая ошибка — запрет индексации всего сайта:

Disallow: /

Неправильное использование директив

Ошибочный вариант:

User-agent: *
Disallow: /*.php

Правильный вариант:

Disallow: /*.php$

Отсутствие файла robots.txt

Если файла нет, поисковые роботы будут индексировать весь сайт без ограничений.

Игнорирование robots.txt поисковыми роботами

Некоторые боты могут игнорировать запреты. Для защиты используйте мета-тег noindex и HTTP-заголовки.

Проверка и оптимизация robots.txt

Инструменты для проверки

• Google Search Console — позволяет проверить robots.txt и увидеть ошибки.
• Яндекс.Вебмастер — аналогичный инструмент от Яндекса.
• Инструменты проверки онлайн — например, https://technicalseo.com/tools/robots-txt/

Рекомендации по оптимизации

• Минимизируйте количество запрещенных страниц.
• Используйте Disallow только для неважных страниц.
• Обновляйте robots.txt при изменении структуры сайта.

Актуальность и обновление

Периодически проверяйте файл robots.txt на ошибки и актуальность.

Важность robots.txt

Файл robots.txt помогает управлять индексацией и улучшать SEO. Однако его неправильная настройка может навредить сайту.

Robots.txt для популярных CMS

Robots txt для сайта WordPress

Вот пример файла robots.txt для WordPress и подробное объяснение его содержимого:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/
Disallow: /wp-content/uploads/*.php
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /*?s=*
Disallow: /page/*?*
Disallow: /tag/*?*
Disallow: /category/*?*
Disallow: /author/*?*
Disallow: /?*
Disallow: /search/
Disallow: /xmlrpc.php
Disallow: /wp-login.php

Sitemap: https://ваш-сайт.ru/sitemap_index.xml

Подробное объяснение

• **User-agent: ***: Эта директива указывает, что следующие правила применяются ко всем поисковым роботам. Вы можете указать конкретного робота, например, User-agent: Googlebot, чтобы применить правила только к нему.
• Disallow: /wp-admin/: Запрещает доступ ко всей административной панели WordPress. Это очень важно для безопасности вашего сайта.
• Allow: /wp-admin/admin-ajax.php: Разрешает доступ к файлу admin-ajax.php. Этот файл используется для выполнения AJAX-запросов в WordPress, и он необходим для корректной работы многих функций.
• Disallow: /wp-content/plugins/: Запрещает доступ к папке с плагинами. Обычно содержимое этой папки не предназначено для индексации.
• Disallow: /wp-content/themes/: Запрещает доступ к папке с темами. Аналогично папке с плагинами, содержимое этой папки обычно не индексируется.
• Disallow: /wp-content/cache/: Запрещает доступ к папке с кэшем. Содержимое этой папки может меняться, и его индексация нежелательна.
• Disallow: /wp-content/uploads/*.php: Запрещает доступ к PHP-файлам в папке uploads. Эта папка предназначена для хранения загружаемых файлов, таких как изображения, и выполнение PHP-скриптов в ней может представлять угрозу безопасности.
• Disallow: /wp-includes/: Запрещает доступ к папке с внутренними файлами WordPress. Эти файлы не предназначены для индексации.
• Disallow: /cgi-bin/: Запрещает доступ к папке cgi-bin. Эта папка часто используется для хранения скриптов, которые не должны быть доступны поисковым роботам.
• Disallow: /trackback/: Запрещает доступ к трекбэкам. Трекбэки – это устаревшая функция, которая может быть использована для спама.
• Disallow: /feed/: Запрещает доступ к RSS-лентам. RSS-ленты обычно не индексируются поисковыми системами.
• Disallow: /comments/feed/: Запрещает доступ к ленте комментариев.
• Disallow: /?s=: Запрещает индексацию страниц результатов поиска.
• Disallow: /page/?: Запрещает индексацию страниц пагинации.
• Disallow: /tag/?: Запрещает индексацию страниц архивов по тегам.
• Disallow: /category/?: Запрещает индексацию страниц архивов по категориям.
• Disallow: /author/?: Запрещает индексацию страниц архивов по авторам.
• Disallow: /?*: Запрещает индексацию страниц с параметрами в URL.
• Disallow: /search/: Запрещает индексацию страницы поиска.
• Disallow: /xmlrpc.php: Запрещает доступ к файлу xmlrpc.php. Этот файл может быть использован для атак на сайт.
• Disallow: /wp-login.php: Запрещает доступ к странице авторизации.

Sitemap: https://ваш-сайт.ru/sitemap_index.xml

Указывает путь к карте сайта. Карта сайта помогает поисковым системам быстрее и полнее индексировать ваш сайт.

Важные замечания

• Замените https://ваш-сайт.ru/sitemap_index.xml на актуальный адрес вашей карты сайта.
• Этот файл robots.txt является базовым. В зависимости от ваших потребностей, вы можете добавлять или изменять директивы.
• Не существует единого идеального файла robots.txt для всех сайтов. Важно понимать, какие страницы вы хотите скрыть от индексации, и соответствующим образом настроить файл.
• После создания файла robots.txt, его необходимо разместить в корневом каталоге вашего сайта.

Robots.txt для Joomla

Пример файла robots.txt для Joomla и подробное объяснение его содержимого:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

# Закрываем некоторые системные файлы и папки Joomla
Disallow: /configuration.php
Disallow: /htaccess.txt
Disallow: /robots.txt

# Закрываем дубли страниц (если есть)
Disallow: /*?start=
Disallow: /*&start=

# Закрываем страницы пагинации (если есть)
Disallow: /*limitstart=

# Закрываем страницы сортировки (если есть)
Disallow: /*order=

# Закрываем страницы поиска (если есть)
Disallow: /search/

# Закрываем страницы архива (если есть)
Disallow: /archive/

# Закрываем страницы тегов (если есть)
Disallow: /tags/

# Закрываем страницы категорий (если есть)
Disallow: /categories/

# Закрываем страницы статей (если есть)
Disallow: /articles/

# Закрываем страницы контактов (если есть)
Disallow: /contact/

# Закрываем страницы карты сайта (если есть)
Disallow: /sitemap.xml

# Разрешаем доступ к изображениям и CSS
Allow: /images/
Allow: /css/

# Указываем путь к карте сайта
Sitemap: https://ваш-сайт.ru/sitemap.xml

Подробное объяснение

• **User-agent: *** – Эта директива указывает, что данные правила применяются ко всем поисковым роботам.
• Disallow: / – Эта директива запрещает доступ к указанному каталогу или файлу.
• Allow: / – Эта директива разрешает доступ к указанному каталогу или файлу.
• **Sitemap: ** – Эта директива указывает путь к карте сайта.

Что именно закрывает этот robots.txt

• Системные папки Joomla: /administrator/, /cache/, /cli/, /components/, /includes/, /installation/, /language/, /libraries/, /logs/, /modules/, /plugins/, /templates/, /tmp/. В этих папках содержатся системные файлы Joomla, которые не должны быть доступны поисковым роботам.
• Системные файлы Joomla: /configuration.php, /htaccess.txt, /robots.txt. Эти файлы содержат важную информацию о сайте, которая не должна быть доступна посторонним.
• Дубли страниц: /?start=, /&start=. Эти параметры используются для пагинации и могут создавать дубли страниц, которые поисковые системы считают нежелательными.
• Страницы пагинации, сортировки, поиска, архива, тегов, категорий, статей, контактов, карты сайта: Все эти страницы могут быть закрыты, если вы не хотите, чтобы они индексировались поисковыми системами.
• Изображения и CSS: /images/, /css/. Доступ к этим папкам разрешен, чтобы поисковые роботы могли видеть, как выглядит сайт.

Как использовать этот robots.txt

1. Создайте файл с именем robots.txt.
2. Скопируйте приведенный выше код и вставьте его в файл.
3. Отредактируйте файл, указав свой домен и путь к карте сайта.
4. Загрузите файл robots.txt в корневой каталог вашего сайта.

Важные замечания

• Этот robots.txt является примером, и вам может потребоваться отредактировать его в соответствии с вашими потребностями.
• Перед использованием robots.txt убедитесь, что вы понимаете, что именно он закрывает.
• Проверить правильность работы robots.txt можно с помощью специальных инструментов, например, в Яндекс.Вебмастере или Google Search Console.

Robots.txt для Opencart

Вот пример файла robots.txt для Opencart и подробное объяснение каждой директивы:

User-agent: *
Disallow: /admin
Disallow: /catalog/controller/*
Disallow: /catalog/model/*
Disallow: /catalog/language/*
Disallow: /catalog/view/theme/*/template/*
Disallow: /download/*
Disallow: /system/*
Disallow: /vqmod/*
Disallow: /*/filter/*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*limit=*
Disallow: /*page=*
Disallow: /*search=*
Disallow: /index.php
Disallow: /.git
Disallow: /.svn

Подробное объяснение

• **User-agent: **: Эта директива указывает, для каких поисковых роботов предназначены следующие правила. “” означает, что правила применяются ко всем роботам.
• Disallow: /admin: Запрещает доступ к папке административной панели. Это очень важно для безопасности вашего сайта.
• Disallow: /catalog/controller/, /catalog/model/, /catalog/language/*: Запрещает доступ к файлам контроллеров, моделей и языковым файлам. Эти файлы не предназначены для индексации поисковыми системами.
• Disallow: /catalog/view/theme//template/: Запрещает доступ к файлам шаблонов. Они также не предназначены для индексации.
• Disallow: /download/*: Запрещает доступ к папке с загрузками. Если вы не хотите, чтобы поисковые системы индексировали ваши файлы для скачивания, используйте эту директиву.
• Disallow: /system/*: Запрещает доступ к системным файлам Opencart.
• Disallow: /vqmod/*: Запрещает доступ к файлам модификаций vQmod.
• Disallow: //filter/, /sort=, /order=, /limit=, /page=, /search=: Запрещает индексацию страниц с параметрами фильтрации, сортировки, упорядочивания, ограничения количества товаров на странице, пагинации и поиска. Эти страницы обычно содержат дублирующийся контент, что может негативно сказаться на SEO.
• Disallow: /index.php: Запрещает доступ к файлу index.php.
• Disallow: /.git, /.svn: Запрещает доступ к папкам с файлами систем контроля версий Git и SVN. Эти папки могут содержать конфиденциальную информацию.

Важные замечания

• Этот пример является базовым и может потребоваться его корректировка в зависимости от ваших потребностей.
• Убедитесь, что файл robots.txt находится в корневой папке вашего сайта.
• Проверить корректность файла robots.txt можно с помощью специальных инструментов, например, в Google Search Console.

Robots.txt для Битрикс

Пример файла robots.txt для Битрикс и подробное объяснение его содержимого:

User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /local/
Disallow: /cgi-bin/
Disallow: /*?print=Y*
Disallow: /*?show_all=Y*
Disallow: /*?PAGEN_1=*
Disallow: /personal/
Disallow: /auth/
Disallow: /ajax/
Disallow: /api/

User-agent: Yandex
Disallow: /*?sort=*
Disallow: /*?order=*

User-agent: Googlebot
Disallow: /*?sort=*
Disallow: /*?order=*

Sitemap: https://ваш_сайт.ru/sitemap.xml

Подробное объяснение

• **User-agent: ***: Эта директива указывает, что правила, описанные ниже, применяются ко всем поисковым роботам.
• Disallow: /bitrix/: Запрещает индексацию папки /bitrix/, в которой находятся системные файлы Битрикс.
• Disallow: /upload/: Запрещает индексацию папки /upload/, в которой хранятся загруженные файлы. Обычно там содержатся изображения, документы и другие материалы, которые не нужно индексировать.
• Disallow: /local/: Запрещает индексацию папки /local/, в которой хранятся локальные файлы проекта.
• Disallow: /cgi-bin/: Запрещает индексацию папки /cgi-bin/, в которой обычно находятся скрипты CGI.
• Disallow: /*?print=Y: Запрещает индексацию страниц с параметром print=Y в URL, которые обычно используются для печати.
• Disallow: /*?show_all=Y: Запрещает индексацию страниц с параметром show_all=Y в URL, которые обычно используются для отображения всех элементов списка.
• Disallow: /?PAGEN_1=: Запрещает индексацию страниц пагинации.
• Disallow: /personal/: Запрещает индексацию страниц личного кабинета пользователя.
• Disallow: /auth/: Запрещает индексацию страниц авторизации.
• Disallow: /ajax/: Запрещает индексацию страниц, содержащих AJAX-запросы.
• Disallow: /api/: Запрещает индексацию страниц API.
• User-agent: Yandex: Указывает правила для поискового робота Яндекса.
• User-agent: Googlebot: Указывает правила для поискового робота Google.
• Disallow: /?sort=: Запрещает индексацию страниц с параметром sort в URL, которые отвечают за сортировку элементов на странице.
• Disallow: /?order=: Запрещает индексацию страниц с параметром order в URL, которые отвечают за упорядочивание элементов на странице.
• Sitemap: https://ваш_сайт.ru/sitemap.xml: Указывает путь к файлу карты сайта sitemap.xml.

Важные моменты

• Убедитесь, что заменили https://ваш_сайт.ru/sitemap.xml на актуальный URL вашего файла sitemap.xml.
• Этот robots.txt является базовым. В зависимости от особенностей вашего сайта, вам может потребоваться добавить или изменить некоторые директивы.
• Рекомендуется регулярно проверять файл robots.txt на наличие ошибок и актуальность.

Как создать и разместить robots.txt

1. Создайте текстовый файл с именем robots.txt.
2. Скопируйте приведенный выше код и вставьте его в файл.
3. Отредактируйте файл в соответствии с вашими потребностями.
4. Разместите файл robots.txt в корневом каталоге вашего сайта.

Надеюсь, это объяснение поможет вам создать правильный файл robots.txt для вашего сайта на Битрикс.

Robots.txt для Modx

Пример файла robots.txt для Modx Revolution и Evolution, а также подробное объяснение его содержимого:

User-agent: *
Disallow: /manager/
Disallow: /assets/components/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Disallow: /*?*
Host: ваш_сайт.ru
Sitemap: https://ваш_сайт.ru/sitemap.xml

Пояснения

• User-agent: * – Эта директива указывает, что правила, описанные ниже, применяются ко всем поисковым роботам (“*” – универсальный символ, обозначающий всех роботов).
• Disallow: /manager/ – Запрещает доступ к папке “manager”, где находится панель управления Modx. Это важно для безопасности сайта, чтобы предотвратить доступ посторонних к административной части.
• Disallow: /assets/components/ – Закрывает для индексации папку “components”, содержащую файлы различных компонентов Modx. Обычно эта папка не содержит важного контента для поисковых систем.
• Disallow: /core/ – Запрещает доступ к папке “core”, содержащей ядро Modx. Эта папка также не предназначена для индексации.
• Disallow: /connectors/ – Закрывает доступ к папке “connectors”, содержащей служебные файлы для взаимодействия с Modx.
• Disallow: /index.php – Запрещает индексацию файла “index.php”, чтобы избежать дублирования главной страницы сайта в поисковой выдаче.
• Disallow: /? – Эта директива запрещает индексацию всех URL-адресов, содержащих вопросительный знак “?”. Обычно такие URL содержат параметры, которые не нужно индексировать (например, параметры сортировки или фильтрации).
• Host: ваш_сайт.ru – Указывает основное зеркало сайта. Указывайте здесь ваш домен без www или с www в зависимости от ваших предпочтений.
• Sitemap: https://ваш_сайт.ru/sitemap.xml – Указывает путь к файлу карты сайта Sitemap.xml. Это помогает поисковым системам быстрее и полнее индексировать ваш сайт.

Важно

• Убедитесь, что вы заменили “ваш_сайт.ru” на фактический домен вашего сайта.
• Рекомендуется создать и добавить файл sitemap.xml в robots.txt для улучшения индексации сайта.
• В зависимости от особенностей вашего сайта, вам может потребоваться добавить или изменить некоторые директивы в robots.txt. Например, если вы используете какие-то специфические плагины или компоненты, которые создают страницы, не предназначенные для индексации, вам нужно будет добавить соответствующие правила Disallow.
• После создания файла robots.txt обязательно проверьте его с помощью специальных инструментов, предоставляемых поисковыми системами (например, Google Search Console или Яндекс.Вебмастер), чтобы убедиться в корректности его работы.

Как создать robots.txt для Modx:

1. Создайте текстовый файл с именем “robots.txt”.
2. Скопируйте приведенный выше код и вставьте его в файл.
3. Отредактируйте файл, заменив “ваш_сайт.ru” на свой домен и указав путь к файлу sitemap.xml.
4. Сохраните файл robots.txt в корень вашего сайта (обычно это папка public_html или httpdocs).

После этого поисковые системы будут обращаться к файлу robots.txt при сканировании вашего сайта и следовать указанным в нем правилам.