Что такое файл robots.txt?

Когда вы создаете свой сайт, вы, скорее всего, захотите его на Google или другие поисковые системы.К счастью, у них есть свои боты или «соревнования«Это процепнет Интернет для указателей сайтов. Эти боты могут контролироваться в том, как они взаимодействуют с вашим сайтом через текстовый файл. Это будет robots.txt файл.Этот файл содержит правила о том, что боты, посещающие ваш сайт, просят следовать.Это, как правило, может быть хорошей вещью, но также может быть плохой вещью для вашего рейтинга, если установлена неправильно.

Как выглядит файл robots.txt?

Вот пара разных примеров того, что этот файл может выглядеть как для вас.

Позвольте всем ботам полный доступ

Пользовательский агент: * Запретить:

Блокировать весь доступ к ботам

Пользовательский агент: * запретить: /

Установите задержку полза до 10 секунд

Агент пользователя: * Задержка полки: 10

Установив задержку ползания в 10 секунд, вы ограничиваете эти поисковые системы, чтобы индексировать ваш сайт.Если у вас есть VPS с ограниченным количеством ресурсов, и ваши страницы не оптимизированы, чтобы обрабатывать внезапный всплеск веб-трафика, вы можете рассмотреть возможность обновления сервера Cloud VPS, чтобы иметь больше ресурсов и добавлять задержку

Это всего лишь пара очень общих шаблонов для файла Robots.txt.Вы можете использовать его для блокировки доступа к одной папке или даже одному файлу, если хотите.Каждая запись в файле Robots.txt будет иметь поле пользовательского агента с чем-то рядом с ним.Звездочка указывает на подстановочный знак, где он применяется ко всем.Если вы хотите установить его для определенного бота, вы поставите это в это поле.Любые строки после этого будут применяться к этому пользователю, пока не указан новый.Например, в файле ниже, для Google, он будет блокировать папку / TMP на сайте, но для всех других ботов все папки будут разрешены (включая папку / TMP).

У пользователя Agent: GoogleBot запрещает: / TMP / user-agent: * Незащитывать:

Как вы можете видеть, вы можете использовать это, чтобы предотвратить индексацию личных файлов или даже ненужных каталогов.Хотя запоминание ботов, которые существуют в Интернете, доступны различные ресурсы, чтобы найти те вы.

Есть много вещей, которые Robots.txt могут сделать, чтобы повлиять на ползунков сайта, но предотвращение доступа является наиболее распространенным.Другие варианты включают опцию задержки сканирования.Вы можете использовать эту опцию, чтобы сделать задержку бота между ползущими страницами на сайте.

Если у вас должны быть какие-либо вопросы или хотелось бы помочь, пожалуйста, свяжитесь с нами через Live Chat или, отправив билет с нашей командой технической поддержки.