Новости

Robots.txt - файл для поисковых систем 14.06.2019

Robots.txt - файл для поисковых систем

Robots.txt — это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем. Проще говоря он подсказывает Яндексу и Гуглу какие папки на сайте смотреть, а какие нет. Обычно закрывают от индексации и поиска папки в которых могут лежать Важные данные которые не должны попасть в сеть. Или закрывают те разделы сайта которые еще недостаточно оптимизированы для индексации системой. Так же можно на время полностью закрыть веб сайт от индексации.

Возврат к списку