Анонсы с пометкой «что такое робот.тхт»

Robots.txt-что это?

Блогосфера Robots.txt-что это?

В этой же статье расскажу о файле robots.txt. Вобщем-то это простой текстовый документ в формате txt. Нужен он потому, что все поисковые роботы при заходе на любой сайт ищут в первую очередь именно этот файл, и уже по нему определяют что подлежит индексации, а что нет. Если вы не собираетесь закрывать файлы от индексации, можно просто положить в корень сайта пустой файл, но все же это... Обсудить »

Спонсоры

Авторизация

Имя:
Пароль:
 

Друзья проекта

Лучшие

Активность на сайте