Если адреса страниц вашего сайта содержат динамические параметры которые не влияют на их содержимое (например идентификаторы сессий, пользователей, рефереров и т.п.), вы можете описать их при помощи директивы Clean-param. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию.
Добавить
Обратная связь
dimok 3 лет 16 недели 12 часов 3 минут ago
молодцы! теперь будут форумы нормально индексить, а движки форумов должны включать грамотный роботс.тхт теперь.
SEOinSoul 3 лет 16 недели 10 часов 53 минут ago
Ага, Яндекс начал прогрессировать :)
Krasnovsky 3 лет 16 недели 10 часов 25 минут ago
А не подсакжите, дыру со склейкой морд, яндекс закрыл?
__
Мой блог
SEOinSoul 3 лет 16 недели 10 часов 2 минут ago
Ну про это ничего пока не слышал... но я почему то думаю вряд ли )))
sibnext 2 лет 36 недели 4 дней 8 часов ago
Хм... думаю Яша еще не скоро разродится до этого. )))