Поисковики не любят когда их забивают "мусором", поэтому часть страниц нужно закрывать от индексации. Если вы юзаете WordPress то эта статья для вас! Я расскажу как составить правильный robots.txt для WP.