Кто как пишет robots.txt для wordpress

[dump1111]

Хотелось бы узнать кто как пишет robots.txt для вордпресса. Чтобы исключить дубли нужно закрыть от индексации. Страницы с архивом и категориями, и оставить только одни посты. Есть конечно инфа по этому поводу, но именно по этому вопросу я не нашёл. А кто как думает по этому поводу?

 

[BlackvsEvgen]

Я так пишу и вроде всё норм пока

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Allow: /
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся
Host: stroy.gnom-bar.ru

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Allow: /
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся
Host: stroy.gnom-bar.ru

 

[wasterel]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: Для просмотра ссылки Войди или Зарегистрируйся
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

 

[DarkWing]

Делаю так же, как wasterel. Только добавляю директиву Crawl-delay.

Я как-то делал небольшой сайтик для знакомых и ребята разместили его на мажордомо. И у них постоянно сайт падал, хотя траффика на сайте копейки 5-30 человек сутки, был включен кеш. Основную нагрузку давала галерея и боты. Когда в robots прописали "Crawl-delay: 5", сайт перестал падать.

 

[dump1111]

Ну вот если конкретно спросить: как правльно закрывать урлы содержащие определённый фрагмент? В Яндексе говорится, что спецсимвол "*" может означать любую, в том числе пустую последовательность символов. Т.е, если скажем нужно закрыть урлы, содержащие фрагмент "date", то подойдёт ли такой вариант написания директивы: Disallow: */date

 

[artanto]

спасибо, очень помогли.