Помощь robots.txt для wordpress

[Nikolay18]

Как правильно настроить robots.txt для wordpress
То, что удалось найти в инете.Должен содержать:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag

 

[crazyyy]

Если ваш сервер очень сильно перегружен и не успевает отрабатывать запросы на закачку, то воспользуйтесь директивой "Crawl-delay". Она даёт возможность подсказать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

Ну а второй пункт указываем ПСам где у нас сайтмап лежит (предварительно созданный плагином Google XML Sitemap)

 

[Asin]

Существуют специальные плагины,настройки robots.txt :

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Nikolay18]

Самая большая проблема (я считаю )этого пректа что не возможно составить общую картину полученных рекомендаций . каждый советует что-то свое , проверенное лично для него , но не применимое для другого (или применимое только отчасти ) И пока не проверишь , не перепробуешь все что советовали . Блин, всем спасибо большое. Я конечно понимаю , что однозначных ответов получить не удастся , но хотелось бы большей ясности для отдельных движков