Помощь Помогите улучшить robots.txt

[Protector]

Решил поделится моим robots.txt под мои wordpress сайты. Ссылки на сайте имеют вид Для просмотра ссылки Войди или Зарегистрируйся. Помогите улучшить робота. Что добавить, что убрать, какие роботы на ваших сайтах ?

User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /admin
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback/
Disallow: /trackback
Disallow: */*/trackback
Disallow: /?s=
Disallow: /*?*
Disallow: /*category
Disallow: /*feed
Disallow: */feed
Disallow: */*/feed/*/
Disallow: /?feed=
Disallow: /*comments
Disallow: /*archives

 

[Makhovikov]

Больше года слежу за своим сайтом на WP. Не заметил никаких причин отделять в robots.txt команды для Яндекса от команд для других поисковиков, как впрочем и причин вообще городить сложные robots.

 

[Smailsddw]

Подскажите пожалуйста стоит скрывать или открыть эти настройки в robots.txt
Allow: /tag/
Allow: /category/
?

 

[wozzup]

Подскажите пожалуйста стоит скрывать или открыть эти настройки в robots.txt
Allow: /tag/
Allow: /category/
?

Тэги следует открыть, только если они у вас как-то используются при навигации (как динамические категории какие-нибудь), а категории если закрыть, то закроете ВСЁ, что размещено в этих категориях.
<-------------- добавлено через 163 сек. -------------->
Роботс можно оставлять самый минимальный - НИКОГДА ни ЯНдекс, ни Гугл не пытались ломится ни в админку, ни в какие системные файлы (структуру Ворпдресса они прекрасно понимают). Остаются только «лишние» адреса, которыЯе нужно смотреть через Вебмастер того же Яндекса и индивидуально для каждого сайта «подрезать хвосты».

 

[Smailsddw]

Спасибо, вот мой роботс, в таком виде будет нормально?

Спойлер: robots.txt

User-agent: *
Allow: /wp-content/images/
Allow: /wp-content/uploads/
Allow: /wp-content/themes/Colormag/style.css
Allow: /wp-content/themes/Colormag/js/selectnav.js
Disallow: /swf
Disallow: /webstat
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/bps-backup
Disallow: /wp-content/languages
Disallow: /wp-content/images/profiles
Disallow: /wp-content/images/pure-php-localization
Disallow: /wp-content/images/webstat
Disallow: /wp-content/images/WPFMP_DATA
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Disallow: /search/
Disallow: /author/
Disallow: */trackback
Disallow: */feed
Allow: /tag/
Allow: /category/
Disallow: /archive
Disallow: */comments*
Disallow: */page/*
Disallow: */comment-page*
Disallow: */attachment/
Disallow: /*?replytocom*
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /privet-mir.html
Host: Для просмотра ссылки Войди или Зарегистрируйся
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся



User-agent: Mediapartners-Google
User-agent: Mediapartners-Google
Allow: */page/*
Allow: /tag/
Allow:*/comment-page*
Allow: /archive
Allow: /search/
Allow: /category/
Crawl-delay: 5

User-agent: AhrefsBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: Mail.Ru
Crawl-delay: 10
User-agent: bingbot
Crawl-delay: 10
User-agent: msnbot
Crawl-delay: 10
User-agent: Slurp
Crawl-delay: 10
User-agent: StackRambler
Crawl-delay: 10
User-agent: Webalta
Crawl-delay: 10
User-agent: aport
Crawl-delay: 10
User-agent: YahooSeeker
Crawl-delay: 10

 

[EncoreTravel]

В первом блоке (имхо, конечно же), который заканчивается сайтмапом, слишком много лишнего. Большую часть запретов в ней я бы лучше снёс.
Дальше уже по необходимости.

 

[Justrunme]

По роботс.тхт, поддерживаю мнение, что попроще должен быть.

Вот мой стандартный:

 

[Smailsddw]

Я думаю сильно не нужно укорачивать, так как есть много лишнего куда не надо ходить боту

Я сделаю вот так, думаю будет норм

User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search
Disallow: /author/
Disallow: *?attachment_id=
Disallow: */trackback
Disallow: */feed
Disallow: */embed
Disallow: */page/
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif

Host:        https:///

Sitemap:    https://sitemap_index.xml

<-------------- добавлено через 169 сек. -------------->
Хотя я смотрю много разных топовых ресурсов и у всех кардинально отличаются robots.txt