Robots.txt

[visionist_]

Если разрешить индексировать папку картинок для товаров то они, по идее, будут проиндексированы в натуральную величину а не так как на сайте и не будет прямой ссылки на страничку товаров?

 

[mmorok]

Если разрешить индексировать папку картинок для товаров то они, по идее, будут проиндексированы в натуральную величину а не так как на сайте и не будет прямой ссылки на страничку товаров?

Боты не индексируют саму папку. Боты индексируют картинки в тексте, и ссылки ставятся на страницу, где эти картинки присутствуют

 

[wasterel]

Вот еще нашел ненужные ссылки для индксации:

/feed/atom.html
/feed/rss.html

Давайте составим точный Robots.txt

 

[sssu]

Еще дописать в конце
Allow: /
Sitemap: [ваш путь к XML Sitemap]

 

[seo-freak]

User-Agent: Googlebot
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*?pop=0
Allow: /plugins/system/vmrss/


User-Agent: Googlebot-Mobile
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*?pop=0
Allow: /plugins/system/vmrss/


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*?pop=0
Allow: /plugins/system/vmrss/


User-agent: MSNBot
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*?pop=0
Allow: /plugins/system/vmrss/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*?pop=0
Allow: /plugins/system/vmrss/


User-agent: ia_archiver
Disallow: /

Allow: /
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

Sitemap: Для просмотра ссылки Войди или Зарегистрируйся