Помощь составление robots.txt

[Revenant425]

User-agent: *
Host: сайт.ру
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /backup/
Disallow: /uploads/
Disallow: /language/
Disallow: /go/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: Для просмотра ссылки Войди или Зарегистрируйся
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся
User-agent: StackRambler
Allow: /
Crawl-delay: 7

все ли правильно я сделал?ссылки с редиректом (go.php) тоже надо скрывать?

 

[killoff]

все ли правильно я сделал?ссылки с редиректом (go.php) тоже надо скрывать?

1. Надо скрывать только те ссылки которые есть у тебя на сайте: у тебя с индексируемой страницы ведут ссылки на
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /backup/
Disallow: /language/
??? не думаю!!! Поэтому это нафиг не нужно в этом файле.

2. Вместо Disallow: /index.php?do=register и т.д. проще написать по маске index.php?do=

3. Disallow: Для просмотра ссылки Войди или Зарегистрируйся а это ещё что за строчка такая? Ты со своего сайта никак не сможешь бота заставить не индексировать другой сайт!!!

4. Disallow: /uploads/ - что плохого в том что картинки будут проиндексированы? Это только +се будет с поиска картинок.

5. Disallow: /engine/download.php и Disallow: /engine/go.php Проще будет заменить на Disallow: /engine

6. Disallow: /favorites/ - что-то не припомню такой страницы для поисковых ботов Закладки есть у авторизованного пользователя, а бот не может проиндексировать страницы закладок какого-нибудь пользователя...

PS если не знаешь какие ссылки в файл прописать - составь карту сайта, посмотри какие ссылки вообще будут видны поисковому роботу (из п.1. точно не будет ни одной, точнее по-умолчанию нет!), и какие страницы из всех ссылок хочешь скрыть. Не пытайся все запихать в него.

 

[Revenant425]

3. Disallow: Для просмотра ссылки Войди или Зарегистрируйся а это ещё что за строчка такая? Ты со своего сайта никак не сможешь бота

да, отжог =)хотел счетчик закрыть от индексации =)