[Помощь] robots.txt для IPB 3.*

[Maskad]

насчет ЧПУ. Если закрывать страницу от роботов в виде ЧПУ, то нужно закрывать страницу с адресом НЕЧПУ? робот понимает что это одна и та же страница?

у меня в яндекс вебмастер хоть я использую ЧПУ были ссылки вида

index.php?showtopic...

- следовательно робот не понимает и надо закрыть

 

[KveSteR]

Закрыть можно для вероятности, но поидее яндекс после включения ЧПУ этих ссылок не должен видеть. А движок его с старых на новые перенаправляет ошибкой 301 или 302 (временное или постоянное перемещение)

 

[maniak1987]

Не правильно прописан Host: forum.alternative-by.org
он всегда должен быть в самом низу после всех команд

 

[Copoket]

Это так критично? Всегда думал, что располажение не важно

 

[maniak1987]

Это так критично? Всегда думал, что располажение не важно

Да, в противном случаи команда host просто не будет работать

 

[juves]

чем стандартный плох?
не ограничивать же себя двумя поисковиками и под каждый не напишешь же отдельно