Robots

[dump1111]

robots.txt нужно писать, это является оптимизирующим фактором(Даже если нечего скрывать, всё равно нужно хотя бы всё разрешить и прописать host)

 

[bobbig]

всё равно нужно хотя бы всё разрешить и прописать host)

Тоже придерживаюсь такого мнения, т.к. проскакивала инфа (не знаю правда на сколько актуально в данный момент), что если сделать полную копию любого (или почти любого, особенно с длинным содержащем тире и/или цифры именем домена) сайта у которого не прописан host в robots.txt для яндекса, и зарегить под него домен с более коротким именем без тире и цифр прописав host - то яндекс может определить главное зеркало в пользу сайта-подделки автоматом. ИМХО, лично не проверял, просто поверил на слово.

 

[hoopeer]

robots.txt нужен обязательно. Это признак хорошего тона, доказательство что над сайтом работают, что это не простой ГС. Для каждой ПС прописать директивы. Является оптимизирующим фактором за наличие которого ПС дают плюс.

 

[vladyka]

Нет не является, просто он позволяет регулировать вид сайта с www или без в выдаче ну и скормить карту сайта боту можно.