robots.txt и сабдомен

[nemeve]

Как повлияет на индексацию robots.txt, если сделать так:
_ttp://sait.domain.com/robots.txt

Будет ли робот читать robots.txt?

by SolutionFix: C твоей стороны было бы куда этичнее не напрягать других вопросами, ответы на которые общеизвестны, их очень легко найти и такие ответы не являются результатом чьего-либо опыта. Набери в поиске "что такое robots.txt" и читай себе на здоровье.

 

[harpeos]

Как повлияет на индексацию robots.txt, если сделать так:
_ttp://sait.domain.com/robots.txt

Будет ли робот читать robots.txt?

Конечно робот будет читать и обрабатывать файл robots.txt. Но есть также хитроботы, которые будут его игнорировать.

 

[bushwaka]

Не знаю о каких вы говорите хитроботах, у меня лично пруд пруди доменов именно тким образом висят, все нормально себя чувствуют и роботы поисковиков их нормально читают!
з.ы. а вот по поводу хитроботов поподробней, если конечно не жалко.

 

[nemeve]

Скажите, пожалуйста, а будет robots.txt влиять на время индексации?

 

[sw04]

Скажите, пожалуйста, а будет robots.txt влиять на время индексации?

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[harpeos]

з.ы. а вот по поводу хитроботов поподробней, если конечно не жалко.

Ну например ты редирект какой-нибудь в robots.txt закрыл. И этим хитроботам будет пофигу закрыл ты его или нет, они всё равно его выполнят (ну или попытаются выполнить ), и в итоге побанят доменчик.

 

[bushwaka]

и в итоге побанят доменчик.

А мозг для чего? Помоему как раз он решает такие глупости... Я думал Вы мне что-то новое откроете, увы... Ну ладно, все старое, порой приходится вспоминать...
Порой даже не верный роботс, становится помехой для жизни домена в некоторых поисковиках, особенно тех кто привередливый...