Robots.txt - есть или нет? :)

[russ25]

Есть делал сам.
Для новичком можно тут сделать.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Maksimoff]

Привет Всем. Не стал новыю тему создавать, решил в этой спросить. Создал робот.тхт на сайте, и кажется не все правильно. есть сомнения.
Может кто знает гляньте скажите что не так, буду благадарен. если нужен сайт на котором делал, скажите, выложу ссылку.
Пример файла:

User-agent: *
Disallow: /faq_0.html
Disallow: /faq_1.html
Disallow: /faq_3.html
Disallow: /faq_4.html
Disallow: /faq_5.html
Disallow: /faq_6.html
Disallow: /faq_10.html
Disallow: /faq_11.html
Disallow: /faq_14.html
Disallow: /faq_15.html
Disallow: /inf_links.html
Disallow: /inf_5 Steps.html
Disallow: /info_about.html
Disallow: /info_contact.html
Disallow: /info_agreement.html
Disallow: /psychology_center.html#1
Disallow: /registration_approved.html
Disallow: /inf_Questions .html
Disallow: /information_30corporate.html
Disallow: /information_40products-services_10HowItWorks.html
Disallow: /information_40products-services_20MatchmakingServices.html
Disallow: /information_40products-services_20MatchmakingServices_20check-info.html
Disallow: /information_40products-services_20MatchmakingServices_30email-forward.html
Disallow: /information_40products-services_20MatchmakingServices_40personal-search.html
Disallow: /information_40products-services_20MatchmakingServices_50personal-cons.html
Disallow: /information_40products-services_20MatchmakingServices_80pers-trans.html
Disallow: /information_40products-services_30psychological-services.html
Disallow: /information_40products-services_40special-programs.html
Disallow: /information_40products-services_10HowItWorks.html
Disallow: /information_40products-services_50personality-interpreter.html
Disallow: /information_40products-services_60personal-advisor-program.html

 

[AntonR]

В-первых, чтобы закрыть весь раздел faq или страницы с information, то можно сделать так

User-agent: *
Disallow: /faq*

User-agent: *
Disallow: /information*
В таком случае все адреса которые будут начинатся с faq и information, будут закрыты для индексирования!

Во-вторых, как видишь лутше делать отдельные блоки с user-agent для каждой инструкции!

 

[Maksimoff]

Во-вторых, как видишь лутше делать отдельные блоки с user-agent для каждой инструкции!

Этот пукт уточни пожалуйста.

Тоесть мой robots вот так выглядить будет, правильно я понял?

User-agent: *
Disallow: /faq*

User-agent: *
Disallow: /inf_links

User-agent: *
Disallow: /inf_5Steps.html

User-agent: *
Disallow: /info*

User-agent: *
Disallow: /psychology_center

User-agent: *
Disallow: /registration_approved

User-agent: *
Disallow: /inf_Questions

User-agent: *
Disallow: /information*

User-agent: *
Disallow: /profile.php

 

[petrovsecret]

В-первых, чтобы закрыть весь раздел faq или страницы с information, то можно сделать так

User-agent: *
Disallow: /faq*

User-agent: *
Disallow: /information*
В таком случае все адреса которые будут начинатся с faq и information, будут закрыты для индексирования!

Во-вторых, как видишь лутше делать отдельные блоки с user-agent для каждой инструкции!

В чем смысл таких отдельных блоков? Впервые встречаю такую рекомендацию.
Про стандарты robots.txt все подробно разжевано на сайте Для просмотра ссылки Войди или Зарегистрируйся

 

[nubic]

я везде использую роботс чтобы подсказать яше про сайтмап а так же защитится от зеркальной склейки доменов

 

[Hesh]

Не нужно перед каждым Disallow писать User-agent: * =)
Достатоно одного раза в начале файла =)

 

[Shatun]

Мне robots.txt очень помогает в "борьбе" с яндексом. Многие мои доски он банил по началу. Пишу Платонам - говорят, что многие страницы, типа, созданы автоматически - не для людей. Теперь сразу прописываю в роботсе запрет на индексацию определенных страниц при запуске сайта и проблем нет!

 

[gob1in]

Теперь сразу прописываю в роботсе запрет на индексацию определенных страниц при запуске сайта и проблем нет!

можно об этом поподробнее? какого типа страницы приводили к бану?

 

[Shatun]

Я использовал PHPClassifieds и страницы с категориями яндексу не нравились. Приходилось сразу прописывать

User-Agent: Yandex
Disallow: /cat

Хотя в каждой категории был список последних объявлений и он постоянно менялся (по мере поступления новых). Но ни в какую. Говорят автоматически и не для людей. С роботсом все ОК.