E-body
Мой дом здесь!
- Регистрация
- 6 Сен 2007
- Сообщения
- 992
- Реакции
- 342
- Автор темы
- #1
Как правильно запретить индексирование профилей для форума
forum.sayt.ru/user123.html где 123 ид аккаунтов.
Disallow: /user*.html
Правильно?
...
Правильно, убедился в описании у яндекса по роботс.тхт - help.yandex.ru/webmaster/?id=996567 пункт 5
Использование спецсимволов "*" и "$".
При указании путей директив Allow-Disallow можно использовать спецсимволы '*' и '$', задавая, таким образом, определенные регулярные выражения. Спецсимвол '*' означает любую (в том числе пустую) последовательность символов. Примеры:
Спецсимвол '$'
По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:
forum.sayt.ru/user123.html где 123 ид аккаунтов.
Disallow: /user*.html
Правильно?
...
Правильно, убедился в описании у яндекса по роботс.тхт - help.yandex.ru/webmaster/?id=996567 пункт 5
Использование спецсимволов "*" и "$".
При указании путей директив Allow-Disallow можно использовать спецсимволы '*' и '$', задавая, таким образом, определенные регулярные выражения. Спецсимвол '*' означает любую (в том числе пустую) последовательность символов. Примеры:
User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'
# и '/cgi-bin/private/test.aspx'
Disallow: /*private # запрещает не только '/private',
# но и '/cgi-bin/private'
Спецсимвол '$'
По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:
Чтобы отменить '*' на конце правила, можно использовать спецсимвол '$', например:User-agent: Yandex
Disallow: /cgi-bin* # блокирует доступ к страницам
# начинающимся с '/cgi-bin'
Disallow: /cgi-bin # то же самое
User-agent: Yandex
Disallow: /example$ # запрещает '/example',
# но не запрещает '/example.html'
User-agent: Yandex
Disallow: /example # запрещает и '/example',
# и '/example.html'
User-agent: Yandex
Disallow: /example$ # запрещает только '/example'
Disallow: /example*$ # так же, как 'Disallow: /example'
#запрещает и /example.html и /example