Помощь Поделитесь вашими Robots.txt

denis87 написал(а):
Смысл в том что бы приветствовать роботов и направлять только по тем местам куда мне нужно. css и js там никакой семантики моего сайта нету, и делать им там нечего.
Нажмите для раскрытия...
Про css и js все понятно. А вот что касается роботов... Это понятно, что нужно их направлять, но я имел ввиду, что зачем каждого робота в отдельности приветствовать, если они в одно и то же место направляются? Общих "указаний" для всех будет достаточно.
И к тому же я не вижу куда вы направляете роботов других поисковых систем? Bing, Yahoo и т.д. Почему у вас пусто там где "User-agent: *" ?
 
Последнее редактирование:
Это роботс сайта с есидискусс, под vm немного другой роботс

User-Agent: Googlebot
Allow: /*.js*
Allow: /*.css*
Allow: /*.png*
Allow: /*.jpg*
Allow: /*.gif*

User-Agent: *
Allow: /*.js*
Allow: /*.css*
Allow: /*.png*
Allow: /*.jpg*
Allow: /*.gif*

Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /component/search/
Disallow: /component/mailto/
Disallow: /component/user/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/
Disallow: /discussions*
Disallow: /main.php*
Disallow: *index.php*
Disallow: *viewquestion*

Host:
Sitemap:
 
А чем стандартный плох ?

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
 
nitrogen37 написал(а):
А чем стандартный плох ?
Нажмите для раскрытия...
Хотя бы тем, что учитывает только вопросы безопасности, совершенно не заботясь о SEO.
У каждого поисковика есть свои нюансы, но их немного. Можно начать хотя бы отсюда
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
 
Могу ошибаться, но по моим чисто субъективным наблюдениям, роботс нужен только для Яндекса, он его принимает как руководство к действию. А вот Гуглу вообще плевать на него.. если какая-то страница закрыта в роботсе для индексирования и выдачи, он ее все равно выдает, просто пишет в описании что-то типа "эта страница закрыта". Это выглядит как издевательство какое-то :confused::D
 
Karambus написал(а):
Могу ошибаться, но по моим чисто субъективным наблюдениям, роботс нужен только для Яндекса, он его принимает как руководство к действию. А вот Гуглу вообще плевать на него.. если какая-то страница закрыта в роботсе для индексирования и выдачи, он ее все равно выдает, просто пишет в описании что-то типа "эта страница закрыта". Это выглядит как издевательство какое-то :confused::D
Нажмите для раскрытия...
Да, гугл слегка фривольно относиться к этому файлу (как к рекомендации), но лишним он точьно не будет. Тем более что завтра гугл может передумать
 
Составлен на основании многолетнего опыта. Использую на всех проектах.


User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /component/users/
Disallow: /search/*
Disallow: /videogalereya/
Disallow: *html?start
Disallow: *html?task=view
Disallow: /component/search/
Disallow: /images/system/
Disallow: /images/banners/
Disallow: /images/remote/
Disallow: /images/sampledata/
Disallow: /images/thumbnails/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: */component/
Disallow: /index.php
Disallow: /search.html
Disallow: /?Itemid
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Disallow: /*=items
Disallow: /*id=
Disallow: /*Itemid
Host: Для просмотра ссылки Войди или Зарегистрируйся
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /component/users/
Disallow: /search/*
Disallow: /videogalereya/
Disallow: *html?start
Disallow: *html?task=view
Disallow: /component/search/
Disallow: /images/system/
Disallow: /images/banners/
Disallow: /images/remote/
Disallow: /images/sampledata/
Disallow: /images/thumbnails/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: */component/
Disallow: /index.php
Disallow: /search.html
Disallow: /?Itemid
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Disallow: /*=items
Disallow: /*id=
Disallow: /*Itemid
Sitemap: hhttps://site.ru
 
Вот мой вариант с пояснениями.

User-agent: *
Disallow: /administrator/ #Закрываем доступ к админке
Disallow: /cache/ #Закрываем доступ к кеш
Disallow: /cli/
Disallow: /components/ #Закрываем доступ к компонентам
Disallow: /docs/
Disallow: /includes/ # #Не помню
Disallow: /jaextmanager_data/
Disallow: /language/ # #Языки
Disallow: /libraries/ # #Закрываем библиотеки
Disallow: /logs/ # #Закрываем логи
Disallow: /media/ # #Закрываем медиа
Disallow: /modules/ # #Закрываем модули
Disallow: /plugins/ # #Плагины
Disallow: /t3-assets/
Disallow: /templates/ # #Папка с шаблонами
Disallow: /tmp/ # #Не помню
Disallow: /xmlrpc/ # #Не помню
Disallow: /*com_mailto #Форма отправки писем
Disallow: /*pop= # #Всплывающие окна
Disallow: /*lang=ru # #Не помню
Disallow: /*format= # #Не помню
Disallow: /*print= # #Ссылка вывода на печать
Disallow: /*task=vote # #Голосования
Disallow: /*=watermark #Идиотская ссылка на водяные знаки
Disallow: /*=download # #Ссылки на скачивание
Disallow: /*user/ # #Не помню
Disallow: /404 # # #Закрываем 404 ошибку
Disallow: /*search #запретить индексировать адреса имеющие какое-либо регулярное выражение
Disallow: /*.pdf #запрет на индексацию pdf
Disallow: /index.php?
Disallow: /index.html
Disallow: /*? # # #все ссылки которые содержат этот знак не индексируются !
Disallow: /*% # # #все ссылки которые содержат этот знак не индексируются !
Disallow: /*& # # #все ссылки которые содержат этот знак не индексируются !
Disallow: /index2.php # #Закрываем дубли
Disallow: /index.php # #Закрываем дубли
Disallow: /*tag # # #Закрываем облака тегов
Disallow: /*print=1 # #Закрываем ссылку на печать
Disallow: /*=atom # #Закрывает RSS
Disallow: /*=rss # #Закрывает RSS
Host: site.ru # #Прописываем ваш сайт
Crawl-delay: 7

Sitemap: Для просмотра ссылки Войди или Зарегистрируйся ### укажите адрес своей карты сайта
 
Для исключения дублей страниц еще можно использовать
Disallow: /*utm_
 
Уважаемые знатоки, интересуюсь веяниями работе с поисковыми роботами, посему вопрос: что-нибудь поменялось в ваших robots за последние годы?
Вопрос к предыдущим ораторам @Anton33 и @scavevladimir зачем закрываете индексацию пдфов? По ключам же будут совпадения. И images/banners зачем закрыли?
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху