Follow along with the video below to see how to install our site as a web app on your home screen.
Примечание: This feature may not be available in some browsers.
Пример robots.txt
Нужно склеить основной домен с www
Сайт: Для просмотра ссылки Войдиили Зарегистрируйся
Делаем запись в роботсе
User-agent: *
Disallow:
Host: Для просмотра ссылки Войдиили Зарегистрируйся
User-agent: *
Disallow:
в файле .htaccess
RewriteEngine On
RewriteCond %{HTTP_HOST} ^pop\.com$
RewriteRule ^(.*)$ http://www.pop.com/$1 [R=301,L,QSA]
Если склеивать домены с .htaccess, то зачем ещё делать robots.txt?
Я тоже считаю, что с помощью robots.txt такое делать нельзя. Но с 301 редиректом это уже лишнее. Просто нужно склеить домены, используя .htaccessКак по мне так в robots.txt этого ваще делать нельзя так как робот заходит и понимает что на все те урлы больше лазить нелльзя и удаляет все плюсики начасляемые за них.
Надо ждать пока он сам зайдёт на каждый из них и увидит код ответа 301 и переадресует плюсики на новую страницу с или без www.
Но это так предположение исключительно.
Все поисковики уже давно www и без считают как один сайт
Есть ещё мнения, что склейку нужно обязательно делать по причине того, что поисковик может посчитать сайт без "www" сайтом с дублированным контенотом и занизить выдачу.С точки зреня робота url с www и без него относятся к разным сайтам. Рано или поздно поисковая система выберет один вариант, который посчитает главным зеркалом. Но, во избежание, рекомендуется все-таки склеить домены с помощью robots.txt.
Думаю, Яндексу, Рамблеру и всем остальным "продвинутым" поисковикам тоже. Но, тем не менее, склейка является "хорошим тоном" =)по моему пофигу гуглу по крайне мере