помогите с robots.txt

[dejavu18]

метод робот лучше чем .хтаксесс тем что в нем одном проще прописать все каталоги, я в роботе закрывал папки с рисунками, папки баз и конфигураций, полезная штука когдато около трех лет назад мне показали как можно взломать движок с помощью гугла.

 

[eyus]

в хтацесс можно прописать редирект 301 на дубли страниц

 

[eplaza]

Через .htaccess можно много чего открыть и закрыть (заблокировать ip, папки и файлы), но от поисковиков лучше все же закрывать стратницы robot.txt :

User-agent: *
User-agent: Yandex
Disallow: /

 

[kinho]

Каким должен быть файл robots.txt чтобы запретить яндексу индексировать весь сайт, а гуглу разрешить?
Как можно это же самое сделать через htaccess?

Через .htaccess

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.