Дубли в Livestreet

У меня на сайте в. 1,03 +100500 ботов регистрацию прошли и разместили контент рекламный.
Пользователи разные и ip довольно разношерстные, но весь контент это 20 процентов одинаковой рекламы.
Можноли внести в черный список не айпи адреса, а элементы контента. Например фразу. Нсли да, то какой модуль мне поможет?
 
wils написал(а):
у меня такой, не дублей нечего лишнего только контент.
Нажмите для раскрытия...

не сочтите за наглость ... а в можно взглянуть на ваш :ah: .htaccess

меня интересует та часть, которая отвечает за редирект index.php а то у меня /index.php не редиректит на главную.
 
allmoll написал(а):
не сочтите за наглость ... а в можно взглянуть на ваш :ah: .htaccess

меня интересует та часть, которая отвечает за редирект index.php а то у меня /index.php не редиректит на главную.
Нажмите для раскрытия...
Вот держи
AddDefaultCharset UTF-8
Options -Indexes
RewriteEngine On
#RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ ./index.php
# Alternative rule
#RewriteRule ^(.*)$ /index.php

# Deny access
<Files "plugins.dat">
order allow,deny
deny from all
</Files>
<Files "plugin.xml">
order allow,deny
deny from all
</Files>
<Files ~ "\.tpl$">
Order allow,deny
Deny from all
</Files>
 
тю, так это дефолтный ... а переадресация с www на без www? а bla-bla.com/index.php + bla-bla.com/index/newall/ и т.п. по идее дубли и очень много.
 
По robots.txt. Просмотрел массу различных сайтов на этом движке, посмотрел фалы роботс: абсолютно все разные, начиная от User-agent: * и все, заканчивая полотнами наверно для всех существующих ботов :) Почитал мнения, отзывы, истории и для себя сделал вывод: все просто и не стОит особо заморачиваться. Закрыть тех папки, закрыть теги, закрыть поиск и ... все. У большинства успешных сайтов закрыты вообще две три папки: rss search tag и все.
 
У меня вот такой файл robots.txt (все существующие страницы в поиске). Но для этого вам нужны плагины:

AutoAlt / AutoCut / NiceURL / Sitemap / Tricky Title / Похожие записи

Думаю знаете откуда их качать.

Содержание файла robots.txt

User-agent: Yandex

Disallow: /cgi-bin
Disallow: /webstat
Disallow: /admin

User-agent: *

Disallow: /cgi-bin
Disallow: /webstat
Disallow: /admin

Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

Host: site.ru
 
На счет ботов, в каталоге давно есть плагины антиспама / защита регистрации ботов и т.п. Не рекламы ради - вот один из них, отзывы на сайте есть Для просмотра ссылки Войди или Зарегистрируйся
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху