определить роботов поисковиков по ip

Запрет на основе IP нужен для того чтобы отсеять тех кто парсит сайт и скрывается под гуглом. Обычно если это гугл юзер агент многие закрывают глаза на большую активность по IP.
Но опять таки можно попасть в западню что действительно гугл зайдет с нового IP и может назреть бан. Рекомендую просто периодически просматривать IP те кто создают большую активность, этого хватит на первое время чтобы отсеять большую часть парсеров.
 
У меня на клоаке одна из проверок по IP, вот массив:
PHP: 
        $stop_ips_masks = array(
            "8\.6\.48\.[0-9]+",
            "66\.249\.[6-9][0-9]\.[0-9]+",  // Google    NetRange:  66.249.64.0 - 66.249.95.255
            "74\.125\.[0-9]+\.[0-9]+",      // Google    NetRange:  74.125.0.0 - 74.125.255.255
            "209\.185\.108\.[0-9]+",        // Google    NetRange:  209.185.108.0 - 209.185.108.255
            "209\.185\.253\.[0-9]+",        // Google    NetRange:  209.185.253.0 - 209.185.253.255
            "209\.85\.238\.[0-9]+",            // Google    NetRange:  209.85.238.0 - 209.85.238.255
            "216\.239\.46\.[0-9]+",            // Google    NetRange:  216.239.46.0 - 216.239.46.255
            "64\.68\.8[0-9]\.[0-9]+",        // Google    NetRange:  64.68.80.0 - 64.68.89.255
            "64\.68\.9[1-2]\.[0-9]+",        // Google    NetRange:  64.68.91.0 - 64.68.92.255
            "72\.14\.199\.[0-9]+",              // Google    NetRange:  72.14.199.0 - 72.14.199.255
            "65\.5[2-5]\.[0-9]+\.[0-9]+",    // MSN        NetRange:  65.52.0.0 - 65.55.255.255,
            "74\.6\.[0-9]+\.[0-9]+",        // Yahoo      NetRange:  74.6.0.0 - 74.6.255.255
            "67\.195\.[0-9]+\.[0-9]+",      // Yahoo#2    NetRange:  67.195.0.0 - 67.195.255.255
            "72\.30\.[0-9]+\.[0-9]+",        // Yahoo#3    NetRange:  72.30.0.0 - 72.30.255.255
            "38\.[0-9]+\.[0-9]+\.[0-9]+",    // Cuill:    NetRange:  38.0.0.0 - 38.255.255.255
            "93\.172\.94\.227",              // MacFinder
            "212\.100\.250\.218",            // Wells Search II
            "71\.165\.223\.134",            // Indy Library
            "70\.91\.180\.25",
            "65\.93\.62\.242",
            "74\.193\.246\.129",
            "213\.144\.15\.38",
            "195\.92\.229\.2",
            "70\.50\.189\.191",
            "218\.28\.88\.99",
            "165\.160\.2\.20",
            "89\.122\.224\.230",
            "66\.230\.175\.124",
            "218\.18\.174\.27",
            "65\.33\.87\.94",
            "67\.210\.111\.241",
            "81\.135\.175\.70",
            "64\.69\.34\.134",
            "89\.149\.253\.169"
        );
 
  • Нравится
Реакции: bob
Юзер агент однозначно, остальное в подмогу, можно понаблюдать за логами, там много чего интересного откопаешь, и ip тоже
Вот еще в подмогу:
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
 
Можно подробнее остановится на сервис Для просмотра ссылки Войди или Зарегистрируйся? Думаю скрывать рекламу через него. Что скажите?
 
А возможно ли через юзер-агент отследить ботов и составить список их ИПов?
 
А возможно ли через юзер-агент отследить ботов и составить список их ИПов?
Нажмите для раскрытия...
Если знаешь их юзер агенты, то можно!
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху