Миллион блогов с GOOGLE за 1 минуту

Подскажи каким способом отсеивать дубликаты?и мертвые ссылки?
в аллсабе тоже можно все отфильтровать
В чем может быть проблема при персенге выдает вот такое.
а что у тебя там в 3 строке? если скрипт из 13 поста может count.txt нет на сервере.
 
*** скрытое содержание ***
11к профилей или форумов где удалось запостить месагу? Я вот спарсил 4500 блогов для теста прогнал хрумкой с чеком на активный линк - большая часть успешных комментов на модерации, кароч активных линков получил ток 5 штук на самом деле(данный результат получил после проверки анализатором базы ссылок), эт у меня хрумер так криво блоги чекает на актив линки или у всех, или просто чек на актив линк под форумы заточен?
 
11к профилей или форумов где удалось запостить месагу? Я вот спарсил 4500 блогов для теста прогнал хрумкой с чеком на активный линк - большая часть успешных комментов на модерации, кароч активных линков получил ток 5 штук на самом деле(данный результат получил после проверки анализатором базы ссылок), эт у меня хрумер так криво блоги чекает на актив линки или у всех, или просто чек на актив линк под форумы заточен?
11k профилей, где удается оставить активную ссылку в поле "сайт" либо в подпись. А с комментами в ВП блоги всегда такая лажа, даже если с браузера отправить коммент, то он вроде бы появляется, хотя реально ушел на модерацию, стоит зайти с другого компа - видно что коммента нет, поэтому хрумер много комментов кидает в успешные, которых по сути нет.
 
дубликаты можно удалить так.
PHP:
<?
$url = 'blogs.txt';
$m= file_get_contents ($url); 
$m = explode("\n", $m);
$result = array_unique($m);

for($i=0; $i<$count; $i++){
$all.=$result[$i]."\n";}
$filename = 'blogs.txt';
$fp = fopen($filename,"w");
fputs($fp,$all);
fclose($fp); 
?>
я не опробовал так что не могу сказать что робит на 100%
 
Скиньте ссылку на оригинал в личку.
 
Надо сейчас 100500 лямов напарсить, пока дают. Сортировать и потом можно:-]

Добавлено через 16 минут
 
Назад
Сверху