Как удалить дубли "одинаковых пинг-сервисов" из списка

[NoNaMe_909]

Вообщем есть куча списков пинг сервисов + хочу посёрчить и еще набрать для полного счастья ....



Какой прогой можно удалить дубликаты одинаковых URLов из txt файла ?

 

[Drago]

для этих целей использую програмки под названием Для просмотра ссылки Войди или Зарегистрируйся
(Официальный сайт этого софта на данный момент прекратил свое существование) и Для просмотра ссылки Войди или Зарегистрируйся обе дополняют друг-друга.
KWK почти для всего...

P.S. в этих-же сайтах можно прочесть доки по применению

 

[gastraler]

Если на серваке, то я вот такой скриптик юзаю:

<?
$ty=file("in.txt");
echo count($ty).'<br>';
$gh=array_unique($ty);
foreach ($gh as $val)
{
$wf=fopen("out.txt","a+");
fwrite($wf,$val);
fclose($wf);
}
echo count($gh).'<br>';
?>

Простенько, но эффективно

Просто в in.txt кидаешь что надо, в out.txt уже выходить без даблов

Можно на даневере юзать, если на своем компе нужно

 

[Johnny]

АллСабмиттером можно дубли удалить быстро и без гемора. Правда он для больших файлов мало подходит (тормозит), но для этой цели подойдёт идеально.

А для чего пинг-сервисы используешь, если не секрет?

 

[BaziliX]

Дубли в файле с пингсервисами можно ручками убрать. Если ручками гемор, то значит что у тебя много лишнего. Для пинга блога лучше юзать не более 80 пингсервисов, многие вообще тока штук 5 юзают, чтобы зря сервак не напрягать пауками.

п.с. маленько оптимизировал скрипт

<? 
$ty=file("in.txt"); 
echo count($ty).'<br>'; 
$gh=array_unique($ty); 
$wf=fopen("out.txt","a+"); 
foreach ($gh as $val) 
{ 
fwrite($wf,$val); 
}
fclose($wf);

echo count($gh).'<br>'; 
?>

 

[LEE_ROY]

Text Duplicate Killer - хорошая тулзень !

 

[timandr]

Например так:

cat file.txt | uniq > new.file

 

[bookinist]

Еще проще (особенно рулит способ на огромных файлах

sort -u file.txt > new.file

 

[quick]

Excel: Данные->Фильтр->Расширенный фильтр (Чекбокс "Только уникальные записи").

 

[Tias]

в соседнем топике этот же сабж обсуждается, вот онлайновый сервис именно для этих целей

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.