Сделать выборку в огромном текстовом файле

[zilon]

Есть гигантский текстовый файл - 20 ГБ 400 миллионов строк

надо сделать выборку по одному единственному слову и сохранить полученные результаты в текстовый файл, как это сделать под виндой, через консоль? Подскажите кто знает...

 

[_sergey_]

Ты базу пастухова имеешь ввиду? Она в UTF-8, желательно перевести её в 1251. Тогда объём вдвое сократится почти и выбор по прогам появится. А то к примеру искал KeyWordKeeper - так ищет только английские ключи, чтобы русские искала и нужно кодировку файла менять. А скорость - это от мощности компа зависит, у меня на выборку из 26 гигового файла полчаса ушло. Ещё Textpipe Pro есть - тут на форуме большая тема - но она требовательна к оперативке, такой файл сомневаюсь что сожрёт сразу, надо резать на части и тоже предпочитает 1251. В общем это тут много раз уже обсуждалось, юзай поиск. Или в базу данных на сервере каком загрузи - там уже и выборку делай.

 

[zilon]

Да, база это пастухова) нашёл решение отсюда паувершел скачал Для просмотра ссылки Войди или Зарегистрируйся файл текстовый, засунул в папку учётки - C:\Documents and Settings\Admin и вставил запрос

Select-String "скачать.*windows" Название-файла.txt | Foreach-Object {$_.Line} > out.txt

всё нашлось и сохранилось в текстовый файл)

 

[_sergey_]

Да, база это пастухова) нашёл решение отсюда паувершел скачал Для просмотра ссылки Войди или Зарегистрируйся файл текстовый, засунул в папку учётки - C:\Documents and Settings\Admin и вставил запрос

Select-String "скачать.*windows" Название-файла.txt | Foreach-Object {$_.Line} > out.txt

всё нашлось и сохранилось в текстовый файл)

Я так понимаю вот эту штуку поставил? Для просмотра ссылки Войди или Зарегистрируйся

Не уверен что это лучше KeyWordKeeper, в ней можно задать также список исключений, чтобы в итоговом файле было мусора поменьше.

 

[zilon]

Я так понимаю вот эту штуку поставил?

да эту, kwk у меня очень долго ищет, а эта намного быстрее, но kwk потом можно чистку сделать

 

[_sergey_]

да эту, kwk у меня очень долго ищет, а эта намного быстрее, но kwk потом можно чистку сделать

Согласен. Но твоя приблуда мне наверно не подойдёт, так как диск С по размеру меньше чем этот файл, а там ещё система и т.п.

Есть кстати и другие варианты, типа Yandex Desktop, или другие поисковики по жёсткому диску. Создаётся индекс по которому и производится поиск.

 

[zilon]

кстати в третьем сообщении ссылка на инсталятор power shell'a только для windows XP, я на семёрку пересел, долго новый инсталятор искал и нашёл, вот ссылка на него Для просмотра ссылки Войди или Зарегистрируйся после установки ярлык находится в Пуск >> Все программы >> Стандартные >> папка Windows PowerShell

 

[efs]

попробуйте Powergrep, позволяет искать и сохранять результаты в файл как по прямому вхождению, так и по частичному и по регулярным выражениям. сам использую для пастухова.

 

[_sergey_]

попробуйте Powergrep, позволяет искать и сохранять результаты в файл как по прямому вхождению, так и по частичному и по регулярным выражениям. сам использую для пастухова.

Скачал портативную тут:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

посмотрел... А русифицированной версии у тебя нету случаем? А то уж очень навороченная прога.

 

[efs]

посмотрел... А русифицированной версии у тебя нету случаем? А то уж очень навороченная прога.

не встречалась. но там все довольно просто, наводите мышку на любой элемент и справа появится справка. где в принципе все достаточно понятно расписано.