ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Гигантский текстовый файл - найти кусочек и записать в отдельный файл.
5 сообщений из 5, страница 1 из 1
Гигантский текстовый файл - найти кусочек и записать в отдельный файл.
    #38964303
ОКТОГЕН
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ОКТОГЕН
Участник
Надо в отдельный файл выгрузить 20 тысяч строк после строки с найденным ключевым словом.
Проблема в том, что файлик имеет размер в 500 с лишним гигов.
grep виснет, mc-edit очень сильно тормозит.
Кто решал такую задачу?
...
Рейтинг: 0 / 0
20.05.2015, 15:43
| Ответить | Цитировать | Написать  
Гигантский текстовый файл - найти кусочек и записать в отдельный файл.
    #38964347
ОКТОГЕН
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ОКТОГЕН
Участник
скопирую в отдельное место и попробую сплитом разбить.
В 100 частях найти проще, тем более что кусочек ближе к концу.
...
Рейтинг: 0 / 0
20.05.2015, 15:59
| Ответить | Цитировать | Написать  
Гигантский текстовый файл - найти кусочек и записать в отдельный файл.
    #38964722
скукотища
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
скукотища
Гость
ОКТОГЕН,
sed-ом
в два прохода
- номер строки с ключевым словом, например вернет 100500100
Код: powershell
1.
$ sed -n '/что искать/{=;q}' файл500+гиг

- выгрузка 20k строк, _после_ строки с ключевым словом
Код: powershell
1.
$ sed -n '100520101q;100500101,$p' файл500+гиг > файл20к_строк



двумя sed-ами в один проход
Код: powershell
1.
$ sed -n '/что искать/,$p' файл500+гиг | sed '20001q;1d' > файл20к_строк
...
Рейтинг: 0 / 0
21.05.2015, 00:52
| Ответить | Цитировать | Написать  
Гигантский текстовый файл - найти кусочек и записать в отдельный файл.
    #38967164
Фотография volodin661
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
volodin661
Участник
Код: php
1.
perl -ne ' print if /ключевое слово/ .. eof '  file_500.gig > output
...
Рейтинг: 0 / 0
24.05.2015, 04:47
| Ответить | Цитировать | Написать  
Гигантский текстовый файл - найти кусочек и записать в отдельный файл.
    #38967495
Фотография Ганнибал бен Гисгон Магонид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ганнибал бен Гисгон Магонид
Участник
grep не виснет. 500 гиг ты будешь читать от 1 до 20 часов в зависимости от скорости диска. Без разницы, чем читать. И перл тут не поможет, а вот чтение от того места, которое чуть ранее того места, где должен быть кусок текста вполне может помочь.

Если задача разовая -- запускаешь grep на выходные и ждёшь.
...
Рейтинг: 0 / 0
25.05.2015, 08:54
| Ответить | Цитировать | Написать  
5 сообщений из 5, страница 1 из 1
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Гигантский текстовый файл - найти кусочек и записать в отдельный файл.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=25&gotonew=1&tid=1482075]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 60ms
get topic data:
 10ms
get first new msg:
 8ms
get forum data:
 3ms
get page messages:
 46ms
get tp. blocked users:
 1ms
others: 10ms
total:  169ms
созд. / загр.: 169ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]