|
|
|
Посоветуйте как сделать выборку
|
|||
|---|---|---|---|
|
#18+
Задача простая - есть текстовичек в котором 130+ млн строк, нужно выбрать из него строки при условии вхождения в строку одного из слов из списка. Вопрос как и чем сделать это быстро? Сейчас у меня это делает эелементарный скрипт на питоне. Но работает это оооочень медленно. У меня есть подозрения, что если загнать все это дело в какую-нибудь бд и выбирать оттуда то будет быстрее. Но я с базами не знаком поэтому хз =) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.10.2010, 11:14 |
|
||
|
Посоветуйте как сделать выборку
|
|||
|---|---|---|---|
|
#18+
Нет, БД тут точно не поможет. Это будет лишний контейнер в который сначала нужно поместить данные, а потом из него читать. Применить какие-то РСУБД-специфичные методы тут все равно не получится. Т.е. сплошные потери без каких либо выгод. А чем вам утилита grep не нравится? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.10.2010, 11:33 |
|
||
|
Посоветуйте как сделать выборку
|
|||
|---|---|---|---|
|
#18+
grep мне нравится, думал про него, но я не умею им пользоваться ). По-вкуриваю пожалуй, давно хотел ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.10.2010, 11:46 |
|
||
|
|
start [/forum/topic.php?fid=16&msg=36884221&tid=1343409]: |
0ms |
get settings: |
6ms |
get forum list: |
10ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
173ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
27ms |
get tp. blocked users: |
1ms |
| others: | 204ms |
| total: | 434ms |
| 0 / 0 |
