|
|
|
Посоветуйте как сделать выборку
|
|||
|---|---|---|---|
|
#18+
Задача простая - есть текстовичек в котором 130+ млн строк, нужно выбрать из него строки при условии вхождения в строку одного из слов из списка. Вопрос как и чем сделать это быстро? Сейчас у меня это делает эелементарный скрипт на питоне. Но работает это оооочень медленно. У меня есть подозрения, что если загнать все это дело в какую-нибудь бд и выбирать оттуда то будет быстрее. Но я с базами не знаком поэтому хз =) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.10.2010, 11:14 |
|
||
|
Посоветуйте как сделать выборку
|
|||
|---|---|---|---|
|
#18+
Нет, БД тут точно не поможет. Это будет лишний контейнер в который сначала нужно поместить данные, а потом из него читать. Применить какие-то РСУБД-специфичные методы тут все равно не получится. Т.е. сплошные потери без каких либо выгод. А чем вам утилита grep не нравится? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.10.2010, 11:33 |
|
||
|
Посоветуйте как сделать выборку
|
|||
|---|---|---|---|
|
#18+
grep мне нравится, думал про него, но я не умею им пользоваться ). По-вкуриваю пожалуй, давно хотел ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.10.2010, 11:46 |
|
||
|
|
start [/forum/topic.php?fid=16&gotonew=1&tid=1343409]: |
0ms |
get settings: |
11ms |
get forum list: |
17ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
231ms |
get topic data: |
13ms |
get first new msg: |
7ms |
get forum data: |
3ms |
get page messages: |
52ms |
get tp. blocked users: |
2ms |
| others: | 242ms |
| total: | 586ms |
| 0 / 0 |
