Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
06.10.2010, 11:14
|
|||
|---|---|---|---|
|
|||
Посоветуйте как сделать выборку |
|||
|
#18+
Задача простая - есть текстовичек в котором 130+ млн строк, нужно выбрать из него строки при условии вхождения в строку одного из слов из списка. Вопрос как и чем сделать это быстро? Сейчас у меня это делает эелементарный скрипт на питоне. Но работает это оооочень медленно. У меня есть подозрения, что если загнать все это дело в какую-нибудь бд и выбирать оттуда то будет быстрее. Но я с базами не знаком поэтому хз =) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
06.10.2010, 11:33
|
|||
|---|---|---|---|
Посоветуйте как сделать выборку |
|||
|
#18+
Нет, БД тут точно не поможет. Это будет лишний контейнер в который сначала нужно поместить данные, а потом из него читать. Применить какие-то РСУБД-специфичные методы тут все равно не получится. Т.е. сплошные потери без каких либо выгод. А чем вам утилита grep не нравится? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
06.10.2010, 11:46
|
|||
|---|---|---|---|
|
|||
Посоветуйте как сделать выборку |
|||
|
#18+
grep мне нравится, думал про него, но я не умею им пользоваться ). По-вкуриваю пожалуй, давно хотел ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=16&mobile=1&tid=1343409]: |
0ms |
get settings: |
8ms |
get forum list: |
22ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
182ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
52ms |
get tp. blocked users: |
1ms |
| others: | 230ms |
| total: | 516ms |
| 0 / 0 |
