|
|
|
имеет ли смысл применять БД
|
|||
|---|---|---|---|
|
#18+
Извините, если ошибся форумом. Вообщем стоит задача обработать несколько миллионов маленьких файлов(30кб). Обработка заключается в применение к файлу 10-ка регулярных выражений. Есть ли смысл в данном случае использовать БД? Ведь в некотрые из них встроенна поддежка рег.выр. соответственно, возможно все это дело будет как-то заоптимизированно. С учетом того, что я пишу на дотнете, а там, как мне кажется их реализация довольно таки медленная. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.10.2009, 17:06 |
|
||
|
имеет ли смысл применять БД
|
|||
|---|---|---|---|
|
#18+
SolDmitr, 1) лучше в "программирование" 2) на С (без #) напишите ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.10.2009, 17:13 |
|
||
|
имеет ли смысл применять БД
|
|||
|---|---|---|---|
|
#18+
SolDmitrИзвините, если ошибся форумом. Вообщем стоит задача обработать несколько миллионов маленьких файлов(30кб). Обработка заключается в применение к файлу 10-ка регулярных выражений. Есть ли смысл в данном случае использовать БД? Ведь в некотрые из них встроенна поддежка рег.выр. соответственно, возможно все это дело будет как-то заоптимизированно. С учетом того, что я пишу на дотнете, а там, как мне кажется их реализация довольно таки медленная.Имхо, нет. Да и поддержка там весьма сомнительная. Например, в MySQL из всех возможных операций есть только проверка на соответствие шаблону. А в Оракле все операции есть, но поддерживается только POSIX и не поддерживаются perl-овые регулярные выражения (которыми пользуются в PHP и в большинстве других языков). А какая именно обработка нужна? Может хватит grep-а и/или awk/perl ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.10.2009, 18:41 |
|
||
|
имеет ли смысл применять БД
|
|||
|---|---|---|---|
|
#18+
SolDmitr пишет: > Вообщем стоит задача обработать несколько миллионов маленьких файлов(30кб). > Обработка заключается в применение к файлу 10-ка регулярных выражений. > Есть ли смысл в данном случае использовать БД? Нет. Ведь в некотрые из них > встроенна поддежка рег.выр. соответственно, возможно все это дело будет > как-то заоптимизированно. Нет, не будет. Поиск по рег. выражениям не может быть ускорен за счёт индексов. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2009, 09:29 |
|
||
|
имеет ли смысл применять БД
|
|||
|---|---|---|---|
|
#18+
смысл есть делать через БД 1. имеете все преемущества субд - транзакционная целостность, возможность откатов, флешбеков и т.д. 2. "поиск по регулярным выражениям не ускорить" - это не верно. во первых если есть доп фильтры, после которых применяются рег.выражения, то уже можно ускорить. во вторых всяческие like 'alex%' могут юзать индекс в третьих и без индексов субд может понимать лучше как и где что искать, нежели делать это в плоском файле ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2009, 11:22 |
|
||
|
имеет ли смысл применять БД
|
|||
|---|---|---|---|
|
#18+
васегг, отжог ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2009, 11:25 |
|
||
|
имеет ли смысл применять БД
|
|||
|---|---|---|---|
|
#18+
вот жеж как овощ-тролль из форума delphi вылез сюда чтобы сказать свое "отжог" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2009, 11:51 |
|
||
|
имеет ли смысл применять БД
|
|||
|---|---|---|---|
|
#18+
васегг, анонимный вы наш, кто ж еще может троллить и еще к другим претензии высказывать наведу на мысли: в исходной задаче - куча мелких файлов-картинок, т.е. есть некая структура хранения на диске. обработка заключается в применении регэкспов, как я понял, к имени файла. В случае если обрабатывается картинка - то БД не лучшее решение, поскольку обрабатывать БЛОБ не самое приятное занятие. Зачем автору транзакционность? У него и так транзакции на уровне файла :) другого в задаче не было :) выражение like '%something%', кстати может провесить что угодно :) Есть вариант загнать все картинки в базу, соответственно получив все плюсы и минусы, которые уже не раз обсуждались в холиворе "хранение картинок в базе или на диске" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2009, 12:06 |
|
||
|
|
start [/forum/topic.php?fid=32&msg=36244457&tid=1543040]: |
0ms |
get settings: |
8ms |
get forum list: |
13ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
166ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
32ms |
get tp. blocked users: |
1ms |
| others: | 239ms |
| total: | 473ms |
| 0 / 0 |
