Задача искать строки в которых присутствует одно из ключевых слов (их может быть около 100), а также игнорировать строки в которых присутствует одно из ключевых слов (их тоже может быть около 100).
Главная цель, чтоб это работало оптимально быстро.

Вот вариант который получилось сделать. Но у него есть недостаток, есть ограничение на длину внутренних файлов (search_words.txt и exclude_words.txt)

egrep -r `cat search_words.txt` * | egrep -v `cat exclude_words.txt`

search_words.txt - mama|papa|deda|baba
exclude_words.txt - sin|vnuk|brat|sestra

Есть другие идеи ? Может эффективней делать perlom ?

MasterZivOn 12/05/2011 01:34 PM, evgeny12000 wrote:

> Вот вариант который получилось сделать. Но у него есть недостаток, есть
> ограничение на длину внутренних файлов (search_words.txt и exclude_words.txt)
>
> egrep -r `cat search_words.txt` * | egrep -v `cat exclude_words.txt`
>
> search_words.txt - mama|papa|deda|baba
> exclude_words.txt - sin|vnuk|brat|sestra
>
> Есть другие идеи ?

Ну самое эффективное -- читать одну строку исходного файла один раз.
Эффективнее уже некуда -- лучше только в БД или ещё куда загружать и индексы
строить, это будет логарифмы (может быть).

Можно оба действия сделать в одном рег.выражении, но только
толку мало -- всё равно строка только один раз читаться будет.
И я не знаю, как и можно ли это сделать с egrep, у него там
свои регвыражения.

Может эффективней делать perlom ?

Можно и седом.


Да, согласен с вами.
Покажите конкретные примеры, и ещё важен нюанс большое количество ключевых слов.