adm-filНеобходимо из тествовых файлов, упакованых в архив, выбрать строки соотвествующие указаному регулярному выражению, или простой маске.
Размер одного неупакованого файла - 50 МБ. Кол-во файлов 1000.

Время поиска - не более 5 сек. Железо : 4 Xeon X2 3 Гц, памяти завались..., винты скоростные...

Может есть какие-то механизмы индексирования?
Есть вариант для поиска по простой маске.

Берём какую-нибудь textsearch открытую библиотеку. Распаковываем архив. Индексируем всё. Запаковываем обратно. Индексный файл оставляем рядышком с архивом в открытом виде. Используем протокол взаимодействия с API textsearch для поиска любой информации.

Если исходить из предположения что архивы изменяются очень-очень редко а то и вообще не изменяются, то индекс будет всегда актуальным.

Вариант с использованием find| bzip2 |grep всегда будет тормозным за счёт постоянной перераспаковки. Здесь никакой Xeon не поможет.

А какая операционка?

Почитайте про Бигл . Возможно это это поможет. Больше ничего скзать не могу. Т.к. поисковыми движками под Линуксы я не интересовался.

Как будет угодно. Посмотри еще Recoll. Может подойдет.

Вообще, если искать надо в логах, то TextSearch технологии тут пожалуй будут избыточными. Ну... по крайней мере надо для себя определиться, что будем искать чаще всего. Ключевых слов в логах мало. Уникальны в основном timestamp-s. И если их всех помещать в индекс, то он по размеру может стать соизмеримым с размером лога. А если-же их не помещать - тогда мы теряем возможность искать события в диапазоне дат внутри одного файла.