проверил то что предложил Antonariy
действительно vbTextCompare тормозит можно по указанной ссылке взять функцию которая нормально работает
а может в нашем случае можно vbBinaryCompare использовать вряд ли лог файл по-разному пишет ключевые слова


to pureproft
Если для анализа достаточно LIKE, присмотрись к Hytech.
не понятно что значит LIKE, присмотрись к Hytech

to pureproft
Hytech я так понял что это бд а нужно просто из файла один раз извлень данные по критерию

to White Owl
это то что нужно не знаю сложно ли освоить синтаксис но прога делает то что нужно и с максимально возможной скоростью

тут пока я пытался опредилить время выполнения возник такой вопрос
как удалить из файлового кеша файл
а то файл раз читается с диска а все следующие разы читается из памяти что не дает возможности замерять реальное время

авторразомнусь для начала на 1 Гб логов
боюсь что для файлов такого размера ничего не получится уж слишком большой размер
если файл в память не поместиться система его будет в файл подкачки грузить те получим только увеличение работы с диском
хотя опять же главное эксперимент если есть 3Г свободной то может и все нормально будет
иначе придется изменить процедуру чтобы она по частям файл читала

рекомендую посмотреть и gawk я попробовал сделать то что написано не разбираясь так она действительно работает очень быстро
и главное то что это одно из предназначений этой проги те прога как раз для этого написана

и еще один момент
можно улучшить прогу если заменить работу со строкой на на работу с массивом байт
те
Dim strBuffer as String
заменить
Dim bytBuffer() as Byte

strBuffer = String(0, Length) -> ReВim bytBuffer(Length - 1)

и функции InStr, InStrRev, Mid заменить на InStrB, InStrRevB, MidB
"B" как раз и означает байт

других изменений не нужно

Отличие в следующем
когда мы читаем строку то из файла читается один байт символ потом он преобразовывается в двухбайтный символ Unicode и сохраняется в строке те строка из 1000 символов будет занимать 2000 байт
при таких огромных размерах логов мы существенно экономим память
правда я не думаю что это ускорит прогу тк разница во времени сканирования 1Г или 2Г практически нулевая

вот определил на своем компе
1 строка выделяется размером 300Мб размером 400Мб уже не хочет
2 массив байтов выделяется размером 600Мб размером 700Мб уже не хочет

ReDim опечатка

а чтобы читать по кускам нужно немного изменить функцию

если у нас только часть файла загружена то здесь
CriteryPosition = InStr(lngCurrentPosition, strBuffer, strUserInfo, VbCompareMethod.vbTextCompare)
'MsgBox CriteryPosition
If CriteryPosition = 0 Then
Exit Do
End If

уже не надо выходить а просто прочитать следующий кусок
If CriteryPosition = 0 Then
FileRead position, strBuffer
End If

единственно что нужно учесть это то что какой-то кусок у нас остался не проверенный
LnEndSectionPos позиция последней найденной записи
а кусок от LnEndSectionPos до BufferSize не исследован

поэтому надо этот кусок поместить в начало буфера в диапазон
[0, BufferSize - LnEndSectionPos]
и читать следующий кусок записывая данные в диапазон
[BufferSize - LnEndSectionPos, BufferSize]

вот и все
остальное без изменений
итак
FileRead теперь объявлена так
FileRead (ByRef strBuffer as string, byval lngBufferSize as long, byval lngBufferPosition as long)

буфер надо выделять заранее и потом передавать во все функции

gawk может не работать из-за того что условие вероятно подразумевает что строка одна те символ новой строки является разделителем
это и есть недостаток этой проги что сначала надо узнать синтаксис для построения верного запроса
сам я не пытался синтаксис читать

забыл написать тк когда мы ищем байты то и искомые строки надо в байты перевести
те strLineEnd strUserInfo и тд те все что ищем

вот функция
private sub StrToByt(byval strSource as string, byref bytDestination() as Byte)
dim lngIndex as long

ReDim bytDestination(len(strSource)-1)
for lngIndex = 1 to len(strSource)
bytDestination(lngIndex-1)=asc(mid(strSource, lngIndex, 1))
next
end sub

а это ее использование
dim bytLineEnd() as Byte
dim bytUserInfo() as byte

StrToByt(vbcrlf, bytLineEnd)
StrToByt("UserInfo", bytUserInfo)