LelouchКстати а зачем вообще регулярка? Убрать все кроме первой группы?

Регуляркой удаляю ненужные записи типа [1~3~0], если последний символ перед закрывающей скобкой равен 0.
Но может быть ситуация 0.0 или 0.0000 или .0000 и т.д..

LelouchTestor1,

я не спец, но попробуйте так. Без String.Split во всяком случае

Спасибо. Прирост в скорости в 2 раза.
Думаю не мало повлияло отказ от SPLIT.
Вопрос: возможно ли использовать PLINQ и асинхронную загрузку данных из потока, чтобы обрабатывать данные в параллельном режиме ?

Testor1LelouchTestor1,

я не спец, но попробуйте так. Без String.Split во всяком случае

Спасибо. Прирост в скорости в 2 раза.
Думаю не мало повлияло отказ от SPLIT.
Вопрос: возможно ли использовать PLINQ и асинхронную загрузку данных из потока, чтобы обрабатывать данные в параллельном режиме ?

Сорри. Не обратил внимание на Часы. Время увеличилось порядком на один час.

LelouchTestor1,
Угу, согласен. На генерированных данных (хз сколько их, выходной файл 2.7GB) вот этот парсер неплох, но он не быстрее вашего варианта.: http://www.codeproject.com/Articles/9258/A-Fast-CSV-Reader
P.S. Отказ от регулярок дает ускорение на 1/3 - 1/2 раза примерно.

Спасибо за ссылку.

Провел еще тест. Простое разархирование файла с помощью библиотеки работает в два раза медленнее чем gzip.
Думаю надо разбираться с асинхронной обработкой данных.

Testor1,

Интересен предпоследний пример
http://codereview.stackexchange.com/questions/20145/faster-way-of-reading-csv-to-grid] http://codereview.stackexchange.com/questions/20145/faster-way-of-reading-csv-to-grid