День добрый. У меня есть необходимость импортировать большое кол-во данных (от 50ГБ до 1ТБ) из довольно "кривых" xml-файлов в СУБД mssql.
Использовать sqlxmlbulkload не получится, потому что данные в xml необходимо править перед импортом. Есть мысль сделать свой парсер xml (так как набор полей/тегов в xml постоянен и ограничен (20 возможных полей)) и преобразовывать xml в строки, а потом грузить в БД через bulkinsert.
Пробовал использовать Msxml2.DOMDocument - работает хорошо на небольших файлах, а на файлах от 2ГБ жутко тормозит, так что похоже надо писать свой парсер.
Подскажите какой язык лучше использовать для написания подобного парсера для больших файлов, желательно скриптовый...

ЗЫ. и еще вопрос можно ли на таком языке использовать "входной поток", чтобы можно было (если файлы заархивированы) сразу направлять поток из архиватора на вход скрипту/парсеру, дабы не создавать временных разархивированых файлов?

Dima TXmlReader в C# отлично справляется с большими файлами.
А кроме как из C# его можно от куда-нибудь использовать?

Изопропил, поточный xml парсер? А например как com объект из vb script можно?