jedditeЗадча следующая:
Есть текстовый файл объемом 500 мб в котором 2 500 000 записей, в каждой записи n-е количество столбцов. требуется считать файл по сети и загрузить выборочные столбцы в БД. требуется делать это максимально быстро.Уже сама постановка кривоватая. Зачем делать переменное количество полей в строке? А потом мужественно преодолевать созданные трудности. Если источник данных свой - исправить, если извне - написать адаптер.jedditebulk insert тоже не подходит так как количествво столбцов может менятся, да и не хотелось бы загружать файл в полностью. Если уж совсем невозможно использовать BULK INSERT, то рекомендации стандартные.
1. Используйте PreparedStatement + JDBC batch .
2. Выполняйте commit после заданного количества операций с базой, например, коммитить каждую 1000 записей.

jedditeПробовал делать в рамках одой транзакции, но тогда растет лог.По секрету скажу, что в нормальных промышленных системах использование recovery model Simple - не есть хорошая практика. И рост лога - вещь нормальная. Ему потом делают truncate и при этом сохраняются все транзакции. Вы же, как понимаю, используете именно Simple . Посмотрите в сторону Bulk logged чтобы минимизировать затраты, если все же надумаете использовать BULK INSERT.