Доброго времени суток.
Нужна помощь, как правильно алгоритмически решить следующую задачу:
Есть несколько файлов размером до 500 Мб, необходимо распарсить каждый файл в отдельном потоке и записать их все в одну таблицу, при этом если возникли проблемы при парсинге или записи в таблицу, то нужно удалить все вставленные данные до появления ошибки. После того как содержимое конкретного файла было обработано и вставлено в таблицу необходимо для вставленных данных для каждого файла заполнить колонку вычислив значение и если обновление прошло успешно то пометить что файлы были записаны корректно и удалить файл

Я попробовал решить это следующим образом БД MSSQL и java

- Создаю поток и в нем делаю следующее
- Открываю коннект к БД и ставлю autocommit=false
- читаю файл по строчкам и делаю по строчкам insert в таблицу
- После того как пробежался по всем строчкам вызываю UPDATE в котором заполняю колонку (с помощью ROW_NUMBER() OVER (PARTITION BY ___ order by__ )
- Далее вызываю Commit и поток завершает свою работу

Это все прекрасно работает если файл один, но если я открываю три файла и каждый в отдельном потоке, то после завершения первого потока почему-то два других потока выдают ошибку
Exception:java.sql.SQLException: Invalid state, the Connection object is closed.

Как такое может происходить?

Извиняюсь, не ту ошибку скопировал
Exception:java.sql.SQLException: Transaction (Process ID 57) was deadlocked on lock resources with another process and has been chosen as the deadlock victim. Rerun the transaction.

Вопрос, как мне избавится от деадлоков? Может Isolation LEVEL изменить или еще что-то?

забыл ник,
С конфетками вроде разобрался)

Остались deadlock!
Я понимаю что лочится из-за апдейта, который я выполняю, но как тут быть непонятно. Суть проблемы в том, что одновременно инсертятся данные из трех потоков в одну таблицу, а потом мне нужно сделать update, который апдейтит данные вставленные в таблицу внутри каждого потока. Update выглядит следующим образом:



Вроде от deadlock получилось избавиться с помощью Isolation level SNAPSHOT. На небольших файлах работает хорошо. Но при вставке 3х файлов по 400 мб выскакивает ошибка:

Exception:java.sql.SQLException: The instance of the SQL Server Database Engine cannot obtain a LOCK resource at this time. Rerun your statement when there are fewer active users. Ask the database administrator to check the lock and memory configuration for this instance, or to check for long-running transactions.

То ли я очень сильно нагружаю БД, то ли изначально подход неправильный к решению

Petro123,

Оперативки то и не хватит т.к. файлы по 500 мб и сейчас их три а может быть и больше. batch можно частями выполнять и наверно перепишу код. и как я уже писал файлы должны обрабатываться отдельно и возможно в разное время


Вот можно ли insert с апдейтом объединить ?

Локшин Марк,

Вот этот запрос используется, взял из лога

Локшин МаркPetro123На блокировочнике ты всегда можешь схватить в неожиданном месте.
Ну как бы
jeddite Isolation level SNAPSHOT
не совсем про блокировочник. А к операциям по конкурентному изменению данных и возникающих при этом deadlock'ах это имеет еще меньшее отношение.

Ну почему же не про блокировки? При таком подходе каждый поток работает со своим snapshot и блокировок не происходит

YamahaR1,

Где-то 1 900 000 записей

MasterZiv,
У меня задача отслеживать целостность данных и если апдейт в отдельную транзакцию вынести, то как контролировать целостность..мне нужно быть уверенным на 100 процентов, что данные закомитятся только в том случае если апдейт был выполнен...не используя одну большую транзакцию это можно как-то сделать?