redwhite902. Совсем плохая ситуация, если программа свалилась, перед этим правда часть распарсила, пользователь видит результат(частичный), смотрит, что выполнение закончилось и думает, что всё уже успешно закончилось. Как такое предотвратить? catch(Throwable) ?
В идеале твой парсер должен быть - finite state machine . Это предполагает фиксированную память на его
тело при бесконечном разнообразии входных файлов. Эту память можно умножить на количество экземпляров
паралельных потоков если таковые будут. При благоприятном стечении обстоятельств такой парсер проработает
долгие годы пока не упадёт железо или ОС на сервере.

В некоторых параноидальных вариантах отказоустойчивости ты можешь запускать 2 java процесса( по аналогии
со средой разработки Idea, которая запускает другие экземпляры компилляций как отдельные процессы). Первый
будет хозяином (master-process). Он будет запускать парсеры и контролировать факт их успешного завершения.
Как контролировать - это ты сам решишь. К примеру парсер после завершения может переименовывать файлы
в *.$$$ как признак. Главное чтоб фиксация была атомарной с точки зрения диска.

Для долго-играющих процессов можно ввести Watchdog timer, или Hearbit как признак того что процесс еще
жив. И убивать его в случае тишины или неответа в заданный период.