Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Java [игнор отключен] [закрыт для гостей] / csv-parser для очень больших файлов / 3 сообщений из 3, страница 1 из 1
24.12.2015, 11:29
    #39136873
Alexey Tomin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
csv-parser для очень больших файлов
Добрый день!
Использовали au.com.bytecode.opencsv.CSVParser но вылезла вот какая проблема.
Когда открываются файлы большого (на пределе возможностей) объёма, то этот парсер загаживает память мусором- как результат сборщик мусора надрывается.
Проблема в методе au.com.bytecode.opencsv.CSVParser#parseLine(java.lang.String, boolean) - там создаются StringBuilder'ы на сотни гигабайт.

Если какой-нибудь парсер, которые достоверно генерирует минимум мусора? Можно даже не такой быстрый.
Например uniVocity кто-нибудь пробовал?

PS: не есть большая проблема протестировать, но вдруг кто уже?

--
Алексей.
...
Рейтинг: 0 / 0
24.12.2015, 11:40
    #39136898
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
csv-parser для очень больших файлов
Alexey Tomin,

А чего всякую экзотику взял, а не Apache Commons? Опять же, сделай Young большим, чтобы мусор в Old не улетал, и не будет проблем с мусором.
...
Рейтинг: 0 / 0
24.12.2015, 12:45
    #39137010
Alexey Tomin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
csv-parser для очень больших файлов
BlazkowiczAlexey Tomin,

А чего всякую экзотику взял, а не Apache Commons? Опять же, сделай Young большим, чтобы мусор в Old не улетал, и не будет проблем с мусором.

Не я брал :)
Видимо, индейский парсер ещё хуже.
...
Рейтинг: 0 / 0
Форумы / Java [игнор отключен] [закрыт для гостей] / csv-parser для очень больших файлов / 3 сообщений из 3, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]