powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / csv-parser для очень больших файлов
3 сообщений из 3, страница 1 из 1
csv-parser для очень больших файлов
    #39136873
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрый день!
Использовали au.com.bytecode.opencsv.CSVParser но вылезла вот какая проблема.
Когда открываются файлы большого (на пределе возможностей) объёма, то этот парсер загаживает память мусором- как результат сборщик мусора надрывается.
Проблема в методе au.com.bytecode.opencsv.CSVParser#parseLine(java.lang.String, boolean) - там создаются StringBuilder'ы на сотни гигабайт.

Если какой-нибудь парсер, которые достоверно генерирует минимум мусора? Можно даже не такой быстрый.
Например uniVocity кто-нибудь пробовал?

PS: не есть большая проблема протестировать, но вдруг кто уже?

--
Алексей.
...
Рейтинг: 0 / 0
csv-parser для очень больших файлов
    #39136898
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey Tomin,

А чего всякую экзотику взял, а не Apache Commons? Опять же, сделай Young большим, чтобы мусор в Old не улетал, и не будет проблем с мусором.
...
Рейтинг: 0 / 0
csv-parser для очень больших файлов
    #39137010
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BlazkowiczAlexey Tomin,

А чего всякую экзотику взял, а не Apache Commons? Опять же, сделай Young большим, чтобы мусор в Old не улетал, и не будет проблем с мусором.

Не я брал :)
Видимо, индейский парсер ещё хуже.
...
Рейтинг: 0 / 0
3 сообщений из 3, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / csv-parser для очень больших файлов
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]