Добрый день, коллеги.

тулз. Java Swing + JDBC + Apache POI.

Предыстория:
Делал как-то формирование Excel через poi со слиянием ячеек с одинаковыми значениями в колонках + подсчет подытогов по определенным колонкам. Данные из БД. Однажды у клиента вылезло исключение java heap spase.... В итоге подсказали что память (не стековая) засерается и нужно использовать потоковоые методы формирования Excel.

Проблема:
Начал делать как сказали, формировал Excel через Stream`инг. Но после наполнения таблицы я не могу пройтись заново по ней (чтобы вычислить что слиять, где втавить строку подитогов и т.п.), потому что часть данных уже на диске.

Вот например Oracle BI у него отчет после выполнения отрисовывается в браузере и экспортируется в Excel как мне надо. И я знаю что BI на Java. Тут конечно закрадывается мысль о том, что на серваке то памяти по более будет и поэтому там не было таких исключений.

Кто что думает на эту тему? Как не просто сформировать большой Excel, но и преобразовать его в более понятный (для бухгалтерии) вид?

Leonid Kudryavtsev,

Ну без язвительных комментариев в стиле "у кого пис...н больше" считай день в пустую!

автор1. Памяти-то сколько Java машине выделено? Увеличивать не пробывали?
Побывал! Но если бы вы внимательно прочитали, но поняли что мое решение остановилось на использовании поточного формирования, где соответственно проблемы с памятью отлетают.

автор2. Профилировшиком посмотреть, что находится в памяти не пробывали? Возможно у Вас какой нибудь resource leak происходит.
etc....
Этим я занялся сразу как начал получать исключения. И то что память начала засераться именно в либах POI, мне как бы мало помогло. А после, я полез гуглить, где сразу же наткнулся на посылы использовать поточные методы, т.к. они появились, а раньше их не было.

Petro123,
Ну со скрином проблемы, точнее могут быть. Начальство увидит по бошке даст.
Могу сказать что файл получается приблизительно 35 колонок, а строк когда как, 1 000 - 50 000.
Клиенты на которых выполняются отчеты разные, где-то 1 гиг, где то 4 гига оперативы.
Параметры VM: -Xms512m -Xmx4096m. Но это мало поможет, если у клиента 1-2 гига, а отчет большой.

Я думал может через XML уже сделать (xslt), но как то не перфекционно пользователю давать xml.

Я просто не понимаю, че они так не продумали. У меня самописный ДатаСет может хранить это все в памяти, а POI нет.

Объединение ячеек в POI происходит через метод:


Вот у меня 5 000 строк. В первой колонке 2 500 ячеек имеют одно и тоже значение, и остальные 2 500 другое и тоже значение.
т.е.


и

Petro123,

Я хочу сделать некий визард. Сейчас у меня так:
1. Программист определяет отчет как выгрузка Excel.
2. Заходит в некий визард, сует туда SQL, нажимает кнопку "Проверить"
3. JDBC достает метаданные и отображает их на JTable
4. Пользователь может указать в JTable заголовок поля, тип, ширину, суммировать или нет, и если да, то по каким группам колонок.
5. Сохраняет.

Далее конечный пользователь запускает отчет с параметрами и получает Excel.
Из вышесказанного вы должны понять, что эти отчеты не типовые, скорее аналитические. В них нет преамбул и проч. дополнений. Обычная выгрузка, но с подытогами и объеденеными ячейками.
Это должно быть так, потому, что - это просто с точки зрения использования как для разработчика отчета, так и для бухгалтера.

Garrick,

Уже =)
Но вот хочу выгрузкой SQL -> Excel

Petro123,
Хорошо, неправильно выразился: - привычнее.
А вообще я не понимаю причем тут шаблон? Шаблон делает разметку, а разметка у меня простая, она сама генерится в виде обычных столбцов. В шаблоне можно как то задать правила объединения ячеек? или вставки строк подытогов для групп?

mad_nazgul,

Да дело не в том чтобы сразу в Excel, даже пускай предпросмотр будет. Просто отчет в Jaspere нужно все равно рисовать. А тут вариант простой выгрузки с некоторыми атрибутами.

Petro123,

1. У вас есть реализация, хотя бы простейшая своего решения?
2. Про велосипеды и проч. субъективное мнение можно разговаривать, если есть однозначное и самое простое решение, а не всего лишь 1 из возможных.
3. Окошки и дизайн отчета разные вещи. То где отображается результат отчета JasperReports это рукописная система, но шаблон отчета сделан в JasperStudio, где кстати похожий "наколенный велосипед" под название "редактор SQL". В рукописной системе пользователь лишь указывает параметры выполнения отчета.

В нашей системе, если нужен типовой отчет типа УПД, он рисуется в Jaspere и регится в системе, а если нужны сводные данные или аналитика, то выгрузка в Excel.

Вообще я так и знал, что тема начнет плавно утекать в сторону альтернативных решений и фраз типа не "изобретай велосипед", т.к. отвечающим тяжело понять многих аспектов, в том числе область применения, и даже такие вещи как есть бухгалтер, тётя Мотя и вот ей надо именно так, именно здесь, даже если это уже объективно сложнее делать. А также, что есть определенный стек и прикручивать лишнее никому не захочется и даже мне.