Добрый день, коллеги.

тулз. Java Swing + JDBC + Apache POI.

Предыстория:
Делал как-то формирование Excel через poi со слиянием ячеек с одинаковыми значениями в колонках + подсчет подытогов по определенным колонкам. Данные из БД. Однажды у клиента вылезло исключение java heap spase.... В итоге подсказали что память (не стековая) засерается и нужно использовать потоковоые методы формирования Excel.

Проблема:
Начал делать как сказали, формировал Excel через Stream`инг. Но после наполнения таблицы я не могу пройтись заново по ней (чтобы вычислить что слиять, где втавить строку подитогов и т.п.), потому что часть данных уже на диске.

Вот например Oracle BI у него отчет после выполнения отрисовывается в браузере и экспортируется в Excel как мне надо. И я знаю что BI на Java. Тут конечно закрадывается мысль о том, что на серваке то памяти по более будет и поэтому там не было таких исключений.

Кто что думает на эту тему? Как не просто сформировать большой Excel, но и преобразовать его в более понятный (для бухгалтерии) вид?

Leonid Kudryavtsev,

Ну без язвительных комментариев в стиле "у кого пис...н больше" считай день в пустую!

автор1. Памяти-то сколько Java машине выделено? Увеличивать не пробывали?
Побывал! Но если бы вы внимательно прочитали, но поняли что мое решение остановилось на использовании поточного формирования, где соответственно проблемы с памятью отлетают.

автор2. Профилировшиком посмотреть, что находится в памяти не пробывали? Возможно у Вас какой нибудь resource leak происходит.
etc....
Этим я занялся сразу как начал получать исключения. И то что память начала засераться именно в либах POI, мне как бы мало помогло. А после, я полез гуглить, где сразу же наткнулся на посылы использовать поточные методы, т.к. они появились, а раньше их не было.

Petro123,
Ну со скрином проблемы, точнее могут быть. Начальство увидит по бошке даст.
Могу сказать что файл получается приблизительно 35 колонок, а строк когда как, 1 000 - 50 000.
Клиенты на которых выполняются отчеты разные, где-то 1 гиг, где то 4 гига оперативы.
Параметры VM: -Xms512m -Xmx4096m. Но это мало поможет, если у клиента 1-2 гига, а отчет большой.

Я думал может через XML уже сделать (xslt), но как то не перфекционно пользователю давать xml.

Я просто не понимаю, че они так не продумали. У меня самописный ДатаСет может хранить это все в памяти, а POI нет.

Объединение ячеек в POI происходит через метод:


Вот у меня 5 000 строк. В первой колонке 2 500 ячеек имеют одно и тоже значение, и остальные 2 500 другое и тоже значение.
т.е.


и

Petro123,

Я хочу сделать некий визард. Сейчас у меня так:
1. Программист определяет отчет как выгрузка Excel.
2. Заходит в некий визард, сует туда SQL, нажимает кнопку "Проверить"
3. JDBC достает метаданные и отображает их на JTable
4. Пользователь может указать в JTable заголовок поля, тип, ширину, суммировать или нет, и если да, то по каким группам колонок.
5. Сохраняет.

Далее конечный пользователь запускает отчет с параметрами и получает Excel.
Из вышесказанного вы должны понять, что эти отчеты не типовые, скорее аналитические. В них нет преамбул и проч. дополнений. Обычная выгрузка, но с подытогами и объеденеными ячейками.
Это должно быть так, потому, что - это просто с точки зрения использования как для разработчика отчета, так и для бухгалтера.

Garrick,

Уже =)
Но вот хочу выгрузкой SQL -> Excel

Petro123,
Хорошо, неправильно выразился: - привычнее.
А вообще я не понимаю причем тут шаблон? Шаблон делает разметку, а разметка у меня простая, она сама генерится в виде обычных столбцов. В шаблоне можно как то задать правила объединения ячеек? или вставки строк подытогов для групп?

mad_nazgul,

Да дело не в том чтобы сразу в Excel, даже пускай предпросмотр будет. Просто отчет в Jaspere нужно все равно рисовать. А тут вариант простой выгрузки с некоторыми атрибутами.

Petro123,

1. У вас есть реализация, хотя бы простейшая своего решения?
2. Про велосипеды и проч. субъективное мнение можно разговаривать, если есть однозначное и самое простое решение, а не всего лишь 1 из возможных.
3. Окошки и дизайн отчета разные вещи. То где отображается результат отчета JasperReports это рукописная система, но шаблон отчета сделан в JasperStudio, где кстати похожий "наколенный велосипед" под название "редактор SQL". В рукописной системе пользователь лишь указывает параметры выполнения отчета.

В нашей системе, если нужен типовой отчет типа УПД, он рисуется в Jaspere и регится в системе, а если нужны сводные данные или аналитика, то выгрузка в Excel.

Вообще я так и знал, что тема начнет плавно утекать в сторону альтернативных решений и фраз типа не "изобретай велосипед", т.к. отвечающим тяжело понять многих аспектов, в том числе область применения, и даже такие вещи как есть бухгалтер, тётя Мотя и вот ей надо именно так, именно здесь, даже если это уже объективно сложнее делать. А также, что есть определенный стек и прикручивать лишнее никому не захочется и даже мне.

Leonid Kudryavtsev,

автор2) Формировать документ в один проход через стриминг Но тут мы не видем кода программы. Зачем при формирование документа нужно "пройтись заново" совершенно не понятно.
Имелось ввиду что начало массива уже нет, т.к. он отправился на жд, а метод


предполагает наличие строк указанных в аргументах.

авторTest case нет, примера кода нет, что обсуждать, не очень понятно.
Вопрос был обобщенный, т.с. на идею, а не на разрешение тех. проблем.

авторНапример с помощью Oracle или PostgreSQL аналитики, вполне можно кол-во повторяющихся "одинаковые значения в колонках" посчитать на уровне SQL-запроса, без хранения данных в ОП.
Попытаюсь объяснить. В нашей компании есть программисты (разработчики), а есть что-то типа функциональных спецов, который знают SQL на примитивном уровне, знаю предметную область хорошо и не знаю программирование в целом. Так вот их задача написать SQL запрос, зарегать и настроить его в системе как выгрузка EXCEL. Никакие подсчеты или прочие технические вопросы они реализовывать через SQL не будут.

авторЛично я, например, Excel файл (XML) формирую на Oracle Forms вообще командами TEXT_IO.put_line() :-)
Да вот я тоже думаю как бы не пришлось через StringBuilder xml-ник строить и под видом xls его преподносить.

Petro123AndronovMVУ вас есть реализация, хотя бы простейшая своего решения?
2. Хотя бы с jasper решением сравни нормально. У тебя скрин простейшего отчета.

Не понял

Petro123А мы типо не имеем право?
Дело не в этом

Petro123,

Petro123Решение чего?
Скопировать всю строку #2 с получением строки #3 и вторую заполнить ячейки?

Если не сложно прикрепи xls шаблон как ты это видишь.
А лучше код обработки этого файла.
Простейший, на одну-две колонки.
Просто для понимания тебя в целом.

Petro123,

Пасиб.
Я вообще с POI работал с чистыми значениями, без формул и не знаю можно так вообще.
Почитаю еще, как че придумаю напишу.