powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Java + Apache POI. Очень долго формируется Excel-документ
25 сообщений из 50, страница 2 из 2
Java + Apache POI. Очень долго формируется Excel-документ
    #39178465
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
just_vladimir,

Да, бывает, что длина строки ну очень большая и текст уходит за границу экрана, поэтому сделал ограничение на максимальную ширину столбца. Если реальная длина строки больше, то ширина столбца будет установлена на максимальный размер, в противном случае по максимальной длине строки в столбце.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39178543
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
если это отчёт для печати, то ширина колонок постоянна. Часто уход ширины за A4 вызывает больше проблем при печати, чем какие то вычисления по вписыванию отчёта.
Ну и тема пр быстроту вроде, а не про "красивости".
"Красивости" умеет быстро полноценный сервер печати (переброс абзацев на страницу и т.д.)
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39178630
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123,

Зачем Excel для печати? Для этого другие, более надёжные, средства есть. А Excel - это посмотреть на экране, посчитать что-нибудь на формулах и т.п. А ширина столбца... ну согласись некрасиво будет если ширина столбца такая, что чтобы прочитать надо два-три экрана вправо-влево крутить.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39178667
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Warlock86При тестировании процедуры на запросе, возвращающем около 70 тысяч строк, оказалось, что весь процесс занял примерно 12 часов, из которых собственно выполнение SQL-запроса занимало меньше 20 минут. Подскажите, пожалуйста, есть ли какой-нибудь способ ускорить формирование Excel-файла?
GarrickЗачем Excel для печати?
да!
Одно дело для печати. Другое для формул (подгонять равно). Третье для итогов.
Везде решение разное.
Топик стартовали для 70 000 строк. Я и подумал - для печати)).
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39178747
lor2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
а чем хехель не нравится для печати? мне вот недавно задачу поставили - выдирать из базы и делать красивый прайслист. причем первая страница может через форму доп инфа добавляться, 1 строка или 40 строк. хз. пустое место должно быть заполнено таблицей с заголовком из разл наименований. я тупо сделал в екселе шаблон и закрепил заголовок таблицы как заголовок страницы и всё. просто вставляю тело таблицы и нужную инфу а он сам разбивает. теперь задача номер2 - сделать тоже самое при помощи хтмла и жсп. ну да, можно рассчитать количество строк на страницу и вбивать пейджбрейк - оно создает красивый такой документ. НО это всё легко сделать до тех пор пока ты знаешь сколько у тебя строк и сколько на первом листе утебя будет вставлено инфы, и высота строк постоянная. если эти данные начинают плавать - то всё. вешайся.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39178757
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
lor2рассчитать количество строк на страницу
кто в 3-ем тысячелетии решает такую техническую задачу сам? Очень сомнительно.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39178771
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
lor2а чем хехель не нравится для печати?
Из известных мне форматов файлов только PDF позволяет пользователю однозначно вывести на принтер именно то, что задумал программист.
lor2...- то всё. вешайся.
Для таких задач есть XSL-FO. Познакомьтесь с Apache FOP например.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39179009
am_sasa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
GarrickДля таких задач есть XSL-FO. Познакомьтесь с Apache FOP например.
автор70 тысяч строк
XSLT-это DOM, там с памятью могут быть всякие ООМ
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39179108
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
am_sasa,

авторXSLT-это DOM, там с памятью могут быть всякие ООМ
А если в Excel листы форматировать для печати, то ничего такого не будет? Или там у @lor2 HTML-страница с прайс-листом на пару гигов? OOM всегда можно устроить при желании, никакого DOM для этого не надо. :)
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39179119
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
am_sasaXSLT-это DOM, там с памятью могут быть всякие ООМ
А не SAX ?

Не знаю как сейчас, но раньше XSLT-трансформеры на SAX'е делали.

IMHO & AFAIK
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39179124
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сейчас Xalan работает через DTM

https://xml.apache.org/xalan-j/dtm.html

В память грузить XML придется, но overhead должен быть значительно меньше классического DOM.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39179286
lor2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Garricklor2а чем хехель не нравится для печати?
Из известных мне форматов файлов только PDF позволяет пользователю однозначно вывести на принтер именно то, что задумал программист.
lor2...- то всё. вешайся.
Для таких задач есть XSL-FO. Познакомьтесь с Apache FOP например.
так я по-сути хтмл в пдф и конвертил. действительно здорово всё получается. т.к. имею некоторый опыт верстки всякого табличного хлама в связках жстл-хтмл. и печатается на всех девайсах одинаково. единственное что у меня вызывало затруднение - сказано выше. но это уже охамевшие хочунки заказчика. простой прайс им видите ли не надо на фирменном бланке стандартной форме им надо прайс от юдашкина. по поводу фопа спасибо. гляну. мне лично было бы удобнее дальше генерить документы внутри жсп а потом потоком в айтекст отдавать и пусть он генерит из хтмла готовый пдф.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39179288
lor2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Garrickam_sasa,

авторXSLT-это DOM, там с памятью могут быть всякие ООМ
А если в Excel листы форматировать для печати, то ничего такого не будет? Или там у @lor2 HTML-страница с прайс-листом на пару гигов? OOM всегда можно устроить при желании, никакого DOM для этого не надо. :)
нет, что вы. у меня прайсы в среднем до 4000-4500 позиций. это не пару гигов это в районе сотни. килобайт. ) если с фирменными бланками то может чуть больше - не смотрел. но получается реально красиво. если точно знать сколько строк на каждой странице.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39180310
Фотография A Serious Man
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
недавно пользовался этим пои. в пределах нескольких тысяч записей вполне быстро сохранял. секунды
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39185671
Warlock86
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
A Serious Man недавно пользовался этим пои. в пределах нескольких тысяч записей вполне быстро сохранял. секунды

Может быть. Но когда счёт идёт на десятки тысяч записей, начинает страшно тормозить. В итоге я решил задачу другим способом. В хранимой процедуре формирую XML-файлы, которые сохраняю на жёсткий диск и уже потом с помощью Java запаковываю их в Zip-архив с расширением XLSX.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39185750
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мне кажется встроенная в Oracle Java не очень быстрая.
Возможно, банальный перенос на другой app-sever
решил-бы проблемы автора.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39185947
Partisan M
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Warlock86Но когда счёт идёт на десятки тысяч записей, начинает страшно тормозить.

Уточнение: у вас начинает страшно тормозить. В чём и был ваш вопрос. Но виновато не POI. Надо бвло искать свою ошибку. Вы в вашей программе не экономили память, загружая в неё сразу весь набор данных. Возможно есть ещё какие дефекты в программе. Я их не стал искать поскольку вы не отреагировали на моё первоначальное предложение. При правильном программировании POI не замедлится и от десятков тысяч строк, что мной проверено.

mayton
Мне кажется встроенная в Oracle Java не очень быстрая.
Возможно, банальный перенос на другой app-sever
решил-бы проблемы автора.


Чтобы проблемы были решены, надо программировать правильно. Но сервер приложений тут ни причём. Афтар зачем-то сделал программу в виде хранимой процедуры в Oracle, а они выполняются самой СУБД Oracle без сервера приложений.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
Java + Apache POI. Очень долго формируется Excel-документ
    #39787574
Фотография stells2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
имхо, тут дело не в "построчном" чтении. А в фомировании самого листа excel.
У меня сейчас (и даже не в Oracle а просто отдельный софт) экспорт запроса на 432 строки заметное время отномает.
т.е. если в любой другой формат, хоть html хоть в scv и прочее - доля секунды, а в Excel минуту наверно (не засекал но видимо долго).

На эту тему набрел в поисках ответа "как ускорить экпорт в excel org.apache.poi".
Помню, в другой среде, существенно было быстрей локально формировать массив а потом этот масив вставлять на лист, может, думал и тут что-то похожее есть.

А насчет "70 тысяч строк" - это не для excel задача (видимо забыли, что еще не так давно, было ограничение у него на 32 000 :D ). Да и не для печати.
Но, это уже не к теме.

Так есть варианты ускорить формирование листа? Не по строчно записывать а массивом (как пример) ?
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39787618
Фотография stells2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Время открытие книги: 0,117
Время формирование заголовка: 0,006
Время формирование данных: 53,548 сек, строк: 436 колонок: 9
Время записи файла: 0,041
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39787641
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
stells2,


Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
public class ApachePOITest {

    @Test
    public void simpleTest() throws ServiceException {
        long start = System.currentTimeMillis();
        HSSFWorkbook wb = new HSSFWorkbook();
        Sheet sheet = wb.createSheet();
        PrintSetup printSetup = sheet.getPrintSetup();
        printSetup.setLandscape(true);

        for (int rows = 0; rows < 500; rows++) {
            Row row = sheet.createRow(rows);
            for (int cols = 0; cols < 10; cols++) {
                Cell cell = row.createCell(cols);
                cell.setCellValue("r=" + rows + "; c=" + cols);
            }
        }

        File file = WorkBookUtils.createFile(wb, "simple_report");
        long end = System.currentTimeMillis();
        System.out.println("elapsed time = " + TimeUnit.SECONDS.convert((end - start), TimeUnit.MILLISECONDS) + " sec.\n" + file.getAbsolutePath());
    }
}



Код: sql
1.
elapsed time = 0 sec.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39787667
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Там есть вторая имплементация XSSFWorkbook. Для xml-формата.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39787673
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonТам есть вторая имплементация XSSFWorkbook. Для xml-формата.

думаете, что вторая имплементация даст 50+секунд на формирование жалких 500 строк?:)
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39787679
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я ничего не думаю. Я просто говорю что надо тестить обе. Там еще и zip-архивация идет.
Мало-ли какие еще гвозди и болты забиты.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39787729
Фотография stells2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Озверинstells2,
Код: sql
1.
elapsed time = 0 sec.



Запись данных : 0,525 сек
Записб файла: 0,031 сек

Да.. там стояло sheet.autoSizeColumn(i); в цикле записи данных.
Вынес в отдельный цикл после записи данных, результат выше :)

Просто, форматированный вывод.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39787733
Фотография stells2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonТам есть вторая имплементация XSSFWorkbook. Для xml-формата.
спасибо, будем посмотреть :)
Как то не озадачивался раньше этими вещами.
...
Рейтинг: 0 / 0
25 сообщений из 50, страница 2 из 2
Форумы / Java [игнор отключен] [закрыт для гостей] / Java + Apache POI. Очень долго формируется Excel-документ
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]