|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Есть задача реализовать средствами Oracle автоматическое построение произвольного отчёта с сохранением его в Excel-файл. Написал хранимую процедуру, которая получает в качестве параметра текст SQL-запроса, строит его и сохраняет результат в переменную типа TABLE of CLOB: каждый элемент - строка, значения колонок разделены символом "~". Затем эта переменная передаётся в Java-процедуру, которая должна поместить данные в заранее созданный Excel-файл. При тестировании процедуры на запросе, возвращающем около 70 тысяч строк, оказалось, что весь процесс занял примерно 12 часов, из которых собственно выполнение SQL-запроса занимало меньше 20 минут. Подскажите, пожалуйста, есть ли какой-нибудь способ ускорить формирование Excel-файла? Текст Java-кода: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74.
... |
|||
:
Нравится:
Не нравится:
|
|||
19.02.2016, 10:44 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
IMHO принципиально ускорить: XML (как текст или SAX) или CSV Если бы ты через OLE Automation в Excel заталкивал, подозреваю было бы еще медленнее. Не принципиально: 1. Вынести весь это бардак с сервера БД. На месте админов, я бы за такое убивал 2. Разбираться с настройками памяти Java машины, но во встроенной в СУБД JVM - это будет совсем не тривиально, а может даже и почти не возможно ( "там automatic memory management, Oracle умный, сам знает как лучше" ( C ) админ по поводу настройки памяти в Oracle) 3. Профилировать и разбираться что тормозит IMHO. С POI работал очень давно, лет 10-15 назад ))). ... |
|||
:
Нравится:
Не нравится:
|
|||
19.02.2016, 12:18 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Warlock86, Посмотрите https://poi.apache.org/spreadsheet/how-to.html#sxssf Вы посимвольно сканируете строку на нахождение символа "~", вместо того, что бы сразу разбить её на подстроки - см. split И вообще с массивом строк, мне кажется, не лучшая идея. Сначала вы набор данных загоняете в массив, потом вытаскиваете всё обратно. Непосредственно с набором данных работать не пробовали? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.02.2016, 13:01 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Warlock86, 1. Обязательно открывать и читать старый файл? Может создавать новый лучше. 2. Я бы использовал Reader Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16.
3. Последний символ не обрабатывается while(ch<l) <- ch<=l ... |
|||
:
Нравится:
Не нравится:
|
|||
19.02.2016, 13:03 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Garrick , попробовал сделать так, как указано по ссылке. Возвращает ошибку ORA-29532: Java call terminated by uncaught Java exception: java.lang.SecurityException: Unable to create temporary file. Добавил в код эту строчку: Код: java 1.
ничего не изменилось. Как определить, где программа пытается создать временный файл? Или как изменить этот каталог? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.02.2016, 16:32 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
[quot Warlock86] Garrick , попробовал сделать так, как указано по ссылке. Возвращает ошибку ORA-29532: Java call terminated by uncaught Java exception: java.lang.SecurityException: Unable to create temporary file. Добавил в код эту строчку: Код: java 1.
ничего не изменилось. Временный файл создаётся в каталоге предусотренным для этого операционной системой. Проблема не в наличии каталога и прав доступа к нему, а в грантах текущего пользователя внутри Oracle. см. http://citforum.ru/database/oracle/kyte/19.shtml там есть примеры раздачи прав через процедуру GRANT_PERMISSION в пакете DBMS_JAVA ... |
|||
:
Нравится:
Не нравится:
|
|||
20.02.2016, 09:40 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Warlock86Как определить, где программа пытается создать временный файл? Или как изменить этот каталог? Извиняюсь, как-то криво цитата вставилась. Жалко редактировать нельзя. Итак... Временный файл создаётся в каталоге предусотренным для этого операционной системой. Проблема не в наличии каталога и прав доступа к нему, а в грантах текущего пользователя внутри Oracle. см. http://citforum.ru/database/oracle/kyte/19.shtml там есть примеры раздачи прав через процедуру GRANT_PERMISSION в пакете DBMS_JAVA ... |
|||
:
Нравится:
Не нравится:
|
|||
20.02.2016, 09:44 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Garrick , как давать пользователю права на чтение/запись файлов через DBMS_JAVA я знаю. Вопрос в том, что за папка используется для временных файлов (Windows Server 2008 R2 Standard x64)? Попробовал Код: java 1.
- не помогло. После Код: java 1.
заработало, но мне кажется, неправильно давать пользователю право на запись во все папки диска C. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.02.2016, 10:57 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Немного некорректно выразился в предыдущем сообщении. Неправильно запустил процедуру, потому она и завершилась без ошибок (проблемный Java-код просто не запустился :-) ). При повторном запуске была уже ошибка на то, что у пользователя нет прав на удаление файлов и вот там уже был указан полный путь к директории. Выполнил следующие строчки: Код: plsql 1. 2. 3. 4.
где USER1 - имя пользователя, и всё заработало. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.02.2016, 11:11 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Апну тему, т.к. проблема, точнее говоря задача у меня схожая. Формирую xlsx файлы с использованием XSSFWorkbook и скорость, которую выдает POI не очень радует, например, формирование таблицы 25 колонок * 100 строк, данные для которой уже профетчены из БД и уже закэшированы в рамках Java'овского процесса, занимает порядка 30 секунд. А бывает, что нужно сформировать файл тысячи, десятки тысяч строк и получается, такие файлы формируются уже десятками минут, при этом свободных аппаратных ресурсов навалом (куча свободных ядер, памяти). Вот думаю, можно ли, как-нибудь распараллелить формирование файла, тем самым сократить время формирования файла, повысить утилизацию ресурсов? ЗЫ: пытался гуглить на тему ThreadSafe у POI, но ничего внятного не нашел. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.02.2016, 20:57 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
just_vladimirдесятки тысяч строк в excell? Уверены? Бумаги не жалко? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.02.2016, 21:37 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Petro123just_vladimirдесятки тысяч строк в excell? Уверены? Бумаги не жалко? Уверен абсолютно, про бумагу не осилил. Есть соображения, как можно повысить скорость формирования? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.02.2016, 21:42 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
just_vladimir, На такой объём нужен СЕРВЕР печати. Или JasperReport но не POI. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.02.2016, 22:01 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Petro123, сервер печати? Вы о чем, стало еще непонятней... А в JasperReport раньше вроде тоже POI использовался, что то изменилось? За счет чего он будет быстрее? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.02.2016, 22:04 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
just_vladimirЗа счет чего он будет быстрее? - его можно посадить вообще на отдельную машину. - у него обычный запрос к БД который можно отладить и оттюнить в любой БД, а потом записать в Jasper. Где тут будет тормозить - выясняйте. Если вы не ТС, то по новой описывайте проблему и что пытались делать. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.02.2016, 22:21 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Petro123just_vladimirЗа счет чего он будет быстрее? - его можно посадить вообще на отдельную машину. - у него обычный запрос к БД который можно отладить и оттюнить в любой БД, а потом записать в Jasper. Где тут будет тормозить - выясняйте. Если вы не ТС, то по новой описывайте проблему и что пытались делать. Я не ТС, особого смысла в размножении тем не вижу, свою проблему описал в этом посте: авторФормирую xlsx файлы с использованием XSSFWorkbook и скорость, которую выдает POI не очень радует, например, формирование таблицы 25 колонок * 100 строк, данные для которой уже профетчены из БД и уже закэшированы в рамках Java'овского процесса, занимает порядка 30 секунд. А бывает, что нужно сформировать файл тысячи, десятки тысяч строк и получается, такие файлы формируются уже десятками минут, при этом свободных аппаратных ресурсов навалом (куча свободных ядер, памяти). Вот думаю, можно ли, как-нибудь распараллелить формирование файла, тем самым сократить время формирования файла, повысить утилизацию ресурсов? ЗЫ: пытался гуглить на тему ThreadSafe у POI, но ничего внятного не нашел. Хотя если администрация форума считает, что нужна отдельная, то без проблем создам. У меня отдельно сервер БД, отдельно сервер с Java приложением, проблем с запросом у меня нет и измеряю время затрачиваемое исключительно на формирование xlsx (все нужные данные уже внутри Java'овской коллекции) и, к сожалению, это время далеко от идеала. Есть конечно же вариант вспомнить, что xlsx это всего лишь zip'ованный xml, который можно сгенерировать каким-нибудь шаблонным движком и вероятно будет приемлемо быстро, но вдруг все таки POI предлагает какие нибудь красивые возможности по быстрому формированию файлов. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.02.2016, 22:37 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
just_vladimirэто время далеко от идеала. - поиск делал? Тут хотя бы цифры времени есть О выгрузке в excel - есть ветка форума отдельно для таких больших (странных) отчётов. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.02.2016, 23:10 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
У Excel достаточно простой XML формат. Выгрузить свои данные в XML, создать XSL файл, натравить на исходный XML какой нибудь XSL-транформер (Xalan/Xerces), открыть в Excel. Профит. Главное DOM не использовать и будет так быстро, как только возможно. IMHO & AFAIK ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2016, 14:22 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Leonid KudriavtsevВыгрузить свои данные в XML, создать XSL файл, натравить на исходный XML какой нибудь XSL-транформер (Xalan/Xerces), открыть в Excel. Профит. Неправильное решение. Если нужно сделать отчёт "средствами Oracle", то такие средства есть - генераторы отчётов Oracle Reports (устаревший, но всё ещё годный) и новый Oracle BI Publisher. Даже если их не использовать, то это решение лишено смысла, т.к. POI работает очень быстро и расходует мало памяти при правильном использовании (что я сам испытывал). Приведённый пример расходует много памяти, что показывает, что автор не потрудился изучить POI. Почему он работает медленно - заочно сказать трудно, надо смотреть, где торможение. Если памяти не хватает из-за её большого расхода, то будет тормозить. Но возможны другие причины. Но мне бы и в голову не пришло делать для этого хранимые процедуры в Oracle, т.к. они предназначены для расширения возможностей PL/SQL, чего тут не наблюдается. Можно попробовать оформить этот код в виде клиентского приложения, чтобы сравнить скорость. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2016, 14:53 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Partisan MЕсли нужно сделать отчёт "средствами Oracle", то такие средства есть - генераторы отчётов Oracle Reports (устаревший, но всё ещё годный) и новый Oracle BI Publisher. + На проектах все на BI Publisher'е делали. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2016, 14:56 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
+ за BI ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2016, 18:05 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
just_vladimir, Есть подозрение, что POI тут ни при чём. Попробуйте выгрузить ваши данные используя тот же самый алгоритм формирования "ячеек", например в CSV-файл. Сильно ли увеличится скорость формирования файла по сравнению с POI? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.02.2016, 09:22 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Garrick, судя по всему дело в автоподгоноке ширины колонок, думаю для больших выгрузок откажусь от этого. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.02.2016, 17:52 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
just_vladimirGarrick, судя по всему дело в автоподгоноке ширины колонок, думаю для больших выгрузок откажусь от этого. Я в процессе дабавления ячеек запоминаю максимальную длину строк в столбцах, а по окончании формирования всей таблицы устанавливаю ширину столбцов по этим значениям. Можно посмотреть здесь . ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 09:54 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Garrick, Спасибо! Решение красивое, наверное так и поступлю. А получается, что много строчные колонки просто будут получать максимальную ширину? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 11:00 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
just_vladimir, Да, бывает, что длина строки ну очень большая и текст уходит за границу экрана, поэтому сделал ограничение на максимальную ширину столбца. Если реальная длина строки больше, то ширина столбца будет установлена на максимальный размер, в противном случае по максимальной длине строки в столбце. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 11:07 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
если это отчёт для печати, то ширина колонок постоянна. Часто уход ширины за A4 вызывает больше проблем при печати, чем какие то вычисления по вписыванию отчёта. Ну и тема пр быстроту вроде, а не про "красивости". "Красивости" умеет быстро полноценный сервер печати (переброс абзацев на страницу и т.д.) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 11:43 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Petro123, Зачем Excel для печати? Для этого другие, более надёжные, средства есть. А Excel - это посмотреть на экране, посчитать что-нибудь на формулах и т.п. А ширина столбца... ну согласись некрасиво будет если ширина столбца такая, что чтобы прочитать надо два-три экрана вправо-влево крутить. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 12:23 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Warlock86При тестировании процедуры на запросе, возвращающем около 70 тысяч строк, оказалось, что весь процесс занял примерно 12 часов, из которых собственно выполнение SQL-запроса занимало меньше 20 минут. Подскажите, пожалуйста, есть ли какой-нибудь способ ускорить формирование Excel-файла? GarrickЗачем Excel для печати? да! Одно дело для печати. Другое для формул (подгонять равно). Третье для итогов. Везде решение разное. Топик стартовали для 70 000 строк. Я и подумал - для печати)). ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 12:42 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
а чем хехель не нравится для печати? мне вот недавно задачу поставили - выдирать из базы и делать красивый прайслист. причем первая страница может через форму доп инфа добавляться, 1 строка или 40 строк. хз. пустое место должно быть заполнено таблицей с заголовком из разл наименований. я тупо сделал в екселе шаблон и закрепил заголовок таблицы как заголовок страницы и всё. просто вставляю тело таблицы и нужную инфу а он сам разбивает. теперь задача номер2 - сделать тоже самое при помощи хтмла и жсп. ну да, можно рассчитать количество строк на страницу и вбивать пейджбрейк - оно создает красивый такой документ. НО это всё легко сделать до тех пор пока ты знаешь сколько у тебя строк и сколько на первом листе утебя будет вставлено инфы, и высота строк постоянная. если эти данные начинают плавать - то всё. вешайся. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 13:26 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
lor2рассчитать количество строк на страницу кто в 3-ем тысячелетии решает такую техническую задачу сам? Очень сомнительно. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 13:33 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
lor2а чем хехель не нравится для печати? Из известных мне форматов файлов только PDF позволяет пользователю однозначно вывести на принтер именно то, что задумал программист. lor2...- то всё. вешайся. Для таких задач есть XSL-FO. Познакомьтесь с Apache FOP например. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 13:46 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
GarrickДля таких задач есть XSL-FO. Познакомьтесь с Apache FOP например. автор70 тысяч строк XSLT-это DOM, там с памятью могут быть всякие ООМ ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 16:01 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
am_sasa, авторXSLT-это DOM, там с памятью могут быть всякие ООМ А если в Excel листы форматировать для печати, то ничего такого не будет? Или там у @lor2 HTML-страница с прайс-листом на пару гигов? OOM всегда можно устроить при желании, никакого DOM для этого не надо. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 16:42 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
am_sasaXSLT-это DOM, там с памятью могут быть всякие ООМ А не SAX ? Не знаю как сейчас, но раньше XSLT-трансформеры на SAX'е делали. IMHO & AFAIK ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 16:46 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Сейчас Xalan работает через DTM https://xml.apache.org/xalan-j/dtm.html В память грузить XML придется, но overhead должен быть значительно меньше классического DOM. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 16:51 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Garricklor2а чем хехель не нравится для печати? Из известных мне форматов файлов только PDF позволяет пользователю однозначно вывести на принтер именно то, что задумал программист. lor2...- то всё. вешайся. Для таких задач есть XSL-FO. Познакомьтесь с Apache FOP например. так я по-сути хтмл в пдф и конвертил. действительно здорово всё получается. т.к. имею некоторый опыт верстки всякого табличного хлама в связках жстл-хтмл. и печатается на всех девайсах одинаково. единственное что у меня вызывало затруднение - сказано выше. но это уже охамевшие хочунки заказчика. простой прайс им видите ли не надо на фирменном бланке стандартной форме им надо прайс от юдашкина. по поводу фопа спасибо. гляну. мне лично было бы удобнее дальше генерить документы внутри жсп а потом потоком в айтекст отдавать и пусть он генерит из хтмла готовый пдф. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 19:50 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Garrickam_sasa, авторXSLT-это DOM, там с памятью могут быть всякие ООМ А если в Excel листы форматировать для печати, то ничего такого не будет? Или там у @lor2 HTML-страница с прайс-листом на пару гигов? OOM всегда можно устроить при желании, никакого DOM для этого не надо. :) нет, что вы. у меня прайсы в среднем до 4000-4500 позиций. это не пару гигов это в районе сотни. килобайт. ) если с фирменными бланками то может чуть больше - не смотрел. но получается реально красиво. если точно знать сколько строк на каждой странице. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2016, 19:53 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
недавно пользовался этим пои. в пределах нескольких тысяч записей вполне быстро сохранял. секунды ... |
|||
:
Нравится:
Не нравится:
|
|||
26.02.2016, 22:33 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
A Serious Man недавно пользовался этим пои. в пределах нескольких тысяч записей вполне быстро сохранял. секунды Может быть. Но когда счёт идёт на десятки тысяч записей, начинает страшно тормозить. В итоге я решил задачу другим способом. В хранимой процедуре формирую XML-файлы, которые сохраняю на жёсткий диск и уже потом с помощью Java запаковываю их в Zip-архив с расширением XLSX. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.03.2016, 10:49 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Мне кажется встроенная в Oracle Java не очень быстрая. Возможно, банальный перенос на другой app-sever решил-бы проблемы автора. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.03.2016, 11:26 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Warlock86Но когда счёт идёт на десятки тысяч записей, начинает страшно тормозить. Уточнение: у вас начинает страшно тормозить. В чём и был ваш вопрос. Но виновато не POI. Надо бвло искать свою ошибку. Вы в вашей программе не экономили память, загружая в неё сразу весь набор данных. Возможно есть ещё какие дефекты в программе. Я их не стал искать поскольку вы не отреагировали на моё первоначальное предложение. При правильном программировании POI не замедлится и от десятков тысяч строк, что мной проверено. mayton Мне кажется встроенная в Oracle Java не очень быстрая. Возможно, банальный перенос на другой app-sever решил-бы проблемы автора. Чтобы проблемы были решены, надо программировать правильно. Но сервер приложений тут ни причём. Афтар зачем-то сделал программу в виде хранимой процедуры в Oracle, а они выполняются самой СУБД Oracle без сервера приложений. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.03.2016, 14:28 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
имхо, тут дело не в "построчном" чтении. А в фомировании самого листа excel. У меня сейчас (и даже не в Oracle а просто отдельный софт) экспорт запроса на 432 строки заметное время отномает. т.е. если в любой другой формат, хоть html хоть в scv и прочее - доля секунды, а в Excel минуту наверно (не засекал но видимо долго). На эту тему набрел в поисках ответа "как ускорить экпорт в excel org.apache.poi". Помню, в другой среде, существенно было быстрей локально формировать массив а потом этот масив вставлять на лист, может, думал и тут что-то похожее есть. А насчет "70 тысяч строк" - это не для excel задача (видимо забыли, что еще не так давно, было ограничение у него на 32 000 :D ). Да и не для печати. Но, это уже не к теме. Так есть варианты ускорить формирование листа? Не по строчно записывать а массивом (как пример) ? ... |
|||
:
Нравится:
Не нравится:
|
|||
18.03.2019, 10:26 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Время открытие книги: 0,117 Время формирование заголовка: 0,006 Время формирование данных: 53,548 сек, строк: 436 колонок: 9 Время записи файла: 0,041 ... |
|||
:
Нравится:
Не нравится:
|
|||
18.03.2019, 11:15 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
stells2, Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23.
Код: sql 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
18.03.2019, 11:46 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Там есть вторая имплементация XSSFWorkbook. Для xml-формата. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.03.2019, 12:13 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
maytonТам есть вторая имплементация XSSFWorkbook. Для xml-формата. думаете, что вторая имплементация даст 50+секунд на формирование жалких 500 строк?:) ... |
|||
:
Нравится:
Не нравится:
|
|||
18.03.2019, 12:22 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Я ничего не думаю. Я просто говорю что надо тестить обе. Там еще и zip-архивация идет. Мало-ли какие еще гвозди и болты забиты. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.03.2019, 12:26 |
|
Java + Apache POI. Очень долго формируется Excel-документ
|
|||
---|---|---|---|
#18+
Озверинstells2, Код: sql 1.
Запись данных : 0,525 сек Записб файла: 0,031 сек Да.. там стояло sheet.autoSizeColumn(i); в цикле записи данных. Вынес в отдельный цикл после записи данных, результат выше :) Просто, форматированный вывод. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.03.2019, 13:12 |
|
|
start [/forum/topic.php?all=1&fid=59&tid=2121424]: |
0ms |
get settings: |
9ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
48ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
85ms |
get tp. blocked users: |
1ms |
others: | 14ms |
total: | 194ms |
0 / 0 |