powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Java + Apache POI. Очень долго формируется Excel-документ
25 сообщений из 50, страница 1 из 2
Java + Apache POI. Очень долго формируется Excel-документ
    #39175013
Warlock86
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Есть задача реализовать средствами Oracle автоматическое построение произвольного отчёта с сохранением его в Excel-файл. Написал хранимую процедуру, которая получает в качестве параметра текст SQL-запроса, строит его и сохраняет результат в переменную типа TABLE of CLOB: каждый элемент - строка, значения колонок разделены символом "~". Затем эта переменная передаётся в Java-процедуру, которая должна поместить данные в заранее созданный Excel-файл. При тестировании процедуры на запросе, возвращающем около 70 тысяч строк, оказалось, что весь процесс занял примерно 12 часов, из которых собственно выполнение SQL-запроса занимало меньше 20 минут. Подскажите, пожалуйста, есть ли какой-нибудь способ ускорить формирование Excel-файла?

Текст Java-кода:

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
import  java.io.*;
import  org.apache.poi.hssf.usermodel.HSSFSheet;
import  org.apache.poi.hssf.usermodel.HSSFWorkbook;
import  org.apache.poi.hssf.usermodel.HSSFRow;
import  org.apache.poi.hssf.usermodel.HSSFCell;
import java.sql.*;
import java.math.*;
import oracle.sql.*;

public class TestExcel { /*Создание пустого файла*/
	public static void createFile(String f) throws FileNotFoundException, IOException, NullPointerException {
		HSSFWorkbook workbook = new HSSFWorkbook();
		HSSFSheet sheet = workbook.createSheet("Лист 1");
		FileOutputStream fileOut = new FileOutputStream(f);
		workbook.write(fileOut);
		fileOut.close();
	}

	private static void show_array_info( oracle.sql.ARRAY p_in ) throws SQLException, ClassCastException {
		System.out.println( "Array is of type      " + p_in.getSQLTypeName() );
		System.out.println( "Array is of type code " + p_in.getBaseType() );
		System.out.println( "Array is of length    " + p_in.length() );
	}
	
	public static void setCells(String f, int r, int c, oracle.sql.ARRAY v)  throws FileNotFoundException, IOException, NullPointerException, ClassCastException, SQLException {
		/*Параметры: f - путь к файлу, r - количество строк, c - количество колонок, v - массив данных*/
		long i;
		int j;
		long s;
		s=1;
		FileInputStream input_document = new FileInputStream(new File(f)); /*Открытие файла*/
		HSSFWorkbook my_xls_workbook = new HSSFWorkbook(input_document);
		HSSFSheet my_worksheet = my_xls_workbook.getSheetAt(0);
		show_array_info(v);
                CLOB[] v_rows;
                v_rows = (CLOB[]) v.getArray(); /*Загрузка массива строк*/
		for(i=0;i<r;i++) {
			if(i % 65000 == 0 && i>0) {
				my_worksheet = my_xls_workbook.createSheet("Лист " + (s+1)); /*Переход на новый лист, если количество строк превышает 65 000*/
				s++;
			}
			int ii=(int)(i-65000*(s-1)); /*Номер строки*/
			HSSFRow row = my_worksheet.getRow(ii);
			if (row==null) {
				row = my_worksheet.createRow(ii);
			}
			CLOB v_cells=v_rows[(int) i]; /*Получение строки*/
			long l=v_cells.length(); /*Длина всей строки*/
			long ch=1; /*Проверяемый символ*/
			long st=1; /*Начало подстроки*/
                        j=0; /*Номер колонки*/
			while(ch<l){
				if(v_cells.getSubString(ch,1).equals("~")) { /*Если в строке обнаружен символ ~, добавляем новую ячейку*/
					HSSFCell cell = row.getCell(j); 
					if (cell==null) {
						cell = row.createCell(j);
					}
					if(ch==st) { /*Если начало подстроки совпадает с символом ~, добавляем пустую ячейку, иначе добавляем в ячейку подстроку*/
						cell.setCellValue(" ");
					} else {
						cell.setCellValue(v_cells.getSubString(st,(int)(ch-st)));
					}
					j++;
					st=ch+1; /*Сдвигаем начало подстроки на позицию после последнего найденного символа ~*/
				}
				ch++;
			}
		}
		input_document.close();
		FileOutputStream output_file =new FileOutputStream(new File(f));
		my_xls_workbook.write(output_file); /*Сохраняем изменённый файл*/
		output_file.close();
	}
}
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39175154
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
IMHO принципиально ускорить: XML (как текст или SAX) или CSV

Если бы ты через OLE Automation в Excel заталкивал, подозреваю было бы еще медленнее.

Не принципиально:
1. Вынести весь это бардак с сервера БД. На месте админов, я бы за такое убивал
2. Разбираться с настройками памяти Java машины, но во встроенной в СУБД JVM - это будет совсем не тривиально, а может даже и почти не возможно ( "там automatic memory management, Oracle умный, сам знает как лучше" ( C ) админ по поводу настройки памяти в Oracle)
3. Профилировать и разбираться что тормозит

IMHO. С POI работал очень давно, лет 10-15 назад ))).
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39175208
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Warlock86,

Посмотрите https://poi.apache.org/spreadsheet/how-to.html#sxssf
Вы посимвольно сканируете строку на нахождение символа "~", вместо того, что бы сразу разбить её на подстроки - см. split
И вообще с массивом строк, мне кажется, не лучшая идея. Сначала вы набор данных загоняете в массив, потом вытаскиваете всё обратно. Непосредственно с набором данных работать не пробовали?
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39175212
0FD
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Warlock86,

1. Обязательно открывать и читать старый файл? Может создавать новый лучше.
2. Я бы использовал Reader
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
Reader r=v_rows.getCharacterStream();
StringBuilder sb=new StringBuilder();
while((ch=r.read())!=-1){
  if(ch=='~') { /*Если в строке обнаружен символ ~, добавляем новую ячейку*/
    HSSFCell cell = row.getCell(j); 
  if (cell==null) {
    cell = row.createCell(j);
  }
  cell.setCellValue(sb.length()==0?" ":sb.toString());
  sb.setLength(0);
  j++;
 }else{
   sb.append(ch);
 }
}
cell.setCellValue(sb.length()==0?" ":sb.toString());


3. Последний символ не обрабатывается while(ch<l) <- ch<=l
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39175445
Warlock86
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Garrick , попробовал сделать так, как указано по ссылке. Возвращает ошибку ORA-29532: Java call terminated by uncaught Java exception: java.lang.SecurityException: Unable to create temporary file.

Добавил в код эту строчку:
Код: java
1.
System.setProperty("java.io.tmpdir", "Путь к директории для которой у пользователя есть права записи");


ничего не изменилось.

Как определить, где программа пытается создать временный файл? Или как изменить этот каталог?
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39175799
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot Warlock86] Garrick , попробовал сделать так, как указано по ссылке. Возвращает ошибку ORA-29532: Java call terminated by uncaught Java exception: java.lang.SecurityException: Unable to create temporary file.

Добавил в код эту строчку:
Код: java
1.
System.setProperty("java.io.tmpdir", "Путь к директории для которой у пользователя есть права записи");


ничего не изменилось.

Временный файл создаётся в каталоге предусотренным для этого операционной системой. Проблема не в наличии каталога и прав доступа к нему, а в грантах текущего пользователя внутри Oracle. см. http://citforum.ru/database/oracle/kyte/19.shtml там есть примеры раздачи прав через процедуру GRANT_PERMISSION в пакете DBMS_JAVA
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39175805
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Warlock86Как определить, где программа пытается создать временный файл? Или как изменить этот каталог?

Извиняюсь, как-то криво цитата вставилась. Жалко редактировать нельзя.
Итак...

Временный файл создаётся в каталоге предусотренным для этого операционной системой. Проблема не в наличии каталога и прав доступа к нему, а в грантах текущего пользователя внутри Oracle. см. http://citforum.ru/database/oracle/kyte/19.shtml там есть примеры раздачи прав через процедуру GRANT_PERMISSION в пакете DBMS_JAVA
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39175857
Warlock86
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Garrick , как давать пользователю права на чтение/запись файлов через DBMS_JAVA я знаю. Вопрос в том, что за папка используется для временных файлов (Windows Server 2008 R2 Standard x64)? Попробовал
Код: java
1.
dbms_java.grant_permission('USER_NAME','java.io.FilePermission','c:\Windows\Temp-','write');

- не помогло. После
Код: java
1.
dbms_java.grant_permission('USER_NAME','java.io.FilePermission','c:\-','write');

заработало, но мне кажется, неправильно давать пользователю право на запись во все папки диска C.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39175877
Warlock86
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Немного некорректно выразился в предыдущем сообщении. Неправильно запустил процедуру, потому она и завершилась без ошибок (проблемный Java-код просто не запустился :-) ). При повторном запуске была уже ошибка на то, что у пользователя нет прав на удаление файлов и вот там уже был указан полный путь к директории. Выполнил следующие строчки:

Код: plsql
1.
2.
3.
4.
begin
dbms_java.grant_permission( 'RFO', 'SYS:java.io.FilePermission', 'C:\Users\USER1\AppData\Local\Temp\-', 'read,write' );
dbms_java.grant_permission( 'RFO', 'SYS:java.io.FilePermission', 'C:\Users\USER1\AppData\Local\Temp\-', 'delete' );
end;



где USER1 - имя пользователя, и всё заработало.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39176509
just_vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Апну тему, т.к. проблема, точнее говоря задача у меня схожая.

Формирую xlsx файлы с использованием XSSFWorkbook и скорость, которую выдает POI не очень радует, например, формирование таблицы 25 колонок * 100 строк, данные для которой уже профетчены из БД и уже закэшированы в рамках Java'овского процесса, занимает порядка 30 секунд. А бывает, что нужно сформировать файл тысячи, десятки тысяч строк и получается, такие файлы формируются уже десятками минут, при этом свободных аппаратных ресурсов навалом (куча свободных ядер, памяти).

Вот думаю, можно ли, как-нибудь распараллелить формирование файла, тем самым сократить время формирования файла, повысить утилизацию ресурсов?

ЗЫ: пытался гуглить на тему ThreadSafe у POI, но ничего внятного не нашел.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39176522
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
just_vladimirдесятки тысяч строк
в excell? Уверены? Бумаги не жалко?
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39176527
just_vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123just_vladimirдесятки тысяч строк
в excell? Уверены? Бумаги не жалко?
Уверен абсолютно, про бумагу не осилил. Есть соображения, как можно повысить скорость формирования?
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39176529
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
just_vladimir,
На такой объём нужен СЕРВЕР печати.
Или JasperReport но не POI.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39176531
just_vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123,
сервер печати? Вы о чем, стало еще непонятней...
А в JasperReport раньше вроде тоже POI использовался, что то изменилось? За счет чего он будет быстрее?
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39176538
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
just_vladimirЗа счет чего он будет быстрее?
- его можно посадить вообще на отдельную машину.
- у него обычный запрос к БД который можно отладить и оттюнить в любой БД, а потом записать в Jasper.
Где тут будет тормозить - выясняйте.
Если вы не ТС, то по новой описывайте проблему и что пытались делать.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39176540
just_vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123just_vladimirЗа счет чего он будет быстрее?
- его можно посадить вообще на отдельную машину.
- у него обычный запрос к БД который можно отладить и оттюнить в любой БД, а потом записать в Jasper.
Где тут будет тормозить - выясняйте.
Если вы не ТС, то по новой описывайте проблему и что пытались делать.
Я не ТС, особого смысла в размножении тем не вижу, свою проблему описал в этом посте:
авторФормирую xlsx файлы с использованием XSSFWorkbook и скорость, которую выдает POI не очень радует, например, формирование таблицы 25 колонок * 100 строк, данные для которой уже профетчены из БД и уже закэшированы в рамках Java'овского процесса, занимает порядка 30 секунд. А бывает, что нужно сформировать файл тысячи, десятки тысяч строк и получается, такие файлы формируются уже десятками минут, при этом свободных аппаратных ресурсов навалом (куча свободных ядер, памяти).

Вот думаю, можно ли, как-нибудь распараллелить формирование файла, тем самым сократить время формирования файла, повысить утилизацию ресурсов?

ЗЫ: пытался гуглить на тему ThreadSafe у POI, но ничего внятного не нашел.

Хотя если администрация форума считает, что нужна отдельная, то без проблем создам.


У меня отдельно сервер БД, отдельно сервер с Java приложением, проблем с запросом у меня нет и измеряю время затрачиваемое исключительно на формирование xlsx (все нужные данные уже внутри Java'овской коллекции) и, к сожалению, это время далеко от идеала.
Есть конечно же вариант вспомнить, что xlsx это всего лишь zip'ованный xml, который можно сгенерировать каким-нибудь шаблонным движком и вероятно будет приемлемо быстро, но вдруг все таки POI предлагает какие нибудь красивые возможности по быстрому формированию файлов.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39176545
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
just_vladimirэто время далеко от идеала.
- поиск делал? Тут хотя бы цифры времени есть
О выгрузке в excel
- есть ветка форума отдельно для таких больших (странных) отчётов.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39176706
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У Excel достаточно простой XML формат.

Выгрузить свои данные в XML, создать XSL файл, натравить на исходный XML какой нибудь XSL-транформер (Xalan/Xerces), открыть в Excel. Профит.

Главное DOM не использовать и будет так быстро, как только возможно. IMHO & AFAIK
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39176722
Partisan M
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudriavtsevВыгрузить свои данные в XML, создать XSL файл, натравить на исходный XML какой нибудь XSL-транформер (Xalan/Xerces), открыть в Excel. Профит.

Неправильное решение. Если нужно сделать отчёт "средствами Oracle", то такие средства есть - генераторы отчётов Oracle Reports (устаревший, но всё ещё годный) и новый Oracle BI Publisher.

Даже если их не использовать, то это решение лишено смысла, т.к. POI работает очень быстро и расходует мало памяти при правильном использовании (что я сам испытывал). Приведённый пример расходует много памяти, что показывает, что автор не потрудился изучить POI. Почему он работает медленно - заочно сказать трудно, надо смотреть, где торможение. Если памяти не хватает из-за её большого расхода, то будет тормозить. Но возможны другие причины. Но мне бы и в голову не пришло делать для этого хранимые процедуры в Oracle, т.к. они предназначены для расширения возможностей PL/SQL, чего тут не наблюдается. Можно попробовать оформить этот код в виде клиентского приложения, чтобы сравнить скорость.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39176726
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Partisan MЕсли нужно сделать отчёт "средствами Oracle", то такие средства есть - генераторы отчётов Oracle Reports (устаревший, но всё ещё годный) и новый Oracle BI Publisher.
+

На проектах все на BI Publisher'е делали.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39176828
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
+ за BI
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39177417
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
just_vladimir,

Есть подозрение, что POI тут ни при чём. Попробуйте выгрузить ваши данные используя тот же самый алгоритм формирования "ячеек", например в CSV-файл. Сильно ли увеличится скорость формирования файла по сравнению с POI?
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39178030
just_vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Garrick,
судя по всему дело в автоподгоноке ширины колонок, думаю для больших выгрузок откажусь от этого.
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39178385
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
just_vladimirGarrick,
судя по всему дело в автоподгоноке ширины колонок, думаю для больших выгрузок откажусь от этого.
Я в процессе дабавления ячеек запоминаю максимальную длину строк в столбцах, а по окончании формирования всей таблицы устанавливаю ширину столбцов по этим значениям. Можно посмотреть здесь .
...
Рейтинг: 0 / 0
Java + Apache POI. Очень долго формируется Excel-документ
    #39178453
just_vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Garrick,
Спасибо! Решение красивое, наверное так и поступлю. А получается, что много строчные колонки просто будут получать максимальную ширину?
...
Рейтинг: 0 / 0
25 сообщений из 50, страница 1 из 2
Форумы / Java [игнор отключен] [закрыт для гостей] / Java + Apache POI. Очень долго формируется Excel-документ
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]