Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Delphi [игнор отключен] [закрыт для гостей] / FastReport и большой отчёт / 25 сообщений из 36, страница 1 из 2
  1  все
02.08.2018, 19:53
    #39682788
cr@nk
cr@nk
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
Подскажите, как можно побороть out of memory?
Есть Delphi 10.2
FastReport 5.6.9

Клиенту требуется сделать выгрузку всех активных клиентов (у кого открыт договор на обслуживание). Таких записей 9-10к
Полей не так уж и много. Сам запрос за секунду выполняется
А вот при генерации отчёта программа думает несколько минут (даже на относительно мощном ПК) и выдаёт out of memory
64 bit приложение компилировать не пробовал, т.к.:
1. Либы x64 не стоят
2. Компы у клиента слабые (pentium), памяти 3-4 Гб
3. Из-за п.2 у них стоят WinXP и Win7 x86

На одну страницу помещается примерно 20 записей. Т.е. страниц дофига на самом деле.

Что в такой ситуации можно сделать?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.08.2018, 20:28
    #39682810
ma1tus
ma1tus
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
cr@nk,

не использовать отчетник для выгрузки (9-10K) | тикет с тестовым объёмом в ТП FR | madExcept etc ...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.08.2018, 21:08
    #39682824
defecator
defecatorПривилегированный пользователь
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
ma1tuscr@nk,

не использовать отчетник для выгрузки (9-10K) | тикет с тестовым объёмом в ТП FR | madExcept etc ...
если надо сгенерить - значит, надо сгенерить.
я бы делал порциями, а не всё сразу
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.08.2018, 21:32
    #39682831
gpi
gpi
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
cr@nk Таких записей 9-10к
...
На одну страницу помещается примерно 20 записей. Т.е. страниц дофига на самом деле.
Целых 500. Это не так много. Если только в отчёте не присутствуют изображения с разрешением 2000х3000
Попробуйте установить
Код: pascal
1.
2.
3.
frxReport1.EngineOptions.UseFileCache := True;
frxReport1.PreviewOptions.PictureCacheInFile := True;
frxReport1.PreviewOptions.PagesInCache := 10;


Если не поможет - ma1tusтикет с тестовым объёмом в ТП FR
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.08.2018, 21:50
    #39682834
ma1tus
ma1tus
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
defecator,

ну, если заказчик определяет техчасть, то... ладно ) почему бы нет, можно и кусками, с подтяжкой на предыдущую страницу, формировать... чтобы в итоге обнаружить, что превью не тянет; смысл-то, тыкаться вслепую - откуда ТС в аут выпадает...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.08.2018, 22:04
    #39682838
krapotkin
krapotkin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
отлично запросы разбиваются на части по вменяемое количество строк
и превью выводится столько раз, сколько понадобится
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.08.2018, 22:18
    #39682841
defecator
defecatorПривилегированный пользователь
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
ma1tusdefecator,

ну, если заказчик определяет техчасть, то... ладно ) почему бы нет, можно и кусками, с подтяжкой на предыдущую страницу, формировать... чтобы в итоге обнаружить, что превью не тянет; смысл-то, тыкаться вслепую - откуда ТС в аут выпадает...
FR формирует картинки в памяти, целиком все, потом их выводит на принтер
Если страниц много, то Out of memory неизбежен
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.08.2018, 22:21
    #39682846
cr@nk
cr@nk
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
ma1tusне использовать отчетник для выгрузки (9-10K) | тикет с тестовым объёмом в ТП FR | madExcept etc ...
Ну вот надо заказчику получить печатный вариант этой таблички
А что даст ТП FR ? Я пробовал выгрузить просто 1к записей - падает. 200 - норм обрабатывает. Это на скорую руку.
Не представляю, что в ТП искать.

defecatorя бы делал порциями, а не всё сразу
Начал думать в этом направлении, но пока не придумал красивой реализации

gpiЦелых 500. Это не так много. Если только в отчёте не присутствуют изображения с разрешением 2000х3000
Попробуйте установить
Нет, не помогло. Я до создания топика эти параметры менял (кроме картинок, т.к. их нет в отчёте)

krapotkinотлично запросы разбиваются на части по вменяемое количество строк
и превью выводится столько раз, сколько понадобится
Это и есть часть проблемы по красивой реализации. Если это печать, то тут без проблем можно распечатать все отчёты.
А если надо сохранить всё в один файл? Любят там PDF и Excel. То это всё становится не так уж и просто

На данный момент заколхозил так: таблица выгружается просто в CSV, а дальше руками приводится к нормальному виду перед печатью или отправкой этого файла.
Благо это функция редко востребована пока что.
А пока буду реализовывать как-то ещё
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.08.2018, 22:27
    #39682850
cr@nk
cr@nk
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
P.S.: При использовании кэша на диске тоже ловлю аут и видно, что временный файл весит 4 Гб.
Ну предел для 32 бит
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.08.2018, 23:44
    #39682866
DimaBr
DimaBr
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
20000 строк. Время генерации - доля секунды
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 07:19
    #39682887
__Avenger__
__Avenger__
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
Аналогично, строил ответ на 2000 страниц. Строился мгновенно.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 10:32
    #39682953
vavan
vavan
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
 
вот так и тестят разрабы сред и либ свои поделия, а на реальных задачах оказывается не так чтобы уже и работает
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 11:12
    #39682974
Кроик Семён
Кроик Семён
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
cr@nk,

а не может такого быть, что в отчете используется нестандартный (manual) с хитрой логикой вывод через Engine? И из-за ошибки в коде случился вечный цикл?


или из кода Delphi в цикле по датасету и забыли .Next вызвать?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 11:22
    #39682985
DarkMaster
DarkMaster
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
Кроик Семён cr@nk,

или из кода Delphi в цикле по датасету и забыли .Next вызвать?


Та ну, 200 строк он же как-то выводит...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 11:49
    #39683003
Bali
Bali
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
cr@nkP.S.: При использовании кэша на диске тоже ловлю аут и видно, что временный файл весит 4 Гб.
Ну предел для 32 бит
Полное собрание сочинений Л.Н. Толстого в 90 томах меньше места занимает, а у вас 500 страниц.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 11:54
    #39683009
gpi
gpi
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
DarkMasterКроик Семён cr@nk,

или из кода Delphi в цикле по датасету и забыли .Next вызвать?


Та ну, 200 строк он же как-то выводит...
Ещё можно при каждом выводе бэнда создавать мемки на нём, а старые не удалять
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 12:46
    #39683042
JayDi
JayDi
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
Ограничить запрос банальным limit и проверить, сможет ли сформироваться меньшее количество страниц (и заодно оценить регрессию в производительности от кол-ва данных). Возможно, проблема не в самом фасте, а в том коде, что используется для формирования (например, есть кастомный код в самом отчете для форматирования или получения данных; или в датасете авторасчетные поля с внешними запросами).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 12:54
    #39683048
defecator
defecatorПривилегированный пользователь
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
Balicr@nkP.S.: При использовании кэша на диске тоже ловлю аут и видно, что временный файл весит 4 Гб.
Ну предел для 32 бит
Полное собрание сочинений Л.Н. Толстого в 90 томах меньше места занимает, а у вас 500 страниц.
сомневаюсь, что 90 томов отсканированных страниц в растре будет весить меньше 4-х гигов
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 13:52
    #39683090
DimaBr
DimaBr
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
defecatorсомневаюсь, что 90 томов отсканированных страниц в растре будет весить меньше 4-х гигов
90 томов от 2х до 5 метров.
5 * 90 = 450 метров
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 13:53
    #39683091
DimaBr
DimaBr
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
в PDF - 30м
30*90=2700, около 3гиг
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 14:00
    #39683098
defecator
defecatorПривилегированный пользователь
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
DimaBr,

я же написал - в РАСТРЕ, а не в сжатом виде
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 15:59
    #39683162
Bali
Bali
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
defecatorя же написал - в РАСТРЕ, а не в сжатом виде
Так может и cr@nk в растре выводит?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 16:33
    #39683175
defecator
defecatorПривилегированный пользователь
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
Balidefecatorя же написал - в РАСТРЕ, а не в сжатом виде
Так может и cr@nk в растре выводит?

FR страницы формирует вроде как в растре, потому и память жрёт, как не в себя
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 18:01
    #39683206
_Den_Z
_Den_Z
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
defecator,

Нет, загруженные страницы хранятся как объекты в кеше (PagesInCache).
Все остальное выгружается в XML.
Никаких растров там нет.

автор=cr@nk А что даст ТП FR ?
Если это с нашей стороны и можно быстро поправить, то исправим в ближайшее время.

Но тут нужен конкретный кейс, а не абстракции. Обычный отчет на такое кол-во записей не может столько отъедать памяти.
Это только возможно если на одной страницы тысячи объектов с текстом. Или к примеру рич тест с контентом в несколько десятков мегабайт.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.08.2018, 18:09
    #39683209
_Den_Z
_Den_Z
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FastReport и большой отчёт
Забыл добавить. Табличные экспорты вроде xls могут отъедать память, там кеширования нет.
Но экспорт легко можно разбивать на файлы, если задавать ко-во страниц для экспорта.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
  1  все
Форумы / Delphi [игнор отключен] [закрыт для гостей] / FastReport и большой отчёт / 25 сообщений из 36, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 540ms
Закрыть
start [/forum/topic.php?fid=58&mobile=1&tid=2040560]:
 0ms
get settings:
 10ms
get forum list:
 18ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 184ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 66ms
get tp. blocked users:
 1ms
others: 239ms
total:  540ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]