ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Утечка памяти при работе с DataSet
25 сообщений из 69, страница 1 из 3
  1  все
Утечка памяти при работе с DataSet
    #39555982
Фотография шК0ДЕР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
шК0ДЕР
Участник
Добрый день. К дб гриду (TDBGridEh - компонент EhLib 8.0 build 8.0.023) прикручен датасет. FetchAll := False естественно, т.к записей возвращается много, до 100к. Имеется функционал по выводу данных из грида в эксель(самописный). Для этого нужно знать общее кол-во записей в датасете, которое узнаю с помощью следующей процедуры
Код: pascal
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
procedure GetDataSetRows;
var
  bm: TBookmark;
begin
  with FDataSet do
  begin
    DisableControls;
    bm := GetBookmark;
    First;
    FDataSetRows := 0;
    While not Eof do
    begin
      Inc(FDataSetRows);
      Next;
    end;
    GotoBookmark(bm);
    FreeBookmark(bm);
    EnableControls;
  end;
end;


Проблема возникает в цикле,
Код: pascal
1.
2.
3.
4.
5.
While not Eof do
    begin
      Inc(FDataSetRows);
      Next;
    end;

приложение съедает память до 1 гб (когда FDataSetRows инкрементируется до ~40к) и завершает работу с ошибкой "Out of memory". Если записей в датасете немного, то все работает без ошибок.

Подскажите, как можно исправить утечку или посчитать кол-во записей в датасете?
Вариант с возвращением кол-ва записей в запросе с сервера не лучший, т.к процедура по печати отчетов универсальная, а запросов для этих самых отчетов больше тысячи, накладно все их дописывать
...
Рейтинг: 0 / 0
20.11.2017, 10:36
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39555983
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
шК0ДЕР,

Это не утечка, а просто не хватает памяти для такого огромного буффера.
...
Рейтинг: 0 / 0
20.11.2017, 10:42
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39555985
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
шК0ДЕР,

Выход один:
1. Для получения каунта использовать отдельно select count(*) from;
2. В отчет выводить постранично (скажем, по 1000 записей). (что-то типа select first 1000 step 5000)
...
Рейтинг: 0 / 0
20.11.2017, 10:45
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39555987
Фотография шК0ДЕР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
шК0ДЕР
Участник
Этого то я и боялся...
...
Рейтинг: 0 / 0
20.11.2017, 10:46
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39555989
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
Хотя подожди... При
шК0ДЕРFetchAll := False
Такого может и не должно быть. Может действительно утечка в компонентах доступа или еще где?
...
Рейтинг: 0 / 0
20.11.2017, 10:48
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39555992
Фотография шК0ДЕР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
шК0ДЕР
Участник
Тоже странным показалось, компоненты проверил, вроде чисто. Смотрел при отладке в диспетчере задач, память утекает именно при переборе записей датасета. В Locate() кстати та же проблема.
Пытался решить вот чем:
Код: pascal
1.
2.
3.
4.
5.
6.
7.
DBGrid.DataSource.DataSet := nil;
While not Eof do
begin
   Inc(FDataSetRows);
   Next;
end;
DBGrid.DataSource.DataSet := FDataSet;


Код: pascal
1.
2.
3.
4.
5.
6.
7.
DBGrid.DataSource.Enabled := False;
While not Eof do
begin
   Inc(FDataSetRows);
   Next;
end;
DBGrid.DataSource.Enabled := True;


заменяя цикл на
Код: pascal
1.
2.
Last;
FDataSetRows := RecNo;


Для эксперемента прописал Refresh в цикле, память, потребляемая приложением сбрасывается до обычной - 8к.
...
Рейтинг: 0 / 0
20.11.2017, 10:57
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39555994
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
шК0ДЕРзаменяя цикл на
Код: pascal
1.
2.
Last;
FDataSetRows := RecNo;

Если в твоих компонентах работает RecNo после Last, зачем проктология с циклом тогда.
...
Рейтинг: 0 / 0
20.11.2017, 10:59
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556002
Фотография шК0ДЕР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
шК0ДЕР
Участник
YuRock, код не мой. В любом случае при выполнении метода Last(который так и не выполняется до конца) происходит та же котовасия с памятью. Компонент TOracleDataSet, DOA
...
Рейтинг: 0 / 0
20.11.2017, 11:06
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556008
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
шК0ДЕР,

Может это компонент и не умеет при отключенном FetchAll буффер определенного размера только помнить.
А с другой стороны, вряд ли такое возможно. Ведь всегда должны быть возможны Prev или First. А как такое сделать на уровне базы? Наверно никак. Unfetch какой-нибудь если и есть где-то, то не везде и не всегда может сработать.
Т.ч. Только переделывать.
...
Рейтинг: 0 / 0
20.11.2017, 11:14
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556028
Фотография шК0ДЕР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
шК0ДЕР
Участник
YuRock, разобрался как кол-во строк подсчитывалось. В компоненте было отключено свойство CountAllRecords и ReсordCount возвращал кол-во видимых записей из грида. При включенному свойстве возвращается общее кол-во записей.
Но проблема осталась. При самой печати данных происходит перебор записей датасета. Отчет недоформировывается
...
Рейтинг: 0 / 0
20.11.2017, 11:28
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556031
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Это нормальное, обычное поведение. Наборы данных обычно держат все данные в памяти. Вот представьте - что всю выборку из базы всунули в память + обвязка (т.к данные в памяти не в raw же хранить).

авторВедь всегда должны быть возможны Prev или First.

Проблема даже не в Prev/First, как раз таки Prev/First сделать не проблема. Проблема в том, что вся выборка может понадобится для отображения в гриде и как тогда по-другому сделать? Кроме как тащить весь набор в память.

Код: pascal
1.
2.
3.
4.
5.
While not Eof do
    begin
      Inc(FDataSetRows);
      Next;
    end;



Это тоже самое, что FetchAll, это FetchAll и есть.

авторПодскажите, как можно исправить утечку или посчитать кол-во записей в датасете?

1. Это не утечка памяти. Это обычная, нормальная работа. Наборы именно так и работают.
2. Если не нужно отображать данные в гриде, то можно взять набор, который не тащит все данные в память, а выбирает только текущую запись. В случае IBX, например, это TIBSQL. В других наборах компонент может быть по-разному: от отдельной компоненты до опций в пределах одной.
3. Намного лучше вместо того, что бы считать количество записей на клиенте посчитать их сервером, отдав ему соответствующий запрос (select count(some_field) as counter from database).
...
Рейтинг: 0 / 0
20.11.2017, 11:32
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556034
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
4. Если же нужно отображать набор в гриде - то либо ограничивать количество записей в наборе, либо переходить на 64х.
...
Рейтинг: 0 / 0
20.11.2017, 11:35
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556039
Фотография шК0ДЕР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
шК0ДЕР
Участник
makhaon, с кол-вом записей уже разобрался. Проблема теперь при печати отчета. Хотя способ аналогичен...
Код: pascal
1.
2.
3.
4.
5.
While not DataSet.Eof do
begin
   //печать данных
   Next;
end;

Есть еще какие-либо идеи кроме печати данных по частям?
...
Рейтинг: 0 / 0
20.11.2017, 11:40
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556050
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
шК0ДЕР,

авторпереходить на 64х
...
Рейтинг: 0 / 0
20.11.2017, 11:53
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556053
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
сделать отдельный набор именно для печати, как я говорил:
"можно взять набор, который не тащит все данные в память, а выбирает только текущую запись. В случае IBX, например, это TIBSQL"
...
Рейтинг: 0 / 0
20.11.2017, 11:56
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556075
schi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
schi
Участник
шК0ДЕРmakhaon, с кол-вом записей уже разобрался. Проблема теперь при печати отчета. Хотя способ аналогичен...
Код: pascal
1.
2.
3.
4.
5.
While not DataSet.Eof do
begin
   //печать данных
   Next;
end;

Есть еще какие-либо идеи кроме печати данных по частям?

Использовать unidirectional dataset, например
...
Рейтинг: 0 / 0
20.11.2017, 12:20
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556107
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LSV
Участник
Вообще-то чтобы зачитать весь ДС (кот. зачитан не целиком), достаточно стать в его конец (last), в потом вернуться.
Тогда станет известно кол-во записей. И можно начинать экспорт.
...
Рейтинг: 0 / 0
20.11.2017, 13:01
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556110
schi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
schi
Участник
LSVВообще-то чтобы зачитать весь ДС (кот. зачитан не целиком), достаточно стать в его конец (last), в потом вернуться.
Тогда станет известно кол-во записей. И можно начинать экспорт.

Попробуй на больших объемах, тебе понравится.
...
Рейтинг: 0 / 0
20.11.2017, 13:04
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556140
Фотография _Vasilisk_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Vasilisk_
Участник
schiИспользовать unidirectional dataset, напримерИли вообще не датасет. Что-то типа TIBSQL
...
Рейтинг: 0 / 0
20.11.2017, 13:31
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556154
DimaBr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DimaBr
Участник
Будь я твоим руководителем, я бы заставил тебя пролистать все 100к строк
...
Рейтинг: 0 / 0
20.11.2017, 13:46
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556200
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LSV
Участник
schiLSVВообще-то чтобы зачитать весь ДС (кот. зачитан не целиком), достаточно стать в его конец (last), в потом вернуться.
Тогда станет известно кол-во записей. И можно начинать экспорт.

Попробуй на больших объемах, тебе понравится.А то я не пробовал... :)
Все равно это придется грузить, чтобы экспортировать. Объем вычислений будет одинаковым.
...
Рейтинг: 0 / 0
20.11.2017, 14:44
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556205
Фотография DarkMaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DarkMaster
Участник
YuRock
Может это компонент и не умеет при отключенном FetchAll буффер определенного размера только помнить.
А с другой стороны, вряд ли такое возможно. Ведь всегда должны быть возможны Prev или First. А как такое сделать на уровне базы? Наверно никак. Unfetch какой-нибудь если и есть где-то, то не везде и не всегда может сработать.
Т.ч. Только переделывать.

Без привязки к конкретному вопросу вставлю свои 5 копеек - есть такая штука как TIB_Cursor (библиотека IBObjects) - там буфер выделяется ровно на одну запись из БД и сам TIB_Cursor умеет только Next(). Самое то для ТС, если найдутся аналоги.
...
Рейтинг: 0 / 0
20.11.2017, 14:52
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556218
Фотография JayDi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JayDi
Участник
Там в этой базе файлы в блобах хранятся что ли? Как-то многова-то веса (аж гигабайт) для всего 40к строчек.
...
Рейтинг: 0 / 0
20.11.2017, 15:02
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556277
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
JaDiТам в этой базе файлы в блобах хранятся что ли? Как-то многова-то веса (аж гигабайт) для всего 40к строчек.Блобы как раз не тянутся. Может, строки длинные
...
Рейтинг: 0 / 0
20.11.2017, 16:00
| Ответить | Цитировать | Написать  
Утечка памяти при работе с DataSet
    #39556278
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
А может и SELECT* убрать можно и поможет.
...
Рейтинг: 0 / 0
20.11.2017, 16:01
| Ответить | Цитировать | Написать  
25 сообщений из 69, страница 1 из 3
  1  все
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Утечка памяти при работе с DataSet
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=58&msg=39556008&tid=2041465]:
 0ms
get settings:
 11ms
get forum list:
 16ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 198ms
get topic data:
 9ms
get forum data:
 3ms
get page messages:
 67ms
get tp. blocked users:
 1ms
others: 236ms
total:  547ms
созд. / загр.: 547ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]