ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Динамические массивы - вопрос выделения памяти. Out of memory
25 сообщений из 39, страница 1 из 2
  1  все
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711416
m52
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
m52
Участник
Здравствуйте,

Delphi XE8
Вопрос про выделение памяти.

Мне необходимо экономно выделять RAM память для хранения списка файлов. Программа рекурсивно прочитывает с диска список файлов и кладет их в мои структуры TFileInfo (для хранения информации о каждом файле я заранее выделяю место new/dispose в куче), а указатели на каждый блок в памяти я храню в динамическом массиве.

Проблема : Вроде бы память под хранение указателей выделяется экономно, но если файлов слишком много (около 2-3 млн), то программа не может найти непрерывный кусок памяти в куче под динам.массив указателей и выдает "Out of memory".

"Вся соль", как я понял, в выделении непрерывного куска памяти. Но динам.массив мне нравится тем, что к элементам можно обращаться по индексу, в отличии от связанного списка. Чем можно заменить динамический массив? Может TStringList - в нем тоже можно обращаться по индексу, но я не знаю, как выделяется память для StringList - если тоже непрерывным куском, то такая же засада, как и с динамическими массивами.

Что посоветуете, где хранить указатели?

Заранее благодарен за советы.
...
Рейтинг: 0 / 0
02.10.2018, 08:27
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711421
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
m52,

А нельзя выделять память кусками поменьше?
...
Рейтинг: 0 / 0
02.10.2018, 08:35
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711422
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wadman
Участник
m52но я не знаю, как выделяется память для StringList
Исходники же доступны.

Я-бы использовал одно из двух:
1. TList и производные (с хэшами, например).
2. Связанный список.
...
Рейтинг: 0 / 0
02.10.2018, 08:36
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711426
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
3 млн указателей - приблизительно 12Мб... система такой кусок памяти не может найти? Это сильно странно.
...
Рейтинг: 0 / 0
02.10.2018, 08:39
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711436
MBo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MBo
Гость
m52,

От связанных списков толку очень мало, и их применение оправдано только в специфических случаях. К экономии памяти их использование не приведёт.

Списочные структуры (List, TStringlist) при расширении, когда места мало, выделяют новый массив длиной на четверть больше. Однако менеджер памяти должен освободить старый участок (с этим были проблемы во времена D6-7 - тогда менеджер был ленив и при постоянном расширении массива на единицу можно было забить всю память, сейчас это не так актуально).

Уменьшить количество перераспределений памяти можно, задав Capacity сразу разумное значение.

Однако память под указатели явно меньше, чем под данные - есть ли уверенность, что память под данные корректно обрабатывается, вовремя освобождается?

Думаю, стоит показать важные куски кода.
...
Рейтинг: 0 / 0
02.10.2018, 08:52
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711437
Aleksandr Sharahov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aleksandr Sharahov
Участник
m52,

что мешает использовать многомерные динамические массивы?
...
Рейтинг: 0 / 0
02.10.2018, 08:53
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711441
Tactical Nuclear Penguin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Tactical Nuclear Penguin
Участник
можно сделать класс с этими TFileInfo и использовать TObjectList например...
...
Рейтинг: 0 / 0
02.10.2018, 08:57
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711443
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
MBo,

Ну не на четверть...

Первый столбец реальное кол-во элементов, второй Capacity - TstringList
000001 - 000004
000005 - 000008
000009 - 000012
000013 - 000028
000029 - 000044
000045 - 000060
000061 - 000076
000077 - 000095
000096 - 000118
000119 - 000147
000148 - 000183
000184 - 000228
000229 - 000285
000286 - 000356
000357 - 000445
000446 - 000556
000557 - 000695
000696 - 000868
000869 - 001085
001086 - 001356
001357 - 001695
001696 - 002118
002119 - 002647
002648 - 003308
003309 - 004135
004136 - 005168
005169 - 006460
006461 - 008075
008076 - 010093
...
Рейтинг: 0 / 0
02.10.2018, 09:00
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711445
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
Хотя да, пардон... с утра не углядел :-)
...
Рейтинг: 0 / 0
02.10.2018, 09:03
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711447
Соколинский Борис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Соколинский Борис
Участник
m52,
посоветую прежде всего разобраться, почему память так фрагментируется.
Даже если эту частную задачу решить, потом все равно что-то вылезет.
...
Рейтинг: 0 / 0
02.10.2018, 09:04
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711449
m52
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
m52
Участник
Вопрос в том, как выделяется память под TStringList, а не на сколько увеличивается. Если выделяется цельным куском, как для динамич. массива, то засада.

> 3 млн указателей - приблизительно 12Мб
Да, 12 МБ - мало, но даже такого цельного куска в куче может не найтись, даже если на ПК 15 ГБ RAM.

Про 3D динам.массив - тоже идея, если для каждой строки такого массива будет выделяться отдельный кусок в памяти, не пристыкованный к уже имеющемуся куску.
...
Рейтинг: 0 / 0
02.10.2018, 09:06
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711457
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
m52Вопрос в том, как выделяется память под TStringList, а не на сколько увеличивается. Если выделяется цельным куском, как для динамич. массива, то засада.

> 3 млн указателей - приблизительно 12Мб
Да, 12 МБ - мало, но даже такого цельного куска в куче может не найтись, даже если на ПК 15 ГБ RAM.

Про 3D динам.массив - тоже идея, если для каждой строки такого массива будет выделяться отдельный кусок в памяти, не пристыкованный к уже имеющемуся куску.

Цельным - там массив такой же внутри

Код: pascal
1.
  TPointerList = array[0..MaxListSize - 1] of Pointer;
...
Рейтинг: 0 / 0
02.10.2018, 09:14
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711459
Aleksandr Sharahov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aleksandr Sharahov
Участник
zinpub,

не совсем
...
Рейтинг: 0 / 0
02.10.2018, 09:17
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711463
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
Aleksandr Sharahov,

Вроде он самый

Код: pascal
1.
2.
3.
4.
5.
6.
function TList.Get(Index: Integer): Pointer;
begin
  if (Index < 0) or (Index >= FCount) then
    Error(@SListIndexError, Index);
  Result := FList^[Index];
end;
...
Рейтинг: 0 / 0
02.10.2018, 09:26
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711465
goldmi45
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
goldmi45
Участник
память фрагментируется, когда часто вызывается SetLength для динамического массива. Как часто вы изменяете размер этого динамического массива? Можно ли изменять (устанавливать) размер массива кусками не по одной структуре, а, скажем, сразу сотней или тысячей? Тогда массив не так часто будет пересоздаваться и память не будет так фрагментироваться....
...
Рейтинг: 0 / 0
02.10.2018, 09:28
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711470
Aleksandr Sharahov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aleksandr Sharahov
Участник
zinpubm52Вопрос в том, как выделяется память под TStringList, а не на сколько увеличивается. Если выделяется цельным куском, как для динамич. массива, то засада.

> 3 млн указателей - приблизительно 12Мб
Да, 12 МБ - мало, но даже такого цельного куска в куче может не найтись, даже если на ПК 15 ГБ RAM.

Про 3D динам.массив - тоже идея, если для каждой строки такого массива будет выделяться отдельный кусок в памяти, не пристыкованный к уже имеющемуся куску.

Цельным - там массив такой же внутри

Код: pascal
1.
  TPointerList = array[0..MaxListSize - 1] of Pointer;



zinpub,

в этой же цитате речь и о многомерных массивах,
для них память выделяется иначе
...
Рейтинг: 0 / 0
02.10.2018, 09:35
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711474
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
Aleksandr Sharahov,

Там да массив ссылок на массивы вроде
...
Рейтинг: 0 / 0
02.10.2018, 09:42
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711475
MBo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MBo
Гость
Тест в Berlin отрабатывает за пару секунд, выделяя 15 миллионов раз память до гигабайта включительно. Переполнения нет (для полутора гиг - будет, система 32-разрядная)

Код: pascal
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
var
  A: array of Byte;
  n : Integer;
begin
  n := 1;
  while n < 1024 * 1024 * 1024 do begin
    SetLength(A, n);
    A[n-1] := 31;
    n := n + 17;
  end;
  Caption := IntToStr(A[High(A)]);
...
Рейтинг: 0 / 0
02.10.2018, 09:43
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711599
DmSer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DmSer
Участник
m52
> 3 млн указателей - приблизительно 12Мб
Да, 12 МБ - мало, но даже такого цельного куска в куче может не найтись, даже если на ПК 15 ГБ RAM.


Для 32-битного Win-приложения доступна виртуальная память 2 ГБ в независимости от того, сколько на ПК установлено ОЗУ. Эти 2 ГБ не являются непрерывной областью, скорее всего и 1ГБ непрерывной области Вы не обнаружите. Однако этож как можно засрать память, чтобы в ней не нашлось цельного куска 12 МБ? Начиная в Delphi 2007 (или даже 2006) используется "новый" менеджер памяти (FastMM), с которым стало очень сложно добиться сильной фрагментации памяти.
...
Рейтинг: 0 / 0
02.10.2018, 12:51
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711621
m52
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
m52
Участник
Вы не забывайте, что в куче еще выделяется место для 3 млн структур типа TFileInfo - именно они занимают большую часть памяти в куче, хотя каждый элемент - это отдельный маленький блок, под который выделена память с помощью new(), поэтому эти структурки не требуют непрерывного массива памяти, в отличии от динамического массива указателей.
...
Рейтинг: 0 / 0
02.10.2018, 13:11
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711623
Котовасия
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Котовасия
Участник
m52> место для 3 млн структур типа TFileInfo


Может, ты и все 3 млн файлов открытыми держишья? Рассказывай уж все сразу.
...
Рейтинг: 0 / 0
02.10.2018, 13:15
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711635
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
DmSerm52> 3 млн указателей - приблизительно 12Мб
Да, 12 МБ - мало, но даже такого цельного куска в куче может не найтись, даже если на ПК 15 ГБ RAM.


Для 32-битного Win-приложения доступна виртуальная память 2 ГБ в независимости от того, сколько на ПК установлено ОЗУ. Эти 2 ГБ не являются непрерывной областью, скорее всего и 1ГБ непрерывной области Вы не обнаружите. Однако этож как можно засрать память, чтобы в ней не нашлось цельного куска 12 МБ? Начиная в Delphi 2007 (или даже 2006) используется "новый" менеджер памяти (FastMM), с которым стало очень сложно добиться сильной фрагментации памяти.
Я в это всё не верю.
Если нет у менеджера - он попросит у системы эти 12мб. А система их найдет всегда, хоть на свопе.
Тут проблема в том, вангую, что уже 2Гб растрачены.
...
Рейтинг: 0 / 0
02.10.2018, 13:27
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711640
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
MBoОднако менеджер памяти должен освободить старый участок (с этим были проблемы во времена D6-7 - тогда менеджер был ленив и при постоянном расширении массива на единицу можно было забить всю память
Не замечал такого поведения за всю жизнь.
Когда TList'у не хватает массива указателей - он пытается сделать реаллок, и если не получается - то создает новый массив бОльшего размера, копирует туда и освобождает старый.
Как в таком подходе можно "забить всю память" - я не знаю. Нормальный менеджер памяти в D6-D7 - FastMM, кстати, тоже вроде.
...
Рейтинг: 0 / 0
02.10.2018, 13:30
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711665
delphinotes
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
delphinotes
Гость
Тут уже несколько раз написали про фрагментацию памяти, и смена менеджера памяти вряд ли поможет.

Сам с этим сталкивался, когда делается большое кол-во реаллоков (особенно если это происходит не просто в цикле, а в процессе какого-то более сложного процесса с промежуточными выделениями памяти) обязательно настанет момент, когда система не сможет выделить непрерывный кусок памяти большого размера.

Это легко представить, если нарисовать на листочке в клеточку: вот массив из одного элемента, потом делаем реаллок - из двух (но старт массива уже в другой части доступной области), затем из трёх и так далее. Каждый раз - всё больше и больше (и каждый раз старт массива смещается).

Решается просто: или сразу выделяем большое кол-во памяти под массив + переменная, показывающая реальное кол-во элементов, либо переходим на TList и задаём ему Capacity ~ кол-во файлов (который как раз и нужен, чтобы не делать постоянные реаллоки).
...
Рейтинг: 0 / 0
02.10.2018, 14:05
| Ответить | Цитировать | Написать  
Динамические массивы - вопрос выделения памяти. Out of memory
    #39711676
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wadman
Участник
delphinotesи задаём ему Capacity ~ кол-во файлов
Знать-бы еще заранее количество файлов.
...
Рейтинг: 0 / 0
02.10.2018, 14:14
| Ответить | Цитировать | Написать  
25 сообщений из 39, страница 1 из 2
  1  все
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Динамические массивы - вопрос выделения памяти. Out of memory
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=58&msg=39711426&tid=2040306]:
 0ms
get settings:
 10ms
get forum list:
 20ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 192ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 87ms
get tp. blocked users:
 2ms
others: 245ms
total:  578ms
созд. / загр.: 578ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]