Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Динамические массивы - вопрос выделения памяти. Out of memory / 25 сообщений из 39, страница 1 из 2
  1  все
02.10.2018, 08:27
    #39711416
m52
m52
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
Здравствуйте,

Delphi XE8
Вопрос про выделение памяти.

Мне необходимо экономно выделять RAM память для хранения списка файлов. Программа рекурсивно прочитывает с диска список файлов и кладет их в мои структуры TFileInfo (для хранения информации о каждом файле я заранее выделяю место new/dispose в куче), а указатели на каждый блок в памяти я храню в динамическом массиве.

Проблема : Вроде бы память под хранение указателей выделяется экономно, но если файлов слишком много (около 2-3 млн), то программа не может найти непрерывный кусок памяти в куче под динам.массив указателей и выдает "Out of memory".

"Вся соль", как я понял, в выделении непрерывного куска памяти. Но динам.массив мне нравится тем, что к элементам можно обращаться по индексу, в отличии от связанного списка. Чем можно заменить динамический массив? Может TStringList - в нем тоже можно обращаться по индексу, но я не знаю, как выделяется память для StringList - если тоже непрерывным куском, то такая же засада, как и с динамическими массивами.

Что посоветуете, где хранить указатели?

Заранее благодарен за советы.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 08:35
    #39711421
zinpub
zinpub
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
m52,

А нельзя выделять память кусками поменьше?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 08:36
    #39711422
wadman
wadman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
m52но я не знаю, как выделяется память для StringList
Исходники же доступны.

Я-бы использовал одно из двух:
1. TList и производные (с хэшами, например).
2. Связанный список.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 08:39
    #39711426
zinpub
zinpub
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
3 млн указателей - приблизительно 12Мб... система такой кусок памяти не может найти? Это сильно странно.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 08:52
    #39711436
MBo
MBo
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
m52,

От связанных списков толку очень мало, и их применение оправдано только в специфических случаях. К экономии памяти их использование не приведёт.

Списочные структуры (List, TStringlist) при расширении, когда места мало, выделяют новый массив длиной на четверть больше. Однако менеджер памяти должен освободить старый участок (с этим были проблемы во времена D6-7 - тогда менеджер был ленив и при постоянном расширении массива на единицу можно было забить всю память, сейчас это не так актуально).

Уменьшить количество перераспределений памяти можно, задав Capacity сразу разумное значение.

Однако память под указатели явно меньше, чем под данные - есть ли уверенность, что память под данные корректно обрабатывается, вовремя освобождается?

Думаю, стоит показать важные куски кода.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 08:53
    #39711437
Aleksandr Sharahov
Aleksandr Sharahov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
m52,

что мешает использовать многомерные динамические массивы?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 08:57
    #39711441
Tactical Nuclear Penguin
Tactical Nuclear Penguin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
можно сделать класс с этими TFileInfo и использовать TObjectList например...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 09:00
    #39711443
zinpub
zinpub
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
MBo,

Ну не на четверть...

Первый столбец реальное кол-во элементов, второй Capacity - TstringList
000001 - 000004
000005 - 000008
000009 - 000012
000013 - 000028
000029 - 000044
000045 - 000060
000061 - 000076
000077 - 000095
000096 - 000118
000119 - 000147
000148 - 000183
000184 - 000228
000229 - 000285
000286 - 000356
000357 - 000445
000446 - 000556
000557 - 000695
000696 - 000868
000869 - 001085
001086 - 001356
001357 - 001695
001696 - 002118
002119 - 002647
002648 - 003308
003309 - 004135
004136 - 005168
005169 - 006460
006461 - 008075
008076 - 010093
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 09:03
    #39711445
zinpub
zinpub
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
Хотя да, пардон... с утра не углядел :-)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 09:04
    #39711447
Соколинский Борис
Соколинский Борис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
m52,
посоветую прежде всего разобраться, почему память так фрагментируется.
Даже если эту частную задачу решить, потом все равно что-то вылезет.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 09:06
    #39711449
m52
m52
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
Вопрос в том, как выделяется память под TStringList, а не на сколько увеличивается. Если выделяется цельным куском, как для динамич. массива, то засада.

> 3 млн указателей - приблизительно 12Мб
Да, 12 МБ - мало, но даже такого цельного куска в куче может не найтись, даже если на ПК 15 ГБ RAM.

Про 3D динам.массив - тоже идея, если для каждой строки такого массива будет выделяться отдельный кусок в памяти, не пристыкованный к уже имеющемуся куску.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 09:14
    #39711457
zinpub
zinpub
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
m52Вопрос в том, как выделяется память под TStringList, а не на сколько увеличивается. Если выделяется цельным куском, как для динамич. массива, то засада.

> 3 млн указателей - приблизительно 12Мб
Да, 12 МБ - мало, но даже такого цельного куска в куче может не найтись, даже если на ПК 15 ГБ RAM.

Про 3D динам.массив - тоже идея, если для каждой строки такого массива будет выделяться отдельный кусок в памяти, не пристыкованный к уже имеющемуся куску.

Цельным - там массив такой же внутри

Код: pascal
1.
  TPointerList = array[0..MaxListSize - 1] of Pointer;
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 09:17
    #39711459
Aleksandr Sharahov
Aleksandr Sharahov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
zinpub,

не совсем
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 09:26
    #39711463
zinpub
zinpub
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
Aleksandr Sharahov,

Вроде он самый

Код: pascal
1.
2.
3.
4.
5.
6.
function TList.Get(Index: Integer): Pointer;
begin
  if (Index < 0) or (Index >= FCount) then
    Error(@SListIndexError, Index);
  Result := FList^[Index];
end;
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 09:28
    #39711465
goldmi45
goldmi45
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
память фрагментируется, когда часто вызывается SetLength для динамического массива. Как часто вы изменяете размер этого динамического массива? Можно ли изменять (устанавливать) размер массива кусками не по одной структуре, а, скажем, сразу сотней или тысячей? Тогда массив не так часто будет пересоздаваться и память не будет так фрагментироваться....
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 09:35
    #39711470
Aleksandr Sharahov
Aleksandr Sharahov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
zinpubm52Вопрос в том, как выделяется память под TStringList, а не на сколько увеличивается. Если выделяется цельным куском, как для динамич. массива, то засада.

> 3 млн указателей - приблизительно 12Мб
Да, 12 МБ - мало, но даже такого цельного куска в куче может не найтись, даже если на ПК 15 ГБ RAM.

Про 3D динам.массив - тоже идея, если для каждой строки такого массива будет выделяться отдельный кусок в памяти, не пристыкованный к уже имеющемуся куску.

Цельным - там массив такой же внутри

Код: pascal
1.
  TPointerList = array[0..MaxListSize - 1] of Pointer;



zinpub,

в этой же цитате речь и о многомерных массивах,
для них память выделяется иначе
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 09:42
    #39711474
zinpub
zinpub
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
Aleksandr Sharahov,

Там да массив ссылок на массивы вроде
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 09:43
    #39711475
MBo
MBo
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
Тест в Berlin отрабатывает за пару секунд, выделяя 15 миллионов раз память до гигабайта включительно. Переполнения нет (для полутора гиг - будет, система 32-разрядная)

Код: pascal
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
var
  A: array of Byte;
  n : Integer;
begin
  n := 1;
  while n < 1024 * 1024 * 1024 do begin
    SetLength(A, n);
    A[n-1] := 31;
    n := n + 17;
  end;
  Caption := IntToStr(A[High(A)]);
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 12:51
    #39711599
DmSer
DmSer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
m52
> 3 млн указателей - приблизительно 12Мб
Да, 12 МБ - мало, но даже такого цельного куска в куче может не найтись, даже если на ПК 15 ГБ RAM.


Для 32-битного Win-приложения доступна виртуальная память 2 ГБ в независимости от того, сколько на ПК установлено ОЗУ. Эти 2 ГБ не являются непрерывной областью, скорее всего и 1ГБ непрерывной области Вы не обнаружите. Однако этож как можно засрать память, чтобы в ней не нашлось цельного куска 12 МБ? Начиная в Delphi 2007 (или даже 2006) используется "новый" менеджер памяти (FastMM), с которым стало очень сложно добиться сильной фрагментации памяти.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 13:11
    #39711621
m52
m52
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
Вы не забывайте, что в куче еще выделяется место для 3 млн структур типа TFileInfo - именно они занимают большую часть памяти в куче, хотя каждый элемент - это отдельный маленький блок, под который выделена память с помощью new(), поэтому эти структурки не требуют непрерывного массива памяти, в отличии от динамического массива указателей.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 13:15
    #39711623
Котовасия
Котовасия
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
m52> место для 3 млн структур типа TFileInfo


Может, ты и все 3 млн файлов открытыми держишья? Рассказывай уж все сразу.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 13:27
    #39711635
YuRock
YuRock
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
DmSerm52> 3 млн указателей - приблизительно 12Мб
Да, 12 МБ - мало, но даже такого цельного куска в куче может не найтись, даже если на ПК 15 ГБ RAM.


Для 32-битного Win-приложения доступна виртуальная память 2 ГБ в независимости от того, сколько на ПК установлено ОЗУ. Эти 2 ГБ не являются непрерывной областью, скорее всего и 1ГБ непрерывной области Вы не обнаружите. Однако этож как можно засрать память, чтобы в ней не нашлось цельного куска 12 МБ? Начиная в Delphi 2007 (или даже 2006) используется "новый" менеджер памяти (FastMM), с которым стало очень сложно добиться сильной фрагментации памяти.
Я в это всё не верю.
Если нет у менеджера - он попросит у системы эти 12мб. А система их найдет всегда, хоть на свопе.
Тут проблема в том, вангую, что уже 2Гб растрачены.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 13:30
    #39711640
YuRock
YuRock
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
MBoОднако менеджер памяти должен освободить старый участок (с этим были проблемы во времена D6-7 - тогда менеджер был ленив и при постоянном расширении массива на единицу можно было забить всю память
Не замечал такого поведения за всю жизнь.
Когда TList'у не хватает массива указателей - он пытается сделать реаллок, и если не получается - то создает новый массив бОльшего размера, копирует туда и освобождает старый.
Как в таком подходе можно "забить всю память" - я не знаю. Нормальный менеджер памяти в D6-D7 - FastMM, кстати, тоже вроде.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 14:05
    #39711665
delphinotes
delphinotes
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
Тут уже несколько раз написали про фрагментацию памяти, и смена менеджера памяти вряд ли поможет.

Сам с этим сталкивался, когда делается большое кол-во реаллоков (особенно если это происходит не просто в цикле, а в процессе какого-то более сложного процесса с промежуточными выделениями памяти) обязательно настанет момент, когда система не сможет выделить непрерывный кусок памяти большого размера.

Это легко представить, если нарисовать на листочке в клеточку: вот массив из одного элемента, потом делаем реаллок - из двух (но старт массива уже в другой части доступной области), затем из трёх и так далее. Каждый раз - всё больше и больше (и каждый раз старт массива смещается).

Решается просто: или сразу выделяем большое кол-во памяти под массив + переменная, показывающая реальное кол-во элементов, либо переходим на TList и задаём ему Capacity ~ кол-во файлов (который как раз и нужен, чтобы не делать постоянные реаллоки).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.10.2018, 14:14
    #39711676
wadman
wadman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Динамические массивы - вопрос выделения памяти. Out of memory
delphinotesи задаём ему Capacity ~ кол-во файлов
Знать-бы еще заранее количество файлов.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
  1  все
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Динамические массивы - вопрос выделения памяти. Out of memory / 25 сообщений из 39, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 544ms
Закрыть
start [/forum/topic.php?fid=58&mobile=1&tid=2040306]:
 0ms
get settings:
 10ms
get forum list:
 16ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 198ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 65ms
get tp. blocked users:
 1ms
others: 235ms
total:  544ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]