hlopotunвыше уже написал, что в память не лезет уже сам индекх позволяющий позиционироваться в
этих файлах.
"Не верю!" (с)
Каков размер ключа и в какую структуру этот индекс складывается?
hlopotunобычный файл с разделителями, каждая срока имеет свой тип, количество полей итп со всякой
вложенностью итп немного напоминает IDE но попроще тогоже PRICAT
Так прыгать-то зачем? Импортируй во временные таблицы сразу по мере чтения.
Размер самого ключа не мерял, мерял использование памяти всей программой в процессе импорта этой процедурой:
delphi function _CurrentProcessMemory: Cardinal;
var
MemCounters: TProcessMemoryCounters;
begin
MemCounters.cb := SizeOf(MemCounters);
if GetProcessMemoryInfo(GetCurrentProcess,
@MemCounters,
SizeOf(MemCounters)) then
Result := MemCounters.WorkingSetSize + MemCounters.PagefileUsage
else
RaiseLastOSError;
end;
до момента получения сообщения "Out of memory". Ключ составной, пихается в разные свойства одного из обьектов, которые в свою очередь являются массивами объектов. В итоге это приводит к тому что если грубо то объём используемой памяти на одну запись увеличивается в 2-3 раза в сравнеии с размером самой записи в файле.
В ключ пихается много чего, потом проводится пересорторовка данных итп. Сначала думал где утечки памяти есть, но проверил в процессе импорта этой процедурой через FastMM:
delphi function _CurrentProcessMemory: Cardinal;
var
MemCounters: TProcessMemoryCounters;
begin
MemCounters.cb := SizeOf(MemCounters);
if GetProcessMemoryInfo(GetCurrentProcess,
@MemCounters,
SizeOf(MemCounters)) then
Result := MemCounters.WorkingSetSize + MemCounters.PagefileUsage
else
RaiseLastOSError;
end;
и утечек не обнаружил.
Код большой и сложный, яркий пример того как ненадо делать такой импорт. По сути автор попробовал реализовать свою базу с индексом и частично данными в памяти где всё парсит и потом запихивает всё в базу которая в одних версиях ещё парадоксовая а в других firebird. Собственно отсюда и все проблемы. Но код работает на файлах приемлемого размера (до 600 Мб примерно). По любому прийдётся всё переписывать. От парадокса скорее всего уже отказываться (лишний аргумент клиентам переходить на новую версию).
И да, пихать сразу всё во временные таблицы и от туда уже раскидывать дальше.
