Андрей ИгоревичПотихоньку разбираться в ваших предложениях, читать про СУБД, как я понял в теме мне суммарно предложили 3 варианта обработки данных:
1. БД (Оракл, Парадокс, всякие SQL и ещё что-то там).
2. Кешировать массив на диске.
3. Куча способов прямого многопоточного считывания данных посредством всяких библиотек и прямой работы с ними.
Про БД, вроде любопытно, хотя и ощущается как костыль, но пока только вникаю. Хотя освоение SQL явно пока отложу. Посоветуйте СУБД максимально простую в освоении для начала.
И вопрос, как реализовать? Как одну огромную таблицу типа
1.
2.
3.
4.
1 1 1 1 1 9.87e31
1 1 1 1 2 1.23e13
..........
20 60 60 163 312 1.11e30
Где ключ первые 5 столбцов или иерархически:
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
1
2
3
4
1 1 2 1 ...
1 2 2 2 ...
... ... ...
1 60 2 60 ...
1 1 ...
1 2 ...
... ...
1 60 ...
....
....
....
163 1 3.33e22
163 2 2.22e31
163 312 1.11e30
Где всё - отдельные таблицы (чет много будет таблиц), второй столбец каждой таблицы - ключ, первый - индекс от ключа предыдущего уровня (как он там называется) .
Но вообще, как-то сложно :), сначала файлы как-то надо перегнать всё БД, потом на ходу считывать и с этим работать, потом удалять (а ведь мне подобные данные массивы по 3 раза в месяц иногда приходят).
Про кеширование, я так понимаю это возможно только на Делфи 64, ибо мой компилятор просто не компилирует подобную запись с формулировкой "массив больше 2 гб". Вопрос - где взять Делфи 64?
В итоге я склоняюсь к многопоточной прямой работе с файлами, то есть сначала перегоняю их в типизированные файлы, а потом подгружаю их по мере формирование запросов? По крайне мере просто реализуется и понятно логичкски.
Варианты "поднять\использовать сервер" - не рассматриваю, не то что бы у меня не было такой возможности, но это как-то слишком для такой задачи.
Я бы делал один большой ключ. - все параметры - показатель. то есть, в одну таблицу.
Не надо особенно сильно боятся установки сервера, ну сервер и сервер. Некоторые ставятся в режиме да-да-да-да.
В оракле таблицы можно партиционировать, то есть делить данные допустим по периодам, если запрос позволяет сразу определить нужную партицию (партиции) - данные конечно возвращаются быстрее. В других базах тоже, можно - про файербёрд не знаю, а в постгрессе вроде было.
но, опять таки, хорошо бы понимать, что у Вас с дисками и оперативкой - БД - это не волшебная палочка. жаль, что более опытные базовики не отреагировали на вопрос о проектировании.
Возможно, стоит продублировать вопрос в разделах баз, конкретно - firebird, ms sql server. postgress, mySql. Оракл все же ставить посложнее, лучше не надо, а эти четыре - нормально.
Базы без сервера, типа акцесса, к такой работе не приспособлены.
но если хотите попробовать, то попробуйте
http://www.webdelphi.ru/2016/08/sqlite-v-delphi-bolshoj-obzor-i-litedac-v-primerax/ - предполагаю, что разочарует.
разве что, если загонять разные срезы в несколько файлов данных.....
