AlekseySQLВ двоичном формате данные хранят все поля (в структурах), и читаются также все поля. Поэтому появилось мысль использовать БД, чтобы не читать лишние поля (а преобразования из выборки БД в нужные объекты скорее всего как и в предыдущем случае практически не будет замедлять работу).
Разбей структуру на две: часто используемые поля и остальные. Храни в двух разных таблицах, а связь по ключу или просто по индексу, т.е. номеру записи в таблице.
AlekseySQLКакую БД посоветуете при подобном объеме? Подойдут ли для этого dbf- файлы (или они тоже читаются целиком)? Пока критерий один- максимальная скорость.
Ты уже сделал самый быстрый вариант. Никакая БД тебя не спасет, т.к. при использовании БД будет лишняя нагрузка на проц, а может и лишнее чтение диска, т.к. БД кроме данных содержит вспомогательную инфу: индексы и т.д.

ИМХО лучше подумай как улучшить расположение данных в твоей БД, чтобы минимизировать чтения с диска.
Может надо ввести какую-то вспомогательную доп.инфу для ускорения поиска нужных данных.
Тут надо от конкретной задачи отталкиваться, смотреть какие именно операции чаще выполняются и под них делать оптимизацию.

PS Если дисковое IO критично, то можно диски побыстрее взять, современные SSD читают линейно 3+ Гб/сек.

Arm79Dima TТы уже сделал самый быстрый вариант. Никакая БД тебя не спасет, т.к. при использовании БД будет лишняя нагрузка на проц, а может и лишнее чтение диска, т.к. БД кроме данных содержит вспомогательную инфу: индексы и т.д.
Это неверная информация. Зависит от входных данных и от требуемой логики обработки.
В общем случае - согласен. Но, к сожалению, ТС деталей решаемой задачи он не раскрывает, поэтому исходим из его утверждения что задача уже решена оптимально.

982183Dima TТы уже сделал самый быстрый вариант. Никакая БД тебя не спасет, т.к. при использовании БД будет лишняя нагрузка на проц, а может и лишнее чтение диска, т.к. БД кроме данных содержит вспомогательную инфу: индексы и т.д.
.
Ну так это "вспомогательная" информация и позволяет более быстро работать с данными.
Я так понимаю для данной задачи это лишнее.

AlekseySQLDima TPS Если дисковое IO критично, то можно диски побыстрее взять, современные SSD читают линейно 3+ Гб/сек.

Если 3Гб/сек- это 3 Гбайт/секунда, то для этого надо компьютер полностью пересобирать, чтобы мать поддерживала интерфейс М.2. А после этого придется заменять процессор + память... Так что не вариант.
Да, речь про M.2 с поддержкой PCIe x4.
Пересобирать не обязательно, есть контроллеры-переходники PCIe - M.2.