Изопропилзачем менять?
Ну будет PCI карта работать в режиме 2.0 с 4мя линиями

Нашел интересную статью о работе ssd- дисков в различных разъемах. Для меня важны именно последовательные операции (первый график). Там видно, что скорость диска в слоте PCI Express 2.0 останавливается на 1.2 ГБайт/сек(для диска, позволяющего работать на скорости 1.75 ГБайт/сек).

Как PCI Express 2.0 себя покажет для диска, работающего на 3.2 ГБайт/сек? Тоже ограничится скоростью 1.2 ГБайт/сек?

Basil A. SidorovНасколько мне изменяет склероз, линия PCI-Express - ~четверть гигабайта в секунду.

P.S. Погуглил. Не изменяет.

Это зависит от версии PCI Express: каждая новая версия примерно в 2 раза быстрее предыдущей. Так что по логике, если PCI Express 3.0 может передавать 3.2 ГБайта/сек (потому что есть такие диски), то PCI Express 2.0 должен позволять передавать 1.6 ГБайта/сек. Почему тогда в этой статье произошел затык на 1.2 Гбайт/сек- не понятно.

Basil A. SidorovAlekseySQLПочему тогда в этой статье произошел затык на 1.2 Гбайт/сек- не понятно.Даже через магистральный водопровод нельзя прокачать кубометр в секунду при помощи ручного насоса.

P.S.
У вас какие-то удивительно наивные представления.
Даже не знаю - огорчаться или улыбаться ...

Диск из статьи может работать на 1,7 Гб, при этом PSI EXxpress 3.0 позволяет работать дискам 3,2 Гбайт/сек, PSI EXxpress 2.0 в два раза медленнее, чем PSI EXxpress 3.0 (а значит пропускает минимум 1,6 Гбайт/сек). Поэтому не понятно, почему диск работал на 1.2 Гбайт/сек.

Basil A. SidorovSSD малого объёма работают медленнее больших потому, что существует предел пропускной способности самой флэш-памяти и канала контролера. На каждый канал устанавливается определённый объем памяти, а значит диск малого объёма использует меньше каналов.

В статье использован SSD Patriot Hellfire емкостью 240 ГБ, тестирование которого показало 2,6 Гбайт/сек на запись и 1,5 Гбайт/сек на чтение. Так что дело не в неудачной реализации SSD диска, который не смог использовать все каналы.

Basil A. SidorovПо этой же причине, на однопоточных обращениях, пропускная способность SSD может быть заметно ниже, чем для многопоточных сценариев.

Характер нагрузки тот же самый, что и для PSI Express 3.0, позволившим осуществить передачу 1.7 ГБайт/сек. Так что и не в характере дело.

AlekseySQLПожалуйста, подождите результата теста при "поколоночном" хранении. Возможно все уже сделано, только не протестировано.

У меня есть 1 HDD и 1 SSD- диски. При конвертации из txt- формата в bin- формат запись производилась только на HDD, а после удачного завершения данные копировались на SSD (чтобы не уменьшать ресурс SSD неудачными тестами). Чтение данных из bin- файлов производилась 4- мя потоками (3 потока читали с SSD и 1 поток читал с HDD). Для каждого поля производился анализ повторения с предыдущим значением (или его инкрементом), за счет чего удалось выполнить сжатие данных.

AOS(array of struct):
Размер сконвертированных bin- файлов(нет сжатия): 23.3 ГБ
Время записи bin- файлов (только на HDD): 290 сек
Время чтения bin- файлов (с HDD + SSD): 89 сек

SOA(struct of array):
Размер сконвертированных bin- файлов(есть сжатие): 6.8 ГБ
Время записи bin- файлов(только на HDD): 176 сек
Время чтения bin- файлов(с HDD + SSD): 11.5 сек

Видно, что размер файлов уменьшился ~3 раза, а скорость чтения выросла ~8 раз. Произошло это за счет того, что не все колонки читались с диска, а некоторые были пропущены с помощью seekg(). Я доволен результатом.

mayton13thКупи два модуля памяти по 32Гб, и проблема решена.
Хочешь - сделай RAM-диск, хочешь напрямую все данные на адресное пространство отобрази. Делов-то.
Я думаю что эта задача не стоит подобных расходов.

Кстати считаю актуальным вопрос об однократном или многократном чтении файла.

Сколько вообще "пробегов" нужно совершить по файлу чтоб решить задачу автора?

В настоящий момент файлы только подготавливаются для последующих алгоритмов. Поэтому пока я ставлю эксперименты на однократный пробег по файлу.