Задача: заполнить MEMORY таблицу некоторым кол-вом записей. Скажем около 50М.
таблица из 15 полей, почти все int/smallint и по одному полю char(12), timestamp и binary(8)
индексов в таблице назначения НЕТ

Имеется несколько серверов разной конфигурации, и с медленными HDD и с ультра новыми промышленными SSD. Все в RAID. Памяти 128-256Гб. На серверах или MySQL 5.1 или 5.7

Проблема:
Скорость заполнения почти не зависит от конфигурации железа и версии/настроек MySQL и находится в пределах 2мин для совсем старых серверов с тормозными HDD до 1мин 40сек для быстрейших SSD имеющих проверенную линейную скорости чтения/записи 1.5-2Гб/сек

Данные вставлялись как через INSERT из другой таблицы, так и через LOAD DATA LOCAL INFILE (читаемый csv файл около 4.5Гб)

Финальная задача - сократить время загрузки на конфигурации с 5.7 и SSD до хотя бы 30-40 сек.

Варианты с MyISAM и InnoDB тоже интересны, но пока они всегда были еще медленнее.

И да, что еще не нравится - генерация подобного csv файла через SELECT INTO OUTFILE тоже идет со скоростью 50-70Mb/sec на тех же SSD.
CentOS 6.5-6.7, ext4

miksoftВо время всех этих процессов за нагрузкой на CPU наблюдали?
Да, 100% в один поток. Есть идеи как снизить?
miksoft_newcomer_LOAD DATA LOCAL INFILEПоложите файл на сервер и попробуйте без слова LOCAL.
Это и так на самом сервере делается локально. Эксклюзивный режим для задачи. Нигде никакого сетевого взаимодействия вообще нет.

miksoftЕсть два варианта - переходить на CPU, более быстрые в расчете на ядро, и выполнять загрузку в несколько параллельных потоков.
Других CPU нет, и так эти только купили.
А вот в несколько потоков можно.
Но результаты для этой конфигурации железа (32 ядра, Xeon E5-2630 2.4Ггц) следующие (csv бился на части и грузился в разные таблицы параллельно):
1 поток: 95 сек
4 потока: 32 сек
8 потоков: 35 сек
16 потоков: 37 сек
Проверялось на MEMORY и MyISAM заполняемых таблицах - результат абсолютно идентичный (InnoDB медленнее).

Не особо понятно, можно ли что-то улучшить еще. 4 потока, лучше чем 8 не особо хорошо. Загрузка во всех тестах всех потоков 100%.

miksoftТаки попробуйте без слова LOCAL. LOCAL вынуждает тащить файл через линк между клиентом и сервером.
Пробовал - вообще ни на что на влияет в данном случае.