powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Низкая производительность при insert
7 сообщений из 7, страница 1 из 1
Низкая производительность при insert
    #38937854
timark
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Здравствуйте.
Очень нужна помощь, что-то я в тупик зашёл.

Перенёс приложение с рабочей, виртуальной машины на подготовленный сервер. На котором наблюдается крайне низкая производительность при выполнении Insert.

При выполнении обработчика, в базу должно поступить порядка 150 000 строк. На рабочей машине эта процедура занимала около 15 минут. На сервере – 2 часа и 60% только записано. При этом Select отрабатывает на ура.
Если смотреть top то под mysql выделено 2-5% mem (до 500Mb) и около 6 Gb памяти не используется (inactive в /proc/meminfo)
Что-то я крутил в настройках /etc/mysql/my.cnf, но на данный момент всё по умолчанию.
Проверен жесткий диск в софт-рейде (hdparm), показатели в норме.

Помогите найти проблему.
...
Рейтинг: 0 / 0
Низкая производительность при insert
    #38937863
ramha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
timark,

У меня было подобное, в таблице были индексы и при копировании этой таблицы на другой сервер индексы тоже перенеслись и insert тормозил, тоже не мог понять в чём дело, пока не удалил на момент импорта индексы из таблицы на другом сервере.
Возможно у Вас тоже в этом дело.
...
Рейтинг: 0 / 0
Низкая производительность при insert
    #38937963
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
timark,

Как именно производите вставку? Какой движок таблиц? Если InnoDB, то чему равен innodb_flush_log_at_trx_commit ?
...
Рейтинг: 0 / 0
Низкая производительность при insert
    #38938194
timark
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miksoft,

Вставка производится из приложения (php, yii2/activerecord).
Движок InnoDB.
Посмотрел show variables like 'innodb_flush_log_at_trx_commit';
Значение показывает = 1.
...
Рейтинг: 0 / 0
Низкая производительность при insert
    #38938204
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
timarkПосмотрел show variables like 'innodb_flush_log_at_trx_commit';
Значение показывает = 1.Замените на 0 или 2.
timarkВставка производится из приложения (php, yii2/activerecord).Т.е. одиночными INSERT-ами?
Было бы куда быстрее выполнить вставку из файла с помощью LOAD DATA INFILE/mysqlimport. Так этот объем загрузился бы за секунды.
...
Рейтинг: 0 / 0
Низкая производительность при insert
    #38938252
timark
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
На данном этапе происходит перенос данных, хоронящихся в одной таблице в распределённые таблицы со связями.
После переноса обработчик как раз таки будет брать данные из файла xlsx, где примерно по 100-200 000 строк.

Сомневаюсь, что LOAD DATA INFILE тут поможет, поскольку данные следует распределить по таблицам. Или я ошибаюсь? Может как-то можно по определённым алгоритмам на триггерах это реализовать?

Изменил значение innodb_flush_log_at_trx_commit на 2 и вроде бы пошло дело, примерно раз в 100 быстрее. Но только ли в этом дело, потому что на рабочей машине это значение = 1 и она в 4 раза менее производительней обработка примерно 15 мин занимает. Может ещё, что покрутить?

Спасибо!
...
Рейтинг: 0 / 0
Низкая производительность при insert
    #38938255
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
timarkСомневаюсь, что LOAD DATA INFILE тут поможет, поскольку данные следует распределить по таблицам. Или я ошибаюсь? Может как-то можно по определённым алгоритмам на триггерах это реализовать?Я бы рассмотрел вариант загрузки в промежуточную таблицу, а потом разноса по другим таблицам с помощью INSERT ... SELECT ... .
...
Рейтинг: 0 / 0
7 сообщений из 7, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Низкая производительность при insert
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]