ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / очень медленная вставка LOAD DATA INFILE
5 сообщений из 5, страница 1 из 1
очень медленная вставка LOAD DATA INFILE
    #38638961
affendi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
affendi
Гость
Есть вот такая таблица:

Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
CREATE  TABLE IF NOT EXISTS `NCBI`.`GI_TAXID` (
  `gi` BIGINT UNSIGNED NOT NULL COMMENT,
  `taxid` INT UNSIGNED NOT NULL ,
  PRIMARY KEY (`gi`) ,
  INDEX `fk_GI_TAXID_names_idx` (`taxid` ASC) ,
  UNIQUE INDEX `gi_UNIQUE` (`gi` ASC) ,
  INDEX `ind_taxid` (`taxid` ASC) ,
  CONSTRAINT `fk_GI_TAXID_names`
    FOREIGN KEY (`taxid` )
    REFERENCES `NCBI`.`names` (`taxid` )
    ON DELETE CASCADE
    ON UPDATE CASCADE)
ENGINE = InnoDB



, в нее вставляется ~1.5 млн строк из файла .dmp (строки вида "число \t число \n"). Первые 50 тыс строк вставляются мгновенно, после чего скорость вставки снижается примерно до 2 тыс строк в минуту (sic!). Я имею очень косвенное отношение к mysql в частности и базам данных в целом, буду благодарен за любую подсказку в плане направления поиска причин.
...
Рейтинг: 0 / 0
12.05.2014, 16:36:22
| Ответить | Цитировать | Написать  
очень медленная вставка LOAD DATA INFILE
    #38638971
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
А зачем у вас два индекса по полю `taxid` и бессмысленный уникальный индекс по полю `gi`?
Для начала сократите первое и уберите второе.

Далее, если есть уверенность в качестве данных, что мимо `NCBI`.`names` (`taxid`) промахов не будет, то можно на время загрузки отключить внешние ключи. См. foreign_key_checks .
...
Рейтинг: 0 / 0
12.05.2014, 16:42:59
| Ответить | Цитировать | Написать  
очень медленная вставка LOAD DATA INFILE
    #38639069
affendi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
affendi
Гость
miksoft, спасибо, насчет дублирования индексов спросил автора базы. Внешние ключи пробовал отключать - разницы практически никакой, вставка замедляется после 60 тыс строк.
...
Рейтинг: 0 / 0
12.05.2014, 18:08:41
| Ответить | Цитировать | Написать  
очень медленная вставка LOAD DATA INFILE
    #38639077
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Еще можно попробовать убрать все индексы и ключи (кроме первичного) и создать их после загрузки данных. Но будет ли в итоге это быстрее - не знаю.
...
Рейтинг: 0 / 0
12.05.2014, 18:20:59
| Ответить | Цитировать | Написать  
очень медленная вставка LOAD DATA INFILE
    #38640200
affendi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
affendi
Гость
miksoft, благодарю, действительно получается быстрее!
...
Рейтинг: 0 / 0
13.05.2014, 19:01:33
| Ответить | Цитировать | Написать  
5 сообщений из 5, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / очень медленная вставка LOAD DATA INFILE
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&msg=38639077&tid=1834836]:
 0ms
get settings:
 8ms
get forum list:
 16ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 89ms
get topic data:
 8ms
get forum data:
 3ms
get page messages:
 37ms
get tp. blocked users:
 1ms
others: 236ms
total:  406ms
созд. / загр.: 406ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]