|
|
|
Долгий INSERT в InnoDB
|
|||
|---|---|---|---|
|
#18+
Есть задача, сделать проект сравнения цен (подобие nadavi.ru) Написал парсер xml (Яндекс.Маркет) все работает стабильно, сделал тест добавил 1000 магазинов Есть таблица предложений этих магазинов, в таблице лежат связи catalog_id (ИД товара), shop_id (ИД магазина), price (Цена) сейчас в ней 9мил. записей Экспериментировал сначала на MyISAM вставка проходит быстро, время загрузки 1 прайса из 8000 предложений составляет около 25 секунд, но есть проблема, т.к. принцип обновления происходит таким образом DELETE ... FROM предложения WHERE shop_id=* т.е. удаляет все предложения, а потом INSERT пачками по 3000 предложений, происходит фрагментация данных и выборка SELECT на сайте происходит долго, запускаю оптимизатора, дальше все ок, пока не обновится еще один магазин. Пробою теперь на InnoDB все отлично, выборка стабильная, фрагментации нет, но теперь страдает INSERT пачками, занимает теперь около 5-7 минут, что долго Что можете посоветовать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2015, 14:23:04 |
|
||
|
Долгий INSERT в InnoDB
|
|||
|---|---|---|---|
|
#18+
Покажите DDL таблицы с индексами. innodb_flush_log_at_trx_commit чему равен? Не пробовали данные грузить из текстового файла с помощью mysqlimport/LOAD DATA INFILE? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2015, 14:38:33 |
|
||
|
Долгий INSERT в InnoDB
|
|||
|---|---|---|---|
|
#18+
mysqlimport/LOAD DATA INFILE? не пробовал ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2015, 15:01:03 |
|
||
|
Долгий INSERT в InnoDB
|
|||
|---|---|---|---|
|
#18+
авторЧто можете посоветовать? ну счетчики посмотри. Perfomance schema. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2015, 16:25:39 |
|
||
|
Долгий INSERT в InnoDB
|
|||
|---|---|---|---|
|
#18+
elfunser, происходит фрагментация данных и выборка SELECT на сайте происходит долго, ребята, забудьте вы такие слова "фрагментация данных". не бывает такой проблемы на практике в бд. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.02.2015, 12:09:19 |
|
||
|
|
start [/forum/topic.php?fid=47&msg=38881557&tid=1833562]: |
0ms |
get settings: |
7ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
52ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
38ms |
get tp. blocked users: |
1ms |
| others: | 191ms |
| total: | 319ms |
| 0 / 0 |
