Гость
Войти | Профиль | Очистить
Действия ...
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Импорт файла CSV. Проблема. / 9 сообщений из 9, страница 1 из 1
08.04.2020, 13:02
    #39944823
Валерий666
Валерий666
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Импорт файла CSV. Проблема.
Собственно сабж в заголовке.
ООООчень долгая заливка файла в БД.
Файл весит около 1Мб (~2500 строк).
Таблица содержит около 30 текстовых столбцов длинной 100 символов.

После подготовки CSV, делаю 2 запроса:

Код: sql
1.
2.
3.
4.
5.
6.
TRUNCATE TABLE ais_export.ais ;

LOAD DATA LOCAL INFILE 'e:\\Envelopement\\AISGen\\output.csv' 
INTO TABLE ais_export.ais 
FIELDS TERMINATED BY ';' ENCLOSED BY '"' ESCAPED BY '\\'
LINES STARTING BY '' TERMINATED BY '\t'



Запрос на импорт выполняется около 50-70 секунд, почему так?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.04.2020, 13:06
    #39944825
miksoft
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Импорт файла CSV. Проблема.
Валерий666,

Триггеров на таблице нет?
Что за диск e: ? Не сетевой часом? И не флешка?

Сервер MySQL поднят на этом же компе?
На каком диске лежит таблица ais_export.ais ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.04.2020, 14:06
    #39944854
Валерий666
Валерий666
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Импорт файла CSV. Проблема.
miksoft
Валерий666,

Триггеров на таблице нет?
Что за диск e: ? Не сетевой часом? И не флешка?

Сервер MySQL поднят на этом же компе?
На каком диске лежит таблица ais_export.ais ?


Триггеров нет, диск Е локальный(мой). Сервер в LAN, связь через внешний статический IP, таблица на сервере так же на обычном hdd 7200.

Есть другие БД на этом же сервере, для примера:
- загрузка в соседнюю БД рисунка в блоб поле 2-3 Мб, занимает 2-5 секунд.
- копирование еще одной соседней БД(~1,5Гб) на мой локальный комп размером около 3-5 минут.

С каналом и накопителями все в порядке.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.04.2020, 14:22
    #39944862
Валерий666
Валерий666
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Импорт файла CSV. Проблема.
Сорри нашел ошибку, неверный код.

Код: sql
1.
2.
FIELDS TERMINATED BY '\t' ENCLOSED BY '"' ESCAPED BY '\\'
LINES STARTING BY '' TERMINATED BY '\r\n'
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.04.2020, 14:22
    #39944863
Akina
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Импорт файла CSV. Проблема.
Валерий666
диск Е локальный(мой).
Тогда что в тексте запроса делает слово LOCAL?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.04.2020, 14:25
    #39944866
Валерий666
Валерий666
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Импорт файла CSV. Проблема.
Akina
Валерий666
диск Е локальный(мой).
Тогда что в тексте запроса делает слово LOCAL?

Если LOCAL не указывается, то файл должен находиться на сервере.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.04.2020, 17:00
    #39944940
miksoft
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Импорт файла CSV. Проблема.
Валерий666
Сорри нашел ошибку, неверный код.
Это было причиной долгого выполнения?
Странно... я бы понял, если бы вообще не выполнилось из-за нарушения длины полей, например.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.04.2020, 17:19
    #39944947
Валерий666
Валерий666
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Импорт файла CSV. Проблема.
miksoft
Валерий666
Сорри нашел ошибку, неверный код.
Это было причиной долгого выполнения?
Странно... я бы понял, если бы вообще не выполнилось из-за нарушения длины полей, например.

Да, по итогу из-за неверной обработки файла, в БД заливалось порядка 1000000 со значениями в ячейках null по всем столбцам
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.04.2020, 17:21
    #39944949
miksoft
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Импорт файла CSV. Проблема.
Валерий666
miksoft
пропущено...
Это было причиной долгого выполнения?
Странно... я бы понял, если бы вообще не выполнилось из-за нарушения длины полей, например.

Да, по итогу из-за неверной обработки файла, в БД заливалось порядка 1000000 со значениями в ячейках null по всем столбцам
А, ну так в таблицу надо было сразу смотреть даже в случае внешне успешной заливки.
Ну ок, хорошо, что решилось.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Импорт файла CSV. Проблема. / 9 сообщений из 9, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 172ms
Закрыть
start [/forum/topic.php?fid=47&tablet=1&tid=1828650]:
 0ms
get settings:
 9ms
get forum list:
 11ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 76ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 44ms
get tp. blocked users:
 1ms
others: 12ms
total:  172ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]