ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Импорт файла CSV. Проблема.
9 сообщений из 9, страница 1 из 1
Импорт файла CSV. Проблема.
    #39944823
Валерий666
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Валерий666
Участник
Собственно сабж в заголовке.
ООООчень долгая заливка файла в БД.
Файл весит около 1Мб (~2500 строк).
Таблица содержит около 30 текстовых столбцов длинной 100 символов.

После подготовки CSV, делаю 2 запроса:

Код: sql
1.
2.
3.
4.
5.
6.
TRUNCATE TABLE ais_export.ais ;

LOAD DATA LOCAL INFILE 'e:\\Envelopement\\AISGen\\output.csv' 
INTO TABLE ais_export.ais 
FIELDS TERMINATED BY ';' ENCLOSED BY '"' ESCAPED BY '\\'
LINES STARTING BY '' TERMINATED BY '\t'



Запрос на импорт выполняется около 50-70 секунд, почему так?
...
Рейтинг: 0 / 0
08.04.2020, 13:02
| Ответить | Цитировать | Написать  
Импорт файла CSV. Проблема.
    #39944825
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Валерий666,

Триггеров на таблице нет?
Что за диск e: ? Не сетевой часом? И не флешка?

Сервер MySQL поднят на этом же компе?
На каком диске лежит таблица ais_export.ais ?
...
Рейтинг: 0 / 0
08.04.2020, 13:06
| Ответить | Цитировать | Написать  
Импорт файла CSV. Проблема.
    #39944854
Валерий666
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Валерий666
Участник
miksoft
Валерий666,

Триггеров на таблице нет?
Что за диск e: ? Не сетевой часом? И не флешка?

Сервер MySQL поднят на этом же компе?
На каком диске лежит таблица ais_export.ais ?


Триггеров нет, диск Е локальный(мой). Сервер в LAN, связь через внешний статический IP, таблица на сервере так же на обычном hdd 7200.

Есть другие БД на этом же сервере, для примера:
- загрузка в соседнюю БД рисунка в блоб поле 2-3 Мб, занимает 2-5 секунд.
- копирование еще одной соседней БД(~1,5Гб) на мой локальный комп размером около 3-5 минут.

С каналом и накопителями все в порядке.
...
Рейтинг: 0 / 0
08.04.2020, 14:06
| Ответить | Цитировать | Написать  
Импорт файла CSV. Проблема.
    #39944862
Валерий666
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Валерий666
Участник
Сорри нашел ошибку, неверный код.

Код: sql
1.
2.
FIELDS TERMINATED BY '\t' ENCLOSED BY '"' ESCAPED BY '\\'
LINES STARTING BY '' TERMINATED BY '\r\n'
...
Рейтинг: 0 / 0
08.04.2020, 14:22
| Ответить | Цитировать | Написать  
Импорт файла CSV. Проблема.
    #39944863
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
Валерий666
диск Е локальный(мой).
Тогда что в тексте запроса делает слово LOCAL?
...
Рейтинг: 0 / 0
08.04.2020, 14:22
| Ответить | Цитировать | Написать  
Импорт файла CSV. Проблема.
    #39944866
Валерий666
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Валерий666
Участник
Akina
Валерий666
диск Е локальный(мой).
Тогда что в тексте запроса делает слово LOCAL?

Если LOCAL не указывается, то файл должен находиться на сервере.
...
Рейтинг: 0 / 0
08.04.2020, 14:25
| Ответить | Цитировать | Написать  
Импорт файла CSV. Проблема.
    #39944940
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Валерий666
Сорри нашел ошибку, неверный код.
Это было причиной долгого выполнения?
Странно... я бы понял, если бы вообще не выполнилось из-за нарушения длины полей, например.
...
Рейтинг: 0 / 0
08.04.2020, 17:00
| Ответить | Цитировать | Написать  
Импорт файла CSV. Проблема.
    #39944947
Валерий666
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Валерий666
Участник
miksoft
Валерий666
Сорри нашел ошибку, неверный код.
Это было причиной долгого выполнения?
Странно... я бы понял, если бы вообще не выполнилось из-за нарушения длины полей, например.

Да, по итогу из-за неверной обработки файла, в БД заливалось порядка 1000000 со значениями в ячейках null по всем столбцам
...
Рейтинг: 0 / 0
08.04.2020, 17:19
| Ответить | Цитировать | Написать  
Импорт файла CSV. Проблема.
    #39944949
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Валерий666
miksoft
пропущено...
Это было причиной долгого выполнения?
Странно... я бы понял, если бы вообще не выполнилось из-за нарушения длины полей, например.

Да, по итогу из-за неверной обработки файла, в БД заливалось порядка 1000000 со значениями в ячейках null по всем столбцам
А, ну так в таблицу надо было сразу смотреть даже в случае внешне успешной заливки.
Ну ок, хорошо, что решилось.
...
Рейтинг: 0 / 0
08.04.2020, 17:21
| Ответить | Цитировать | Написать  
9 сообщений из 9, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Импорт файла CSV. Проблема.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&fpage=23&tid=1828650]:
 0ms
get settings:
 9ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 36ms
get topic data:
 12ms
get forum data:
 2ms
get page messages:
 46ms
get tp. blocked users:
 2ms
others: 318ms
total:  447ms
созд. / загр.: 447ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]