ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Самый быстрый способ загрузки данных в таблицу
12 сообщений из 12, страница 1 из 1
Самый быстрый способ загрузки данных в таблицу
    #39557122
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alibek B
Участник
Необходимо загрузить в memory-таблицу несколько сотен строк.
Файлового доступа к серверу MySQL (чтобы использовать LOAD DATA) нет, загружать можно только SQL-инструкциями.
Я думаю выключать autocommit, формировать динамический SQL примерно такого вида:
Код: sql
1.
insert into `table` values (1,2,3), (4,5,6), ...


и затем вручную коммитить.
Или быстрее будет использование параметрического запроса?
Код: sql
1.
insert into `table` values (?,?,?)
...
Рейтинг: 0 / 0
21.11.2017, 19:22
| Ответить | Цитировать | Написать  
Самый быстрый способ загрузки данных в таблицу
    #39557159
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Несколько сотен можно вставить как угодно. Проще всего одним инсертом.
...
Рейтинг: 0 / 0
21.11.2017, 20:53
| Ответить | Цитировать | Написать  
Самый быстрый способ загрузки данных в таблицу
    #39557170
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alibek B
Участник
В БД есть ограничение по количеству параметров и по объему SQL-запроса, не хотелось бы на него наткнуться.
Сейчас я загружаю с помощью динамического SQL (блоками по 100 строк), в принципе быстродействие меня устраивает.
Но несколько сотен строк это в том числе и 20-30 сотен строк, кроме того таблиц, загружаемых подобным образом, несколько десятков, поэтому если есть более оптимальный способ, я бы использовал его.
...
Рейтинг: 0 / 0
21.11.2017, 21:23
| Ответить | Цитировать | Написать  
Самый быстрый способ загрузки данных в таблицу
    #39557275
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Alibek B.если есть более оптимальный способ, я бы использовал его.LOAD DATA/mysqlimport с указанием параметра LOCAL.
...
Рейтинг: 0 / 0
22.11.2017, 07:42
| Ответить | Цитировать | Написать  
Самый быстрый способ загрузки данных в таблицу
    #39557276
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Alibek B.в memory-таблицуКстати, движок MEMORY не поддерживает транзакции, так что автокоммит на него не влияет.
...
Рейтинг: 0 / 0
22.11.2017, 07:44
| Ответить | Цитировать | Написать  
Самый быстрый способ загрузки данных в таблицу
    #39557319
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alibek B
Участник
miksoftКстати, движок MEMORY не поддерживает транзакции, так что автокоммит на него не влияет.
Надо же, не знал.
load data local поизучаю, я надеялся обойтись вообще без временных файлов.
...
Рейтинг: 0 / 0
22.11.2017, 10:14
| Ответить | Цитировать | Написать  
Самый быстрый способ загрузки данных в таблицу
    #39557416
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Alibek B.я надеялся обойтись вообще без временных файлов.а исходные данные где находятся?
...
Рейтинг: 0 / 0
22.11.2017, 12:28
| Ответить | Цитировать | Написать  
Самый быстрый способ загрузки данных в таблицу
    #39557487
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alibek B
Участник
Исходные данные я получаю с веб-сервиса в JSON.
...
Рейтинг: 0 / 0
22.11.2017, 13:37
| Ответить | Цитировать | Написать  
Самый быстрый способ загрузки данных в таблицу
    #39557498
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
А версия сервера 5.7.6 и новее, или старая? а то JSON-то мож как есть туда можно...
...
Рейтинг: 0 / 0
22.11.2017, 13:47
| Ответить | Цитировать | Написать  
Самый быстрый способ загрузки данных в таблицу
    #39557501
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alibek B
Участник
5.1 помоему.
Правда можно обновиться (а заодно и на MariaDB перейти), но веб-сервис требует аутентификации через куки, поэтому я сомневаюсь, что я смогу получать данные прямо с сервиса.
Но если это возможно, то получать данные прямо с веб-сервиса было бы вообще идеальным решением.
...
Рейтинг: 0 / 0
22.11.2017, 13:48
| Ответить | Цитировать | Написать  
Самый быстрый способ загрузки данных в таблицу
    #39557514
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
Я имел в виду, не то, что MySQL будет сам лезть на веб-сервер за данными (это штатно невозможно), а то, что можно было бы прямо полученный JSON отправлять на MySQL-сервер, и он уже разберётся.
Alibek B.Я думаю выключать autocommit, формировать динамический SQL
...
и затем вручную коммитить.
Или быстрее будет использование параметрического запроса?
Не думаю, что будет большая разница. Параметрический запрос более безопасен, но накладные расходы будут выше, так что он будет, я думаю, чуть помедленнее.
...
Рейтинг: 0 / 0
22.11.2017, 14:04
| Ответить | Цитировать | Написать  
Самый быстрый способ загрузки данных в таблицу
    #39557528
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alibek B
Участник
У сущностей разное количество атрибутов и атрибуты имеют разный тип данных.
Параметрические запросы я использую в том числе и для того, чтобы не ломать себе голову правильным экранированием.
В принципе меня быстродействие такого переноса данных вполне устраивает, весь скрипт отрабатывает менее чем за минуту.
С load data все усложняется, думаю пока в этом нет необходимости.
...
Рейтинг: 0 / 0
22.11.2017, 14:30
| Ответить | Цитировать | Написать  
12 сообщений из 12, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Самый быстрый способ загрузки данных в таблицу
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]