Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Потоковая транзакция данных / 8 сообщений из 8, страница 1 из 1
20.04.2016, 04:21
    #39219702
Александр5
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая транзакция данных
Доброго времени суток. Собственно весь вопрос в названии темы. Пишу универсальный конвертер из DBF в MySQL на языке Си шарп. Запись INSERTом в цикле вариант рабочий, но не самый быстрый. Существует ли возможность выполнять запись таблицы потоком ? Данные хранятся в DataTable
...
Рейтинг: 0 / 0
20.04.2016, 04:37
    #39219704
javajdbc
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая транзакция данных
Александр5Доброго времени суток. Собственно весь вопрос в названии темы. Пишу универсальный конвертер из DBF в MySQL на языке Си шарп. Запись INSERTом в цикле вариант рабочий, но не самый быстрый. Существует ли возможность выполнять запись таблицы потоком ? Данные хранятся в DataTable

...странно... БатчСайз был в жава jdbc драйвере лет 15 назад...
В Коннекторе вроде такого нет:
https://dev.mysql.com/doc/connector-net/en/connector-net-ref.html

Вот есть какая-то ссылка на Деварт драйвер -- мол у него есть бачинг:

https://social.msdn.microsoft.com/Forums/en-US/443ca4df-acf3-4700-8d7d-f86ecd5fc01d/batch-inserts-with-entity-framework-41-and-mysql-connector?forum=adodotnetentityframework
...
Рейтинг: 0 / 0
20.04.2016, 09:23
    #39219813
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая транзакция данных
Александр5Существует ли возможность выполнять запись таблицы потоком ?
Попробуй конвертировать DBF в CSV и грузить данные из файла через LOAD DATA LOCAL INFILE.

PS. Покопайся - вроде как LOAD DATA LOCAL INFILE не умеет принимать из конвейера, но вдруг...
...
Рейтинг: 0 / 0
20.04.2016, 09:36
    #39219827
Александр5
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая транзакция данных
javajdbc, Спасибо! Буду пробовать.
...
Рейтинг: 0 / 0
20.04.2016, 10:19
    #39219879
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая транзакция данных
AkinaPS. Покопайся - вроде как LOAD DATA LOCAL INFILE не умеет принимать из конвейера, но вдруг...Зато в некоторых случаях удается загрузить прямо из DBF, я видел упоминание такого в интернетах.
...
Рейтинг: 0 / 0
20.04.2016, 10:24
    #39219887
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая транзакция данных
miksoftв некоторых случаях удается загрузить прямо из DBF
Угу. Сам делал... Вот только зависит это исключительно от самого DBF. Если в нём предусмотрено наличие распознаваемого терминатора в каждой записи, нет МЕМО-полей, и нет никакого косяка в заголовке - прокатывает. А поскольку косяк может возникнуть просто от того, что изменилось, скажем, поле количества записей или даты последнего обновления в заголовке - получается совершенно непредсказуемая лотерея.
...
Рейтинг: 0 / 0
20.04.2016, 10:47
    #39219919
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая транзакция данных
Александр5Доброго времени суток. Собственно весь вопрос в названии темы. Пишу универсальный конвертер из DBF в MySQL на языке Си шарп.

интересно другое.
зачем ты вообще это делаешь.
MySQL как правило работает под Linux,
и данные лучше всего грузить с линуховых хостов.
где ты там найдешь C#?

можно конечно и с виндовз грузить, но тамошние админы тебя просто не поймут...
...
Рейтинг: 0 / 0
20.04.2016, 10:55
    #39219932
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая транзакция данных
вон гляди утилита есть

https://gist.github.com/bertspaan/8220892

dbf -> cafe, затем load, и все.

зачем миру ещё один лисапед?
...
Рейтинг: 0 / 0
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Потоковая транзакция данных / 8 сообщений из 8, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]