Гость
Map
Форумы / SQLite [игнор отключен] [закрыт для гостей] / xml2sqlite / 5 сообщений из 5, страница 1 из 1
24.04.2020, 20:55
    #39951177
lamer007
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
xml2sqlite
Хай, есть xml файл, 3кк записей, 30кк строк, на 1.5 гига, надо его в формат sqlite переконвертить, отчаялся и написал свою говноконвертилку, но результирующую базу формирую запросами insert спарсив из xml данные и сформировав строку запроса, работает имеено из-за инсертов очень медленно, формировать самому бинарник бд под нужный формат, как то совсем из пушки по воробьям... может кто подскажет решение толковое, перебирать конвертилки и воевать с платными не очень хочется( 
...
Рейтинг: 0 / 0
24.04.2020, 21:16
    #39951180
VSVLAD
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
xml2sqlite
lamer007,

выключить синхронизацию, не удалять журнал, инсертить блоками в транзакциях, будет довольно быстро. Для разовой задачи, за несколько часов справится
...
Рейтинг: 0 / 0
24.04.2020, 21:24
    #39951181
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
xml2sqlite
Тут я импорт много строк делал, посмотри прагмы в начале
...
Рейтинг: 0 / 0
24.04.2020, 21:26
    #39951182
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
xml2sqlite
pragma foreign_keys=ON;
pragma read_uncommitted=ON;
pragma synhronous=OFF;
pragma journal_mode=OFF;
pragma cache_size=-32678;
...
Рейтинг: 0 / 0
30.04.2020, 18:49
    #39953378
tchingiz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
xml2sqlite
полтора гига я не вставлял,
но 23 мегабайта из csv файла одной транзакцией вставляется хорошо.
...
Рейтинг: 0 / 0
Форумы / SQLite [игнор отключен] [закрыт для гостей] / xml2sqlite / 5 сообщений из 5, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]