Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
24.04.2020, 20:55
|
|||
---|---|---|---|
|
|||
xml2sqlite |
|||
#18+
Хай, есть xml файл, 3кк записей, 30кк строк, на 1.5 гига, надо его в формат sqlite переконвертить, отчаялся и написал свою говноконвертилку, но результирующую базу формирую запросами insert спарсив из xml данные и сформировав строку запроса, работает имеено из-за инсертов очень медленно, формировать самому бинарник бд под нужный формат, как то совсем из пушки по воробьям... может кто подскажет решение толковое, перебирать конвертилки и воевать с платными не очень хочется( ... |
|||
:
Нравится:
Не нравится:
|
|||
|
24.04.2020, 21:16
|
|||
---|---|---|---|
xml2sqlite |
|||
#18+
lamer007, выключить синхронизацию, не удалять журнал, инсертить блоками в транзакциях, будет довольно быстро. Для разовой задачи, за несколько часов справится ... |
|||
:
Нравится:
Не нравится:
|
|||
|
24.04.2020, 21:24
|
|||
---|---|---|---|
xml2sqlite |
|||
#18+
Тут я импорт много строк делал, посмотри прагмы в начале ... |
|||
:
Нравится:
Не нравится:
|
|||
|
24.04.2020, 21:26
|
|||
---|---|---|---|
xml2sqlite |
|||
#18+
pragma foreign_keys=ON; pragma read_uncommitted=ON; pragma synhronous=OFF; pragma journal_mode=OFF; pragma cache_size=-32678; ... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
Start [/forum/topic.php?fid=54&mobile=1&tid=2008364]: |
0ms |
get settings: |
29ms |
get forum list: |
17ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
35ms |
get topic data: |
14ms |
get forum data: |
3ms |
get page messages: |
146ms |
get tp. blocked users: |
2ms |
others: | 12ms |
total: | 266ms |
0 / 0 |