|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
Всем привет. Нужно загрузить текстовый файл в базу данных кол-во строк 4млн, вес файла 58 мб. Написал вот такой код Код: powershell 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30.
За 7 часов работы этого скрипта было импортировано. 1,205 млн записей. Как ускорить это мероприятие? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.12.2018, 20:59 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
BlackeAngelКак ускорить это мероприятие? Глянь сюда https://www.sql.ru/forum/1302777/baza-3-mln-shtrihkodov 3 млн. за несколько секунд. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.12.2018, 21:11 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
BlackeAngelЗа 7 часов работы этого скрипта было импортировано. 1,205 млн записей. Как ускорить это мероприятие? sqlite3 dbfile ".import <TextFile> <Table>" ... |
|||
:
Нравится:
Не нравится:
|
|||
14.12.2018, 21:53 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
White Owl, А в определенный столбец разве так можно вставлять? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.12.2018, 22:10 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
White Owl, Почему тогда это Код: plsql 1.
Не работает? Просто моргает, а ничего не вставляет? Я делаю просто: достаю данные в файл csv из таблицы в бд, чищу таблицу и пытаюсь экспортированные данные из csv засунуть обратно - ничего не происходит. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.12.2018, 23:06 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
White Owl, А если делать так: Экспортирую в csv через Код: plsql 1.
А затем не трогая его очищаю таблицу, и импортирую файл csv который только что эксортировал вот так Код: plsql 1.
То ругается ошибками Код: powershell 1. 2. 3.
как сделать нормально? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.12.2018, 23:19 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
15.12.2018, 00:10 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
BlackeAngelWhite Owl, Почему тогда это Код: plsql 1.
Не работает? Просто моргает, а ничего не вставляет? Я делаю просто: достаю данные в файл csv из таблицы в бд, чищу таблицу и пытаюсь экспортированные данные из csv засунуть обратно - ничего не происходит.Это не работает, потому что две команды с точкой одновременно дать нельзя. И оно не моргает, а ругается. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.12.2018, 00:36 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
BlackeAngelWhite Owl, А если делать так: Экспортирую в csv через Код: plsql 1.
А затем не трогая его очищаю таблицу, и импортирую файл csv который только что эксортировал вот так Код: plsql 1.
А кто будет говорить что импорт тоже будет из csv? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.12.2018, 00:37 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
В начало скрипта добавь Код: sql 1. 2. 3.
И делай копию базы перед запуском скрипта. PS Эти прагмы ускоряют, но в случае сбоя компа во время изменения базы - база может поломаться. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.12.2018, 06:15 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
White Owl, И как тогда сказать ему об этом, что тоже формата csv? Глядя на справку "-csv" это ключ для для экспорта. На счёт импорта файла csv/txt - выдаёт одну и ту же ошибку про несовместимость типов данных. Но почему? Я ж только что достал из бд эти данные. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.12.2018, 06:15 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
BlackeAngelWhite Owl, И как тогда сказать ему об этом, что тоже формата csv? Глядя на справку "-csv" это ключ для для экспорта.А экспериментировать тебе религия запрещает? BlackeAngelНа счёт импорта файла csv/txt - выдаёт одну и ту же ошибку про несовместимость типов данных. Но почему? Я ж только что достал из бд эти данные.Ну может все-же покажешь ddl своей таблицы? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.12.2018, 17:29 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
White Owl, На счёт религии - не пробовал, но почитал хелп. Вот бд ... |
|||
:
Нравится:
Не нравится:
|
|||
15.12.2018, 22:19 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
BlackeAngelWhite Owl, На счёт религии - не пробовал, но почитал хелп. Вот бд 2 минуты в гугле Код: sql 1. 2. 3. 4.
Код: sql 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2018, 02:09 |
|
|
start [/forum/topic.php?fid=54&msg=39748302&tid=2008414]: |
0ms |
get settings: |
10ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
53ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
50ms |
get tp. blocked users: |
1ms |
others: | 257ms |
total: | 401ms |
0 / 0 |