|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
Всем привет. Нужно загрузить текстовый файл в базу данных кол-во строк 4млн, вес файла 58 мб. Написал вот такой код Код: powershell 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30.
За 7 часов работы этого скрипта было импортировано. 1,205 млн записей. Как ускорить это мероприятие? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.12.2018, 21:06 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
BlackeAngel Код: powershell 1.
На каждую запись вызывать отдельную команду??? Жуть какая... Неужели сложить инсерты в файл нельзя было? Уж если CSV Import не годится по какой-то причине. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.12.2018, 21:17 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
miksoft, Вот этот момент я и не понял как реализовать в командной строке. Может поясните на пальцах? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.12.2018, 21:23 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
miksoft, Почему тогда это Код: plsql 1.
Не работает? Просто моргает, а ничего не вставляет? Я делаю просто: достаю данные в файл csv из таблицы в бд, чищу таблицу и пытаюсь экспортированные данные из csv засунуть обратно - ничего не происходит. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.12.2018, 23:05 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
miksoft, А если делать так: Экспортирую в csv через Код: plsql 1.
А затем не трогая его очищаю таблицу, и импортирую файл csv который только что эксортировал вот так Код: plsql 1.
То ругается ошибками Код: powershell 1. 2. 3.
как сделать нормально? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.12.2018, 23:18 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
BlackeAngelдостаю данные в файл csv из таблицы в бд, чищу таблицу и пытаюсь экспортированные данные из csv засунуть обратноА зачем вообще это все? Почему нельзя прямо в БД данные обработать? Она же и предназначена для этого. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.12.2018, 23:55 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
BlackeAngelкак сделать нормально? засунуть тексты ошибок в гугловский переводчик, если непонятно, что написано ... |
|||
:
Нравится:
Не нравится:
|
|||
15.12.2018, 01:38 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
miksoftBlackeAngelдостаю данные в файл csv из таблицы в бд, чищу таблицу и пытаюсь экспортированные данные из csv засунуть обратноА зачем вообще это все? Почему нельзя прямо в БД данные обработать? Она же и предназначена для этого. Для того что б не придумать файл для импорта. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.12.2018, 06:05 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
KarbafosBlackeAngelкак сделать нормально? засунуть тексты ошибок в гугловский переводчик, если непонятно, что написано Остряк, как погляжу. Это сделал в первую очередь. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.12.2018, 06:06 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
BlackeAngelKarbafosпропущено... засунуть тексты ошибок в гугловский переводчик, если непонятно, что написано Остряк, как погляжу. Это сделал в первую очередь. и какие выводы после перевода? почему не совпадает количество колонок в базе и в csv? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.12.2018, 14:26 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
BlackeAngel, Потому,что если много обновлений ,то для sqlite,\ Надо дать команду Код: plsql 1. 2. 3.
И всё это будет очень быстро. . Иначе(Без этих команд) на каждую операцию обновления sqlite пишет в журнал. (По этому вопросу в форум sqlite надо было). ... |
|||
:
Нравится:
Не нравится:
|
|||
15.12.2018, 15:33 |
|
Импорт файла в базу данных через sqlite3
|
|||
---|---|---|---|
#18+
BlackeAngel, жестоко, есть же пакетная вставка, тынц , но там вроде ограничение есть на длину пакета, миллионы разбить на пакеты, будет имхо быстрей ... |
|||
:
Нравится:
Не нравится:
|
|||
15.12.2018, 16:04 |
|
|
start [/forum/topic.php?fid=25&msg=39748299&tid=1481222]: |
0ms |
get settings: |
8ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
29ms |
get topic data: |
9ms |
get forum data: |
3ms |
get page messages: |
53ms |
get tp. blocked users: |
1ms |
others: | 319ms |
total: | 440ms |
0 / 0 |