|
Перенос из SQLite в MS SQL Server
|
|||
---|---|---|---|
#18+
Есть большая база (40 гб) в формате SQLite. Надо проанализировать данные в этой базе. Любой запрос тупит по страшному и толком ничего не удалось посмотреть. Думаю перекинуть в нормальную СУБД и там уже вертеть. Более менее знаком с MS SQL Server. Подскажите как можно перекинуть данные? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.05.2015, 13:49 |
|
Перенос из SQLite в MS SQL Server
|
|||
---|---|---|---|
#18+
экспорт в сsv - импорт из csv ... |
|||
:
Нравится:
Не нравится:
|
|||
29.05.2015, 16:16 |
|
Перенос из SQLite в MS SQL Server
|
|||
---|---|---|---|
#18+
tchingizэкспорт в сsv - импорт из csv Там полмиллиарда строк. Такой вариант подойдёт? Я думал затянуть сразу напрямую. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.05.2015, 17:33 |
|
Перенос из SQLite в MS SQL Server
|
|||
---|---|---|---|
#18+
leonix, Читать про гетерогенные соединения, много думать... ... |
|||
:
Нравится:
Не нравится:
|
|||
29.05.2015, 18:44 |
|
Перенос из SQLite в MS SQL Server
|
|||
---|---|---|---|
#18+
leonixtchingizэкспорт в сsv - импорт из csv Там полмиллиарда строк. Такой вариант подойдёт? Я думал затянуть сразу напрямую. а микрософта волнует какойто фриварный sqlite? написать на адо.нете приложение с двумя соединениями к двум различным БД ... |
|||
:
Нравится:
Не нравится:
|
|||
30.05.2015, 15:24 |
|
Перенос из SQLite в MS SQL Server
|
|||
---|---|---|---|
#18+
leonix, я бы не торопился, а для начала посмотрел планы тормозящих запросов и подкрутил индексы в базе: какие-то добавил, а какие-то выбросил. Есть вероятность, что после этого они "залетают" и в sqlite ... |
|||
:
Нравится:
Не нравится:
|
|||
31.05.2015, 08:59 |
|
Перенос из SQLite в MS SQL Server
|
|||
---|---|---|---|
#18+
Перенос данных такого объема лучше всего делать генерацией дампов. Только не из всяких адовых приложений, а скриптами. Пишите небольшой скрипт (perl, python), который читает нужные таблицы и пишет их данные сразу в приемлимом для mssql виде - это либо CSV, либо SQL-запросы сразу в нужном формате. И этот дамп уже заливаете в конечную БД буквально одной командой. Емнип, самый быстрый способ для таких ситуаций, при этом пригодный для дальнейшего использования при автоматизации. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.05.2015, 09:45 |
|
Перенос из SQLite в MS SQL Server
|
|||
---|---|---|---|
#18+
leonixЕсть большая база (40 гб) в формате SQLite. Надо проанализировать данные в этой базе Вопрос касается чего? Величины базы или инструментария для анализа? Если первого - то 40Г очень даже немного. Если второго - там тоже есть EXPLANE и всякие счётчики. http://sqlite.org/lang_explain.html http://sqlite.org/c3ref/status.html leonixЛюбой запрос тупит по страшному и толком ничего не удалось посмотреть Что же там такого наколдовали, что EXPLANE не работает? Может сначала VACUUM забубенить, если есть несколько часов, когда к базе никто не лезет? http://sqlite.org/lang_vacuum.html leonixДумаю перекинуть в нормальную СУБД и там уже вертеть. Более менее знаком с MS SQL Server Есть подозрения, что не поможет. Потому что Вы явно не докопались до сути проблемы. leonixПодскажите как можно перекинуть данные? Если нет желания разбираться с SQLite - проще всего это сделать скриптом SQL, который выполнить на SQLite и который сгенерит в результате другой скрипт (или их кучку) на вставку данных, который исполнять уже на MSSQL. Вот прямо так и селектить "go" в первом скрипте, результат кидать в файл, файл потом выполнять. Если есть желание сделать это средствами SQLite - возможно проще будет через виртуальные таблицы, если под ними будет реальная табла MSSQL. Тут как бы сильно зависит от объёма работы, типа "лучше день потерять, потом за час долететь". Возможно наоборот, получится подрубить источник SQLite к MSSQL: для SQLite есть драйвер ODBC. >либо SQL-запросы сразу в нужном формате +1 Автору подсказка: BLOB-ы можно запихивать в базу литералами hex. Модератор: EXPLAIN ! ... |
|||
:
Нравится:
Не нравится:
|
|||
15.06.2015, 00:03 |
|
|
start [/forum/topic.php?fid=54&msg=38972127&tid=2008669]: |
0ms |
get settings: |
11ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
34ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
43ms |
get tp. blocked users: |
1ms |
others: | 274ms |
total: | 397ms |
0 / 0 |