Гость
Форумы / SQLite [игнор отключен] [закрыт для гостей] / Перенос из SQLite в MS SQL Server / 8 сообщений из 8, страница 1 из 1
29.05.2015, 13:49
    #38971824
leonix
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос из SQLite в MS SQL Server
Есть большая база (40 гб) в формате SQLite. Надо проанализировать данные в этой базе. Любой запрос тупит по страшному и толком ничего не удалось посмотреть. Думаю перекинуть в нормальную СУБД и там уже вертеть. Более менее знаком с MS SQL Server. Подскажите как можно перекинуть данные?
...
Рейтинг: 0 / 0
29.05.2015, 16:16
    #38971990
tchingiz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос из SQLite в MS SQL Server
экспорт в сsv - импорт из csv
...
Рейтинг: 0 / 0
29.05.2015, 17:33
    #38972075
leonix
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос из SQLite в MS SQL Server
tchingizэкспорт в сsv - импорт из csv

Там полмиллиарда строк. Такой вариант подойдёт? Я думал затянуть сразу напрямую.
...
Рейтинг: 0 / 0
29.05.2015, 18:44
    #38972127
Перенос из SQLite в MS SQL Server
leonix,

Читать про гетерогенные соединения, много думать...
...
Рейтинг: 0 / 0
30.05.2015, 15:24
    #38972391
tchingiz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос из SQLite в MS SQL Server
leonixtchingizэкспорт в сsv - импорт из csv

Там полмиллиарда строк. Такой вариант подойдёт? Я думал затянуть сразу напрямую.
а микрософта волнует какойто фриварный sqlite?

написать на адо.нете приложение с двумя соединениями к двум различным БД
...
Рейтинг: 0 / 0
31.05.2015, 08:59
    #38972588
ArtDen
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос из SQLite в MS SQL Server
leonix, я бы не торопился, а для начала посмотрел планы тормозящих запросов и подкрутил индексы в базе: какие-то добавил, а какие-то выбросил. Есть вероятность, что после этого они "залетают" и в sqlite
...
Рейтинг: 0 / 0
31.05.2015, 09:45
    #38972598
nscl
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос из SQLite в MS SQL Server
Перенос данных такого объема лучше всего делать генерацией дампов.
Только не из всяких адовых приложений, а скриптами.

Пишите небольшой скрипт (perl, python), который читает нужные таблицы и пишет их данные сразу в приемлимом для mssql виде - это либо CSV, либо SQL-запросы сразу в нужном формате.

И этот дамп уже заливаете в конечную БД буквально одной командой.

Емнип, самый быстрый способ для таких ситуаций, при этом пригодный для дальнейшего использования при автоматизации.
...
Рейтинг: 0 / 0
15.06.2015, 00:03
    #38983605
Сергей Васкецов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос из SQLite в MS SQL Server
leonixЕсть большая база (40 гб) в формате SQLite. Надо проанализировать данные в этой базе
Вопрос касается чего? Величины базы или инструментария для анализа?
Если первого - то 40Г очень даже немного.
Если второго - там тоже есть EXPLANE и всякие счётчики.
http://sqlite.org/lang_explain.html
http://sqlite.org/c3ref/status.html

leonixЛюбой запрос тупит по страшному и толком ничего не удалось посмотреть
Что же там такого наколдовали, что EXPLANE не работает?
Может сначала VACUUM забубенить, если есть несколько часов, когда к базе никто не лезет?
http://sqlite.org/lang_vacuum.html

leonixДумаю перекинуть в нормальную СУБД и там уже вертеть. Более менее знаком с MS SQL Server
Есть подозрения, что не поможет.
Потому что Вы явно не докопались до сути проблемы.

leonixПодскажите как можно перекинуть данные?
Если нет желания разбираться с SQLite - проще всего это сделать скриптом SQL, который выполнить на SQLite и который сгенерит в результате другой скрипт (или их кучку) на вставку данных, который исполнять уже на MSSQL. Вот прямо так и селектить "go" в первом скрипте, результат кидать в файл, файл потом выполнять.
Если есть желание сделать это средствами SQLite - возможно проще будет через виртуальные таблицы, если под ними будет реальная табла MSSQL. Тут как бы сильно зависит от объёма работы, типа "лучше день потерять, потом за час долететь".
Возможно наоборот, получится подрубить источник SQLite к MSSQL: для SQLite есть драйвер ODBC.

>либо SQL-запросы сразу в нужном формате
+1
Автору подсказка: BLOB-ы можно запихивать в базу литералами hex.

Модератор: EXPLAIN !
...
Рейтинг: 0 / 0
Форумы / SQLite [игнор отключен] [закрыт для гостей] / Перенос из SQLite в MS SQL Server / 8 сообщений из 8, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]