powered by simpleCommunicator - 2.0.37     © 2025 Programmizd 02
Форумы / SQLite [игнор отключен] [закрыт для гостей] / Перенос из SQLite в MS SQL Server
8 сообщений из 8, страница 1 из 1
Перенос из SQLite в MS SQL Server
    #38971824
Фотография leonix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть большая база (40 гб) в формате SQLite. Надо проанализировать данные в этой базе. Любой запрос тупит по страшному и толком ничего не удалось посмотреть. Думаю перекинуть в нормальную СУБД и там уже вертеть. Более менее знаком с MS SQL Server. Подскажите как можно перекинуть данные?
...
Рейтинг: 0 / 0
Перенос из SQLite в MS SQL Server
    #38971990
Фотография tchingiz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
экспорт в сsv - импорт из csv
...
Рейтинг: 0 / 0
Перенос из SQLite в MS SQL Server
    #38972075
Фотография leonix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
tchingizэкспорт в сsv - импорт из csv

Там полмиллиарда строк. Такой вариант подойдёт? Я думал затянуть сразу напрямую.
...
Рейтинг: 0 / 0
Перенос из SQLite в MS SQL Server
    #38972127
leonix,

Читать про гетерогенные соединения, много думать...
...
Рейтинг: 0 / 0
Перенос из SQLite в MS SQL Server
    #38972391
Фотография tchingiz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
leonixtchingizэкспорт в сsv - импорт из csv

Там полмиллиарда строк. Такой вариант подойдёт? Я думал затянуть сразу напрямую.
а микрософта волнует какойто фриварный sqlite?

написать на адо.нете приложение с двумя соединениями к двум различным БД
...
Рейтинг: 0 / 0
Перенос из SQLite в MS SQL Server
    #38972588
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
leonix, я бы не торопился, а для начала посмотрел планы тормозящих запросов и подкрутил индексы в базе: какие-то добавил, а какие-то выбросил. Есть вероятность, что после этого они "залетают" и в sqlite
...
Рейтинг: 0 / 0
Перенос из SQLite в MS SQL Server
    #38972598
nscl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Перенос данных такого объема лучше всего делать генерацией дампов.
Только не из всяких адовых приложений, а скриптами.

Пишите небольшой скрипт (perl, python), который читает нужные таблицы и пишет их данные сразу в приемлимом для mssql виде - это либо CSV, либо SQL-запросы сразу в нужном формате.

И этот дамп уже заливаете в конечную БД буквально одной командой.

Емнип, самый быстрый способ для таких ситуаций, при этом пригодный для дальнейшего использования при автоматизации.
...
Рейтинг: 0 / 0
Перенос из SQLite в MS SQL Server
    #38983605
Фотография Сергей Васкецов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
leonixЕсть большая база (40 гб) в формате SQLite. Надо проанализировать данные в этой базе
Вопрос касается чего? Величины базы или инструментария для анализа?
Если первого - то 40Г очень даже немного.
Если второго - там тоже есть EXPLANE и всякие счётчики.
http://sqlite.org/lang_explain.html
http://sqlite.org/c3ref/status.html

leonixЛюбой запрос тупит по страшному и толком ничего не удалось посмотреть
Что же там такого наколдовали, что EXPLANE не работает?
Может сначала VACUUM забубенить, если есть несколько часов, когда к базе никто не лезет?
http://sqlite.org/lang_vacuum.html

leonixДумаю перекинуть в нормальную СУБД и там уже вертеть. Более менее знаком с MS SQL Server
Есть подозрения, что не поможет.
Потому что Вы явно не докопались до сути проблемы.

leonixПодскажите как можно перекинуть данные?
Если нет желания разбираться с SQLite - проще всего это сделать скриптом SQL, который выполнить на SQLite и который сгенерит в результате другой скрипт (или их кучку) на вставку данных, который исполнять уже на MSSQL. Вот прямо так и селектить "go" в первом скрипте, результат кидать в файл, файл потом выполнять.
Если есть желание сделать это средствами SQLite - возможно проще будет через виртуальные таблицы, если под ними будет реальная табла MSSQL. Тут как бы сильно зависит от объёма работы, типа "лучше день потерять, потом за час долететь".
Возможно наоборот, получится подрубить источник SQLite к MSSQL: для SQLite есть драйвер ODBC.

>либо SQL-запросы сразу в нужном формате
+1
Автору подсказка: BLOB-ы можно запихивать в базу литералами hex.

Модератор: EXPLAIN !
...
Рейтинг: 0 / 0
8 сообщений из 8, страница 1 из 1
Форумы / SQLite [игнор отключен] [закрыт для гостей] / Перенос из SQLite в MS SQL Server
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]