Добрый день!
Имеется бд размером порядка 50 гигов, т.е. строки исчисляются миллионами.
Естественно, обычный импорт в тот же excel формат выдает out of memory.

Цель:
не нагружая базу экспортировать все строки.

Вычитал, что можно использовать TIBSQL (IBX) или pFIBQuery (FIBPlus), однако я понятия не имею что это и как это "включить".
Так же вычитал, что можно увеличить лимит памяти, однако так же не имею понятия про это.
Выборку делать боюсь, т.к. бд может "задуматься"...

Помогите,пожалуйста!

Дополню, сервер на firebird 2.5

PolesovПривет, nax83.

Можно попробовать частями




С уважением, Polesov.

можно уточнить?
если я делаю выборку по полной - как мне добавить Ваши строки к моей?
например select DISTINCT * from MYBASE where MODEL like '%model%'

Опять же-выборки делать боюсь глобальные, т.к. база может подвиснуть, а это для нее критично... - насколько Ваш способ частями безопасен? и на сколько частей разбивать.... на 30 частей разбивать бессмысленно...

Имеется ли информация насчет способов экспорта безвредных?

Экспортировать хоть в текстовик... без разницы куда, лишь бы все поместилось...

Может знает кто вкратце способы без sql запроса

Так просто захожу в таблицу базы и выбираю экспорт... просто он во время импорта в xml упирается в 65к строк, а если в текстовик-просто виснет и в файл ничего не сохраняется, вот я о чем. вычитал что есть какой-то способ,но какой-без понятия...

Polesov,
select first(1000) skip(1000) *
from MY_TABLE
order by PK_ID

немного не понял...
что за order by PK_ID?

т.е. в моем случае будет при выборке в 50 000 строк за заход:
select first(50000) skip(0) * from MYBASE where MODEL like '%model%'

потом

select first(50000) skip(50001) * from MYBASE where MODEL like '%model%'
и т.д. ?

Dimitry Sibiryakov,
FBexpert сможет это сделать без вреда базе одним махом?


Gallemar,
не пробовал... разве в csv не будет out of memory при импорте?

Пользовался только ibexpert'ом да и то без какого либо фанатизма. Буду очень благодарен, если все-же выявите самое верное решение, без танцев с бубном. Боюсь сделать хуже...

Dimitry Sibiryakov,
Прошу уточнить как это организовать. Быть может, есть какая-то инструкция?
Если не сложно потратить пару минут на описание-с меня большущее спасибо. Погуглил-особо ничего не показало толково объясняющее....

Я так понял это для linux.... есть для windows аналог?

Спс! прочитал инструкцию.
Получается, если моя база лежит на 192.168.5.20 в \dbases\main\BD.FDB и я хочу сохранить все таблицу INFO в файл 111.csv

я прописываю через командную строку такую команду:

fbexport -S -H 192.168.5.20 -D \home\dbases\BD.FDB -U sysdba -P masterkey -F 111.csv -Q "SELECT * FROM INFO"

все верно?

как правильно добавить чекпоинт и коммит? (полагаю, это снизит нагрузку на базу???)

-C # = Checkpoint at # rows [1000]
-M Commit at each checkpoint [off]


думаю так
fbexport -S -H 192.168.5.20 -D \home\dbases\BD.FDB -U sysdba -P masterkey -F 111.csv -Q "SELECT * FROM INFO" -C 10000 -M on
Верно ли я написал? 111.csv сохранится на моем компе в одной папке с fbexport.exe ?

Dimitry Sibiryakov,
Разве? Всегда считал, что select сразу вешает транзакцию,пока не выполнится до конца, у меня база висла в этот период!

Так какие функции я должен включить в свой запрос FBImport'а ?
Подскажите как оптимизировать экспорт таблицы бд,занимающей порядка 50 гб....

то-есть я просто выполняю из командной строки
fbexport -S -H 192.168.5.20 -D \home\dbases\BD.FDB -U sysdba -P masterkey -F 111.csv -Q "SELECT * FROM INFO"
и у меня готовый csv файлик, с предполагаемым размером в несколько гигов?)

kdvnax83,

ты вначале проверь на какой-нибудь мелкой таблице. 50 гиг ты будешь экспортировать несколько часов, а то и сутки, если у тебя комп не очень.

а у меня потом этот файл откроется с таким размером?)

В общем варианта два имеем по итогу:

1. fbexport -S -H 192.168.5.20 -D \home\dbases\BD.FDB -U sysdba -P masterkey -F 111.csv -Q "SELECT * FROM INFO"
-по этой строке никто так и не подкорректировал меня.... Может есть кто подскажет где я промазал тут?

2.Выбирать по 50 000 строк (боюсь что грузонет бд) таким путем:


select first(50000) skip(0) * from MYBASE where MODEL like '%model%'
потом
select first(50000) skip(50001) * from MYBASE where MODEL like '%model%'
-опять же, кажется у меня тут не все верно, подскажите плз

Хочу собрать беспроигрышный вариант-если первый не пройдет-чтобы сразу сделал вторым. Прошу помощи в корректировке запросов.

По 2 пункту:
В базе допустим есть таблица users, если хочу выбирать из нее все значение с 10000 до 20000
SELECT * FROM users WHERE id > 9999 LIMIT 20000
верно ли?
тестирую на сайте с тренировочными задачками по mysql-не работает...

запустить не могу, т.к. буду на работе во вторник, но времени на раздумия не будет,потому пытаюсь проработать варианты.
облазил форум. вот что я понял:

моя бд:
Таблица с именем Users
Колонки:
id tel addr fio

select * from users where id > 0 order by url_id limit 50000;
select * from users where id > 50000 order by url_id limit 100000;
и т.д.
это ок?

kdv,
ага, миллион записей))))
это моя импровизация, там товар и закупки, надо шефу)

всем спс. думаю, информации предостаточно

IBExpertНу и каша в голове у автора... Ты куда потом мульон записей в CSV/XLS/XML пристраивать собрался?
Шефу на анализ видимо. Так запросом чтоб смотреть нужный период он транзакцию повесит же, да и учить пользованию в ibexpert не стоит думаю).

FBExport тогда все решит.
Спс всем, тему можно закрывать