powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / передача всей базы данных 1 раз в час в онлайн режиме
25 сообщений из 100, страница 3 из 4
передача всей базы данных 1 раз в час в онлайн режиме
    #39285926
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисДа. В 2.5 инкрементные копии ещё и целиком читают файл БД на любом уровне. В 3.0 это значительно улучшено.
Поэтому обычно делают план копирования чтобы не перебирать потом 100 инкрементов.Вот как твоё "поэтому" вытекает из первых фраз ? :)
Уровень инкренмета никак не влияет на объём чтения исходной БД. Ни в 2.х, ни в 3, ни в 4
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39285927
Mari.P
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Те получается, что зря обновилась до версии 2.0?
инкрементальный бэкап планировался для уменьшения времени передачи копии до узла, а получится еще больше?
Как же раз в час делать репликацию?

Только не предлагайте мне сравнивать таблицы,
Суть этих таблиц - моментальные показания с многих сотен приборов, записей вагон.
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39285937
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvlad,

Поэтому вытекает не совсем отсюда, а из его фраз

авторНо в документации написано, что необходимо восстанавливать последовательно, те ...
Означает-ли это, что восстановление из инкрементальной резервной копии пойдет медленнее, чем из полной копии?

hvladУровень инкренмета никак не влияет на объём чтения исходной БД.

в смысле не влияют? Хочешь сказать что 3.0 на уровне 1 также читает все страницы как и на уровне 0? Вы же вроде это улучшали, чтобы читались только изменения с уровня n-1.
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39285939
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mari.P,

какой у тебя объём БД? Если до 10 гигабайт то обычная полная копия nbackup сойдёт.
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39285949
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mari.PТе получается, что зря обновилась до версии 2.0?Да, зря. И не только из-за nbackup.
2.0 уже давно ушла в историю, как и 1.х.

Сейчас поддерживаются 2.5 и 3.0.

Mari.Pинкрементальный бэкап планировался для уменьшения времени передачи копии до узла, а получится еще больше?С чего бы это "еще больше" ? Отставить панику, включить мозг ! :)

Mari.P Как же раз в час делать репликацию? Для репликации - купить репликатор . Или написать. Или подождать готового в 4.

Для решения исходной задачи - см. выше про мозг. Им нужно воспользоваться и он скажет - нужна репликация или что-то другое.
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39285955
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mari.P,

nbackup это не репликация, а постраничное копирование БД. Что бекап, что рестор делается на порядок быстрее чем с помощью gbak.
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39285962
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисПоэтому вытекает не совсем отсюда, а из его фразДенис.
Как писатель документации уж ты-то должен понимать, что ответы должны быть однозначными и простыми ;)
Прочитай ещё раз свой ответ и мой вопрос. Если по-прежнему считаешь, что твой ответ логичен - я не настаиваю, мне всё равно.

Симонов ДенисhvladУровень инкремнета никак не влияет на объём чтения исходной БД.
в смысле не влияют? Хочешь сказать что 3.0 на уровне 1 также читает все страницы как и на уровне 0? Вы же вроде это улучшали, чтобы читались только изменения с уровня n-1. Инкремент - это никак не бекап уровня 0. И уровень инкремента никак не влияет на объём чтения БД:
- до 3 это всегда вся БД
- в 3 - это всегда изменения с уровня n-1 - сколько их будет никто не предскажет
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39285970
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladКак писатель документации уж ты-то должен понимать, что ответы должны быть однозначными и простыми ;)
Прочитай ещё раз свой ответ и мой вопрос. Если по-прежнему считаешь, что твой ответ логичен - я не настаиваю, мне всё равно.

согласен, я перемешал ответы на два вопроса в одном, без их разделения и цитирования того на что хотел ответить. Постараюсь быть аккуратней.
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39285993
Mari.P
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvlad,

Задача была следующая - есть база куда пишутся показания приборов. Удаления записей нет, только
insert.
Есть вторая база, которая раз в час должна обновляться до состояния первой.

Покупать репликатор не будут, поскольку задача временная, через 2 месяца вторая база будет не нужна.

У меня один простой вопрос - смогу я решить эту задачу с помощью nbackup, если
обновлю Firebird до версии 2.5 или даже пытаться не стоит, по времени получится долго.


Размер БД сейчас 1.5 ГБ. gbak работает примерно 5 минут. с помощью gbak решать эту задачу глупо - 5 минут на бэкап, 5 мин на передачу в др конец города по фтп и 5 мин на восстановление.
Подскажите плиз ув профессионалы и я уже закрою эту тему
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39285999
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mari.Pgbak работает примерно 5 минут. с помощью gbak решать эту задачу глупо - 5 минут на бэкап,
5 мин на передачу в др конец города по фтп и 5 мин на восстановление.
Это отличное время. Оставайтесь на этой схеме, два месяца она протянет.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286007
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mari.P5 минут на бэкап, 5 мин на передачу в др конец города по фтп и 5 мин на восстановление.

тогда не имеет большого смысла. Ну допустим бекап уровня 0 будет у тебя минута может две, по фтп будет те же 5 минут, ну и рестор секунд 10.
Не слишком большой выигрыш.
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286026
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Дениспо фтп будет те же 5 минут
Нет, у него же размер больше, время выше. А паковать полтора гига (даже на лету) это опять
потеря времени.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286044
Граур Станислав
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пустить пользователей с удаленного филиала на сервер1 (точнее к его базе), например по RDP никак нельзя?
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286069
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov,

ну да овчинка выделки не стоит, вместо 15 минут получит минимум 8-10 на полной копии. На инкрементной может 5 мнут. Всё равно придётся периодически полную копию передавать.
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286077
Mari.P
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Так если я перейду на версию 2.5 и запущу nbackup, я выиграю по времени?
Как я поняла, запускать полный или инкремент разницы особой нет?
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286087
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mari.PТак если я перейду на версию 2.5 и запущу nbackup, я выиграю по времени?

Нет.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286093
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mari.PЗадача была следующая - есть база куда пишутся показания приборов. Удаления записей нет, только
insert.
Есть вторая база, которая раз в час должна обновляться до состояния первой. При таких условиях эта задача решается программистом за день-два.

Mari.P У меня один простой вопрос - смогу я решить эту задачу с помощью nbackup, если
обновлю Firebird до версии 2.5 или даже пытаться не стоит, по времени получится долго.
Никто этого не скажет ибо никто не знает сколько страниц вы меняете в час.
Я уже просил включить мозг ? Больше не буду

Mari.PРазмер БД сейчас 1.5 ГБ. gbak работает примерно 5 минут. с помощью gbak решать эту задачу глупо - 5 минут на бэкап, 5 мин на передачу в др конец города по фтп и 5 мин на восстановление.Что не устраивает в этой схеме ?

Mari.PПодскажите плиз ув профессионалы и я уже закрою эту темуШтатных средств для решения именно этой задачи - нет.
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286095
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mari.P,

выиграешь на времени создания копии, и на времени восстановления. Копия 0 уровня по объёму будет сравнима с размером самой БД, копия созданная gbak обычно меньше. А вот инкременты должны быть ещё меньше, если конечно ты не изменяешь всю БД целиком между копиями.
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286096
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mari.PТак если я перейду на версию 2.5 и запущу nbackup, я выиграю по времени?Скорее да, чем нет. Особенно если им пользоваться правильно. Но...
Mari.PКак я поняла, запускать полный или инкремент разницы особой нет?...ничего ты не поняла, увы.
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286097
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovСимонов Дениспо фтп будет те же 5 минут
Нет, у него же размер больше, время выше. А паковать полтора гига (даже на лету) это опять
потеря времени.


тут даже не в потере времени - реально видимо все в скорость интенета упирается а размер fdb.gz намного больше, чем fbk.gz

НО!

Но если делать таки полный дамп по ночам, а днем только инкрементные - то на самом деле данные дельт могут быть намного меньше
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286101
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mari.P запускать полный или инкремент разницы особой нет?

просто возьми и попробуй, сделай ночью полый дамп, а потом каждый час по следующеу инкременту, от предыдущего ( цепочку из 23 инкрементов один от другого).
В полночь убиваешь всё это и делаешь новый дамп.

потом сраниваешь объёмы fbk.7z (или zip, rar, gz, bz2 - по вкусу) и зазипованных дельт (инкрементов), делшь на скорость FTP-прокачки и смотришь будет ли выигрыш по времени.
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286105
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а если еще на обоих серверах поставить два незавимсимых диска, чтобы БД была на одном, а бакапы/инкременты деались на другой - то наверное и время оздание/восстановления можно улучшить
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286121
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mari.P,

1. определяешься какие таблицы тебе надо отправлять, в принципе можно все, особенно если их меньше сотни, можно вообще не заморачиваться.
2. пишешь триггеры на инсерт которые генерируют готовые запросы вида "insert into ..." результат в виде обычных строк складываются в обычную табличку внутри БД структура простая: id на генераторе и текстовое поле.
3. по крону выгребаешь эту табличку в текстовик, опционально пакуешь, отправляешь на таргет базу и там при помощи штатного isql применяешь. последний примененный id запоминаешь, он понадобится для следующей итерации.

Если сама не осилишь, то сотка на пиво и один трудодень, чтоб сделать под ключ.
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286177
Mari.P
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvlad,

Да, не поняла, так посоветуйте, как пользоваться правильно.
Я не прошу ведь ничего сверхестветвенного, подскажите, кто
уже пользовался утилитой nbackup как лучше сделать и что получится.
Я опыта пользования этой утилитой не имею, пользовалась только gbak.

Сейчас план такой - обновить сервер до 2.5, делать полную копию
ночью и инкремент 1 раз в час. Получится?
...
Рейтинг: 0 / 0
передача всей базы данных 1 раз в час в онлайн режиме
    #39286183
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevsky,

Это если не придется трахаться с переводом бинарных значений в заискейпленные текстовые

Лучше или метку репликации добавить - 19485321

или складывать на триггерах не тексты запросов а тупо пары Название таблицы / значение PK
предполагая, что PK - обычный суррогат Integer на генераторе, а не какой-то реальный и составной
...
Рейтинг: 0 / 0
25 сообщений из 100, страница 3 из 4
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / передача всей базы данных 1 раз в час в онлайн режиме
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]