powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
25 сообщений из 31, страница 1 из 2
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562280
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hi all

сабж; голосуем тут: http://tracker.firebirdsql.org/browse/CORE-4343

ЗЫ. Кто хоть раз сидел по полтора часа в ожидании результата рестора, лишь бы просмотреть "прошлое" содержимое таблички в 1000 строк, тот меня поймёт

ЗЗЫ. Ну, и для целей тестирования тоже полезно будет: например, отресторить продакшен без Всегалактического Аудита, занимающего 60-70% от всей базы, и сверить его работу на 2.5 vs 3.0. Сейчас - ждать надо по 2.5 часа из-за этого.

Так что, "все - на избирательный участок!" :-)
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562292
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а сначала поискать в трекере не судьба была?
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562294
NickDee
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Интересно, если бы такая штука была с самого начала, ей бы пользовались?
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562301
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dimitrа сначала поискать в трекере не судьба была?да, пардон. Не увидел сразу.
Народ! Идём вот сюда: http://tracker.firebirdsql.org/browse/CORE-2208
(request'у более 5 лет, а всего лишь три голоса собрал... неужто никому не надо ?.. )
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562302
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
NickDeeИнтересно, если бы такая штука была с самого начала, ей бы пользовались?если бы ты поимел удовольствие видеть бесконечные "100500 млн records indexed" по одной и той же аудитной помойке, которая тебе в бол-ве случаев вообще не нужна (а нужна только юзерам), то ты бы точно пользовался :-)
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562309
NickDee
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидNickDeeИнтересно, если бы такая штука была с самого начала, ей бы пользовались?если бы ты поимел удовольствие видеть бесконечные "100500 млн records indexed" по одной и той же аудитной помойке, которая тебе в бол-ве случаев вообще не нужна (а нужна только юзерам), то ты бы точно пользовался :-)
Я тоже придумал где я бы воспользовался в прошлом. Я бы логи хранил вместе с БД, а не сливал бы их в отдельную ради быстрого b/r.
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562316
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид(request'у более 5 лет, а всего лишь три голоса собрал... неужто никому не
надо ?.. )
Те, кому надо, понимают, что просить надо PITR и flashback query, а не костыли.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562328
NickDee
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кстати PITR и flashback query вроде хорошо ложатся на архитектуру FB :) Немного ODS поменять. Мусор не убирать.
А кто-нибудь такое уже умеет из больших игроков? Или мы будем первыми? :)
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562331
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
NickDeeНемного ODS поменять. Мусор не убирать.
"Это делается совершенно иначе", - сказал мне тогда Влад.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562341
fd00ch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоиднеужто никому не надо ?видимо, для таких целей все довольствуются отключением индексов при ресторе
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562343
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
NickDeeМусор не убирать
и тормозить все сильнее и сильнее в надежде что оный флешбек таки кому-нибудь понадобиться...
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562345
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dimitrи тормозить все сильнее и сильнее
Ну, на выборках тормозить нечему, а любители update должны страдать: это ведь именно из-за
них вообще приходится БД восстанавливать.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562346
NickDee
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov"Это делается совершенно иначе", - сказал мне тогда Влад.
Очень может быть :)
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562347
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovТаблоид(request'у более 5 лет, а всего лишь три голоса собрал... неужто никому не
надо ?.. )Те, кому надо, понимают, что просить надо PITR и flashback query, а не костыли.Это слишком глобально. Тут надо скидываться всем миром и ждать полгода. И забыть про разработку / доработку ФБ-3.
А добавить ключик, который будет заставлять делать skip данных - это совсем другие затраты, КМК.

ЗЫ. По поводу PITR: проще к тебе всей толпой подъехать, ибо IBPRepl имеет все задатки к этому. Он же может складывать действия не в repl_log, а в файлы.
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562348
miwaonline
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fd00chТаблоиднеужто никому не надо ?видимо, для таких целей все довольствуются отключением индексов при ресторе

Отключение индексов не означает "не восстанавливать данные"; особенно, если рабочая база крутится на железке помощнее, а проверка-рестор идет на каком-то ноутбуке с соответствующей разницей в дисковых подсистемах.

Самое интерессное, что в core-2208 все отписались, что, мол "все готово, вот-вот заапрувим", при чем посты от Шона, Николая и ДЕ - 2008 года, а от АП - 2011 :(

Проголосовал.
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562352
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovНу, на выборках тормозить нечему
мусор уже не тормозит выборки?
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562353
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fd00chТаблоиднеужто никому не надо ?видимо, для таких целей все довольствуются отключением индексов при рестореИндексы нужно сохранять, если рестор идёт для тестовых целей. Например, я сейчас сравниваю произв-сть отресторенного продакшена в 2.5 и 3.0.
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562358
NickDee
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dimitrNickDeeМусор не убирать
и тормозить все сильнее и сильнее в надежде что оный флешбек таки кому-нибудь понадобиться...
Значит нужно придумать алгоритм, чтобы скорость не зависела от количества версий. Текущий алгоритм где-нибудь описан?
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562364
fd00ch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидИндексы нужно сохранять, если рестор идёт для тестовых целейты в первом посте хотел в мелкой табличке покопаться по-быстрому. отключи индексы, сделай полный рестор, включи индексы в мелкой табличке, профит
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562367
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fd00chТаблоидИндексы нужно сохранять, если рестор идёт для тестовых целейты в первом посте хотел в мелкой табличке покопаться по-быстрому. отключи индексы, сделай полный рестор, включи индексы в мелкой табличке, профитТам не сильно время уменьшается, когда речь идёт о невозможности "проскочить" рестор таблицы в сотни млн строк. Проверял уже.
И повторюсь: есть случаи, когда в отресторенной базе вообще не нужны все эти аудиты, прайс-листы, каталоги типовых норм и прочее барахло, на которое нет никаких ссылок от дочерних к ним таблиц. А они (особенно аудит) занимают в зрелой базе больше половины всего объема. Гораздо больше.
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562375
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
NickDeeнужно придумать алгоритм, чтобы скорость не зависела от количества версий. Текущий алгоритм где-нибудь описан?Версии хранят ИД транзакций, которые их создали (см. тут ). ЕЯПП, сейчас идёт сначала поиск самой записи, а потом уже начинается ковыряние в её версиях, чтобы выбрать из них ту, которую имеет права видеть текущая транзакция. Т.е. поиск версии идёт просто "линейным перебором".
Быстрый обход версий всех записей некоторой таблицы, которые существовали *до* момента времени tx, возможен только при каком-то подобии "индекса" с убывающим timestamp-ключем, хранящим указатели на версии в качестве значений. Чтобы при входном значении ключа (каком-то таймштампе) быстро выйти на нужный лист и начать движение по листовому уровню, а затем по каждому указателю вытряхивать версию. Какой будет размер у этого индекса ? И сколько времени уйдёт на реализацию этого и отлов багов ?
ЗЫ. Да и не решит это простую задачу: пропустить рестор не нужных сейчас данных, на которые нет ссылок из других таблиц.
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562387
NickDee
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидЗЫ. Да и не решит это простую задачу: пропустить рестор не нужных сейчас данных, на которые нет ссылок из других таблиц.
Это-то понятно.
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562396
NickDee
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидВерсии хранят ИД транзакций, которые их создали (см. тут ). ЕЯПП, сейчас идёт сначала поиск самой записи, а потом уже начинается ковыряние в её версиях, чтобы выбрать из них ту, которую имеет права видеть текущая транзакция. Т.е. поиск версии идёт просто "линейным перебором".
Быстрый обход версий всех записей некоторой таблицы, которые существовали *до* момента времени tx, возможен только при каком-то подобии "индекса" с убывающим timestamp-ключем, хранящим указатели на версии в качестве значений. Чтобы при входном значении ключа (каком-то таймштампе) быстро выйти на нужный лист и начать движение по листовому уровню, а затем по каждому указателю вытряхивать версию. Какой будет размер у этого индекса ? И сколько времени уйдёт на реализацию этого и отлов багов ?
timestamps должны быть в TIP. А с версиями должны храниться Id транзакций. При чтении читать от хвоста, но не читать все 100000 версий, а читать только несколько последних актуальных (номер первой актуальной хранить вместе с записью, и своевременно изменять её (сборщик мусора должен не мусор убирать, а изменять номер последней актуальной версии)). Как-то так :)
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562400
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
NickDeeКак-то так :)ну, а по поводу размера такой базы, в которой существуют все версии от Царя Гороха ради флешбака, - что скажешь ?
...
Рейтинг: 0 / 0
backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
    #38562403
NickDee
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидNickDeeКак-то так :)ну, а по поводу размера такой базы, в которой существуют все версии от Царя Гороха ради флешбака, - что скажешь ?
Это юзеру решать :)
Я бы решил положительно в нескольких случаях (ради истории). Кому-то откат бы пригодился (правда он имхо должен бы и для метаданных работать).
К тому же всегда можно в заголовке БД прописать "хранить версии начиная с такой-то даты(номера транзакции)", и не бэкапить их (и чистить фоновым сборщиком мусора, ради освобождения места на страницах).
...
Рейтинг: 0 / 0
25 сообщений из 31, страница 1 из 2
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / backup / restore с пропуском данных для *некоторых* таблиц: прошу проголосовать за фичу
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]