powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Параллельное создание большого количества PK и FK
44 сообщений из 44, показаны все 2 страниц
Параллельное создание большого количества PK и FK
    #39761976
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день,

Предстоит апгрейд больших бд, где не обойтись без пересоздания первичных и внешних ключей (переход с 32 битных ключей на 64 бита).

Хочу создать утилиту, которая скинет структуру бд в спец таблицы. Затем удалит констрэйнты, проведет операции с бд и восстановит PK и FK.

Вопрос, собственно, такой:

Я планирую восстановление делать в параллельных конектах, одновременно.

Даст ли это прирост производительности? ( уменьшение времени по сравнению с gbak)

Безопасно ли это с т.зр. внутренней работы сервера фб? Т.е. не приведет ли к повреждению бд.

На сервере 40 физических ядер и 512 гб озу. База 200 Гб. Кэш выставляется в размер базы. Страница 8192 байт.

Сервер: фб 3.0.4.

Я планирую использовать 20-30 параллельных конектов при восстановлении.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39761993
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22Безопасно ли это с т.зр. внутренней работы сервера фб?

да

sysdba22Даст ли это прирост производительности?

возможно.

sysdba22Я планирую использовать 20-30 параллельных конектов при восстановлении.

вот здесь надо аккуратней.
При создании индексов создаются файлы сортировки, которые могут быть очень большими, это надо учитывать при планировании свободного пространства.
Создавать 30 индексов параллельно ИХМО перебор. Можно уже упереться в IO а не ядра.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762005
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я настраиваю файреберду под буфер сортировки 256 Гб памяти. Еще 200 Гб под кэш БД. Ну, и остаток под ОС, процессы и т.п.

Т.е. по идее даже 30 одновременных индексов это где-то по 8 Гб в буфере сортировки в оперативной памяти. Должно хватить, чтобы не валилось на диск.

Или я не прав?
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762009
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
т.е. идея такая, что все данные находятся в оперативной памяти и вся сортировка идет в оперативной памяти, да еще и параллельно. Только полученный итог скидывается на диск. Но там, для этого мощная SSD система от Intel га прямом подключении к PCI Express с бешенной производительностью.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762027
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22т.е. идея такая, что все данные находятся в оперативной памяти и вся сортировка идет в
оперативной памяти

то есть база у тебя игрушечная и на её быстродействие тебе наплевать. Делай что хочешь, о
результатах не забудь написать.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762032
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22База 200 ГбЭто небольшая база.
При эксклюзивном доступе (для обновления) можно выполнить все операции в последовательном порядке за несколько минут, мне кажется.
Изобретать велосипед для одноразового обновления, чтоб выиграть (возможно) пару минут как-то странно.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762041
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22Т.е. по идее даже 30 одновременных индексов это где-то по 8 Гб в буфере сортировки в оперативной памяти
во-первых, даже в InterBase параллельно рекомендуют создавать столько индексов, сколько на сервере ядер минус 1.
8 ядер - 7 потоков, и т.д.

во-вторых, если ты выделяешь N гиг под сортировку, то никакого "равенства" для 30ти сортировок там не будет. Памяти под сортировку (построение) конкретного индекса надо будет столько, сколько столбцов и записей индексируется. И если один индекс сожрет половину памяти под сортировки, то на остальные индексы останется ... вторая половина :-)

Я напомню, для создания индекса в базе tpc-c, который в базе занимал 29 гиг, потребовался файл сортировки 182 гига.
В принципе, для индексов по int/bigint можно посчитать объем сортировки, зная размер таблицы.
sysdba22 База 200 Гб. Кэш выставляется в размер базы. Страница 8192 байт
по идее, для такой базы надо бы страницу 16к.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762155
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
1) ядер там 48
2) с размером буфера под сортировку индекса учту.
3) в том то всё и дело, что проовернуть цикл бэкап рестор там проблема из за занимаемого времени. а из вашего опыта насколько может подрасти производительность?

если есть хотя бы приблизительная формула вычисления объёма буфера для создания индекса, если известно количество записей и тип данных, то буду признателен.

как я понимаю, размер будет отличаться в зависимости от того идет сортировка в озу или на диске.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762179
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22а из вашего опыта насколько может подрасти производительность?
производительность рестора? Рестор состоит из наливки данных и создания индексов. Про это было тут:
http://www.ibase.ru/restorespeed/
создание индексов может занимать половину времени рестора. при параллельном создании индексов можно ускориться ... допустим впополам. А значит итогово где-то на четверть. Но такого опыта нет.
sysdba22если есть хотя бы приблизительная формула вычисления объёма буфера для создания индекса
да блин, отсортируй таблицу по какому-нибудь столбцу, получишь конкретный результат.
select field from table order by 1
так, чтобы индекс не использовался (если он есть по столбцу). И будет файл сортировки в temp и его размер.
sysdba22как я понимаю, размер будет отличаться в зависимости от того идет сортировка в озу или на диске.
в смысле? размер сортировки равен размеру сортировки в памяти плюс размер файла сортировки. Ни по каким другим причинам "размер" отличаться не будет.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762193
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
я где то читал, что механизм сортировки в фб работает по разному для файла и для сортировки в памяти. я имею ввиду внутренний буфер фб под сортировку, а не кэш файловой системы, который дает операционная система. поэтому и спрашиваю про размер.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762210
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22,

Думаю, было бы крайне полезно для сообщества выполнить означенные манипуляции сравнительно, в последовательном и параллельном режимах. Но это при наличии такой технической возможности (ну и интереса), естественно.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762227
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22я где то читал, что механизм сортировки в фб работает по разному для файла и для сортировки в памяти. я имею ввиду внутренний буфер фб под сортировку, а не кэш файловой системы, который дает операционная система. поэтому и спрашиваю про размер.

Там примерно так, сначала сортируются маленькие порции QuickSort это в памяти, потом эти отсортированные порции сливаются многопроходным алгоритмом сортировки слиянием, если данные помещаются в память, то в памяти, если нет то образуется файлы сортировок. Их суммарный объём довольно сложно посчитать. Очень приближённо размер распакованных полей + RDB$KEY для всех таблиц, но наверное есть какой-то ещё оверхед.
Файлы сортировок которые образуются на диски помечены как временные, поэтому сама ОСь, по факту тоже может держать их в памяти без сброса на диск.

Подробнее об это может Влад рассказать.
Ещё кое что есть тут https://www.ibase.ru/news/materialy-vebinara-effektivnoe-ispol-zovanie-pamati-subd-firebird/
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762233
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
а вот размер этих "маленьких порций" нельзя увеличить? а то памяти хватает, чтобы весь индекс в озу за раз отсортировать. очень бы мне кажется это помогло.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762289
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22,

ничего там не надо увеличивать. Если сортировка влазит в память, то она остается в памяти. Если нет - идет в файл сортировки, причем, к примеру, если SortMemSize 2 гига, а сортируется 4 гига, то 2 гига сортировки будут в памяти, остальное пойдет во временный файл сортировки.
Сам файл сортировки временный, поэтому его операционная система старается разместить в памяти, на винде это видно как файл нулевого размера, реальный размер видно только если свойства файла посмотреть.
И, если у ОС не хватает памяти, то тогда временный файл выгружается на диск.

По моим тестам, если у ОС хватает памяти для временного файла, нет никакой разницы по времени между сортировкой в памяти ФБ и во временном файле.
http://www.ibase.ru/files/articles/performance/Firebird Optimizer - ORDER vs SORT.pdf
страница 9.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762294
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22,

я же вроде написал, что слияния тоже в памяти могут происходить. Кроме того как и сказал Дмитрий временные файлы зачастую тоже в памяти находятся.

Реально там есть проблема только с совсем гигантскими индексами, которая вылезла на террабайтной базе, когда памяти не хватало, и которая решалась только спецбилдом. Там вроде надо было размер и количество групп менять. Насколько я знаю она до сих пор не решена. Там вроде предлагалась их динамически менять от объёма сортировки. Кстати насколько я помню из обсуждения в ряде случаев можно было ускорить совсем маленькие сортировки.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762306
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
а эта проблема планируется к устранению?

потому что мы тоже будем идти к террабайтной бд.

не хотелось бы с ней столкнуться.

она есть в багтреккере, чтобы посмотреть на ее описание?
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762307
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22,

всё есть тут и ссылки на трекер тоже https://www.ibase.ru/fb1tbtech/
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762308
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22она есть в багтреккере, чтобы посмотреть на ее описание?
Конечно есть
http://www.ibase.ru/fb1tbtech/

http://tracker.firebirdsql.org/browse/CORE-2525
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762330
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
насколько я вижу в описании, там проблема в выделении памяти и она проявилась на 32 бит файреберде и на 32 бит винде. можно ли сделать предположение, что ее не будет на 64 бит ос и фб?
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762337
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22,

нет, там проблема гораздо глубже. Читай комменты в тикете внимательней
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762341
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22,

при чем тут 32 бита....
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762343
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22а вот размер этих "маленьких порций" нельзя увеличить?

Можно. Читай firebird.conf на предмет Temp* параметров.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762532
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovМожно. Читай firebird.conf на предмет Temp* параметров.
он хочет, чтобы ранов совсем не было. Один единственный буфер в ОЗУ на 100500МБ и квиксорт в нем.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762637
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dimitr,

А это можно, технически, сделать?
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762815
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
dimitrон хочет, чтобы ранов совсем не было. Один единственный буфер в ОЗУ на 100500МБ и квиксорт в нем.

только не на 100500, а на 256 Гб пока ))

а так, да, именно этого и хочется. все данные в один кусок памяти и сортировка его. без разбиения на части и последующего слияния. и без вызовов функций обращения к дисковым файлам. пусть даже последние и кэшируются операционной системой в памяти.

скажем так, в чем проблема. у нас тут 20 лет системе нашей и мы сейчас думаем, как так сделать, чтобы она спокойно проработала следующие 20.

одну проблему мы решаем переходом на 64 бит ИД.

остается проблема скорости и роста базы. резать данные категорически не хочется...
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762817
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
следующим клиентам мы уже рекомендуем при обновлении сервера поставить 1 Тб оперативной памяти. так что задача сортировать всё в памяти и как можно быстрее становится как никогда актуальной.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762825
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22все данные в один кусок памятиГде ж взять такой один кусок памяти ?
Увеличив TempCacheLimit ты можешь добиться сортировки в памяти, да. Но не в одном куске.
Почему quicksort перестаёт быть quick на огромных объёмах памяти - изучай литературу.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762826
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Vlad FА это можно, технически, сделать?

sysdba22только не на 100500, а на 256 Гб пока ))

а так, да, именно этого и хочется. все данные в один кусок памяти и сортировка его. без разбиения на части и последующего слияния. и без вызовов функций обращения к дисковым файлам. пусть даже последние и кэшируются операционной системой в памяти.

откуда такое странное желание убрать слияние? Вы уверены что без него будет быстрее?
Ничего что сортировать надо не только одному пользователю?
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762830
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22а так, да, именно этого и хочется. все данные в один кусок памяти и сортировка его. без разбиения на части и последующего слияния. и без вызовов функций обращения к дисковым файлам.
ты же читал fb1tbtech, там для сортировки одного индекса потребовалось 182 гиг памяти, для других поменьше, но -
если ты их будешь создавать параллельно, так суммарно на твоей терабайтной базе это может превысить 256 гиг. И что дальше?

Так что пожелание "без вызовов функций обращения к дисковым файлам" выглядит абсолютно необоснованной блажью. Потому что ФБ продолжает сортировку во временных файлах только когда ему памяти для сортировки не хватает.
У себя на сервере сравнил по времени создание индекса влезающего в sortmemsize и не влезающего? Разница есть? Какая?
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762833
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22скажем так, в чем проблема. у нас тут 20 лет системе нашей и мы сейчас думаем, как так
сделать, чтобы она спокойно проработала следующие 20.

Оптимизацией заняться не пробовали?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762840
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
оптимизацией тоже занимаемся. просто, когда данных много, то их много... как ни крути.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762847
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
буду дальше эксперементировать...

просто для фб важно оставаться конкурентноспособным. сейчас в железе произошли 2 важных изменения. во-первых, у всех наших больших клиентов уже стоят или SSD диски за RAID-ами с гигабайтами кэша или системы на модулях оперативной памяти от Intel с сумасшедшими числами рандом IO. Т.е. там где раньше алгоритмы упирались в скорость рандомного доступа, теперь такой проблемы нет.

во-вторых, стали доступны немыслимые раньше объемы ОЗУ.

PS: SAP, например, вообще создал новую БД с нуля:

https://en.wikipedia.org/wiki/SAP_HANA

которая всё держит в оперативной памяти. да, требования у них теперь от 1 Tb и выше на сервере, но и скорости в 10-100 раз выше против прежнего.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762852
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22когда данных много, то их много... как ни крути.

Объём данных сам по себе лежит на диске мёртвым грузом и проблем не создаёт. Проблема
возникает исключительно при применении кривых способов работы с этими данными.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762864
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
авторты же читал fb1tbtech, там для сортировки одного индекса потребовалось 182 гиг памяти, для других поменьше, но -
если ты их будешь создавать параллельно, так суммарно на твоей терабайтной базе это может превысить 256 гиг. И что дальше?

да, читал.но там индекс по 3.7 млрд записей. у меня же пока сотня индексов но по ~100 млн записей. Т.е. на порядок меньше. Соответственно я и расчитываю что при параллельном разбиении, скажем на 10 потоков, должно хватить 256 Гб на все индексы.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762869
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22,

то что в Firebird есть что оптимизировать (в том числе и сортировке) не подлежит сомнению, но у вас какие то странные предложения как это сделать.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762873
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22да, читал.но там индекс по 3.7 млрд записей. у меня же пока сотня индексов но по ~100 млн записей. Т.е. на порядок меньше. Соответственно я и расчитываю что при параллельном разбиении, скажем на 10 потоков, должно хватить 256 Гб на все индексы.

это смотря каких индексов. Сортировать BIGINT это одно, а какой нибудь VARCHAR(100) совсем другое.
Вот мне интересно зачем вы так бьётесь над разовой операцией? Или вы каждый день индексы пересоздавать собрались?
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762892
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
проблема в том что там на предприятии 24*7 цикл и к серверу в том числе подключено оборудование производственное. чтобы на 8-10 часов остановить базу на майские праздники мы уже сейчас начинаем вести переговоры...
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762910
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22чтобы на 8-10 часов остановить базу на майские праздники мы уже сейчас начинаем вести переговоры...Что можно делать 8 часов с базой 200гб - не понятно. Индекс BIGINT на 100млн записей будет пересоздан, мягко говоря, быстрее. И 100 индексов тоже.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762914
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22,

я не очень понял этот коммент - к чему про 24х7? В таких случаях делается репликация, а для тестов база копируется еще куда-то, без всяких остановок (nbackup), и там уже можно и размеры сортировок для индексов проверить, и оптимизировать запросы, и так далее.

Или это к длительности рестора? Я так и не увидел
1. сколько времени идет бэкап
2. сколько времени идет рестор
3. сколько времени экономит параллельное создание индексов после gbak -c -i по сравнению со штатным временем рестора.

Пока только какие-то заявки на оптимизацию того, что в данном случае никаких ощутимых ускорений не даст.

Хотя, думать на самом деле надо про
4. организацию репликации, с оценкой времени переключения на реплику при сбое основного сервера.

Потому что на больших базах, от 500 гиг и выше, время рестора даже на хорошем оборудовании для организации уже критично.

К примеру, в статье приведено хорошее и плохое время бэкапа
http://www.ibase.ru/backupspeed3/
Например, отлично это когда база в 124 гига бэкапится за 40 минут. Значит, если у вас тоже хорошо, то бэкап 200 гиг сделается за 1.5 часа. Но время рестора обычно в 2-3 раза больше. А значит 200 гиг заресторится за 3.5 часов.
А когда база вырастет до терабайта, то на том же железе рестор уже будет длиться 15 часов.
15 часов простоя плюс затраты на переввод документов с момента последнего бэкапа - это может быть совершенно неприемлемо.

У середнячков, там же, в статье, 80 гиг бэкапятся за 40 минут, значит 200 гиг где-то часа два или более, а рестор уже часов 6, и более.

Так вот, защититься от сбоев и потерь, и обеспечить нормальную скорость восстановления системы, для таких баз можно только репликацией.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762915
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22,

только что провёл тест (120 млн записей) на древнем компе, 2 ядра, HDD, 2Гб оперативки. 5 минут. Так то да - получается 100 раз - 500 минут.
Но сервер должен быть хотя бы на порядок быстрее этого моего компа.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762923
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22проблема в том что там на предприятии 24*7 цикл и к серверу в том числе подключено оборудование производственное. чтобы на 8-10 часов остановить базу на майские праздники мы уже сейчас начинаем вести переговоры...Как вы вообще без кластера дожили столько времени? У нас нет такого драконовского риалтайма и то держим несколько нод на репликации, чтобы можно было выводить на регламент требуемое железо.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762940
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
на пожарный случай там есть резервный сервер на который несколько раз в сутки с помощью nbackup делается горячая копия бд.

для репликации ждем FB 4 ))

полный цикл бэкап-рестор там идет часов 7, но делали уже давно. сейчас может и чуть дольше. и за счет BIGINT база подрастет процентов на 20%, что тоже увеличит время...

как-то так.

ладно, сделаю парллельное восстановление, сюда сообщу о результате. даже если он будет отрицательным ))
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762964
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22за счет BIGINT база подрастетЕсли нацеливаетесь на репликацию, может имеет смысл мигрировать сразу на uuid? Чтоб не рубить той несчастной собачке хвост по частям.
...
Рейтинг: 0 / 0
Параллельное создание большого количества PK и FK
    #39762989
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22полный цикл бэкап-рестор там идет часов 7
Код: plaintext
gbak -b ... база-есть stdout|gbak -c ... stdin база-будет
позволяет убрать время восстановления собственно данных.
Т.е. будет "время бэкапа плюс время создания индексов". Возможно, "минус немного времени от записи файла бэкапа".

P.S.
До майских праздников можно успеть проверить и этот и многие другие варианты.
...
Рейтинг: 0 / 0
44 сообщений из 44, показаны все 2 страниц
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Параллельное создание большого количества PK и FK
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]