|
Странное сообщение
|
|||
---|---|---|---|
#18+
Сархивировал базу. Тут же, этим же сервером восстанавливаю ее и странное пишет gbak: gbak:adjusting an invalid decompression length from -12 to -10 сервер классик 3.0.7.33387 ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 12:46 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
Выглядит как обрезанный файл бэкапа или странно подыхающее железо. При "архивации" точно не было ошибок и она завершилась штатно? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 13:02 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
при архивации ошибок не было. разархивация после этого сообщения продолжается. еще часов 8 ей идти. потом посмотрю чем закончится. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 13:10 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
sysdba22разархивация после этого сообщения продолжается. Это ещё не значит, что она читает файл бэкапа. Каков его размер с точностью до байта? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 13:15 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
82,3 GB (88 466 935 808 bytes) ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 13:19 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
sysdba2288 466 935 808 bytes Подозрительный. Слишком ровно кратен четырём килобайтам. Напусти на него IBBackupSurgeon. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 13:27 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
sysdba22, опять берем калькулятор в руки. 8 часов это 28800 секунд, следовательно, "разархивация" у вас происходит со скоростью 3 мегабайта в секунду. Чего так медленно? Дохлый проц? на диске выключен кэш записи? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 13:32 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
16.06.2021 13:32, kdv пишет: > опять берем калькулятор в руки. 8 часов это 28800 секунд, > следовательно, "разархивация" у вас происходит со скоростью 3 мегабайта в секунду. Чего так медленно? > Дохлый проц? на диске выключен кэш записи? индексы строятся. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 13:35 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
индексы столько создаются. что у нас icore 5 6 ядер, что у клиента xenon двух процессорный приблизительно одинаково по времени. памяти хватает на построение индекса. остальное вопрос к однопоточному восстановлению индексов в фб. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 13:35 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
Мимопроходящийиндексы строятся. Да. Ты же видел в соседнем топике сколько их и какие они дерьмовые. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 13:36 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov Да. Ты же видел в соседнем топике сколько их и какие они дерьмовые. Ох, Зин, не трогай шурина Какой ни есть, а он родня. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 13:54 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
sysdba22, ерунда какая-то. Берем мой ДВЕНАДЦАТИЛЕТНЕЙ давности тест restore. Допустим, там лучший результат - 9 минут для базы размером 3,9 гиг. Получаем 7 мегабайт в секунду. На древнем процессоре Phenom II 720, и HDD SATA2 дисках. Ну ладно, слишком это старое. Тогда берем базу tpcc, бэкап 22 гиг, ресторенная д.б. где-то 25 гиг. Ресторим на FB 3.0.7. С абсолютно дефолтным конфигом. Не, у меня temp по умолчанию на ssd, поэтому я его специально перенес на hdd. А то вдруг у вас ssd нет. Разумеется, бэкап на одном hdd диске, ресторится база на другой hdd, иначе будет раза в полтора медленее (На ssd можно так не делать). Все это десктоп, диски sata по 2 терабайта, проц amd ryzen 3700x. Получаем - рестор данных - 651 секунда (22 гиг данных, 33мб в секунду) при создании индексов обмен с диском – 125мб сек. всего секунд, на весь рестор – 857. на создание индексов ушло 206 секунд. Итого, база в 25 гиг заресторилась за 14 минут, со скоростью в среднем 29мб сек. Т.е. на моем ДЕСКТОПЕ с десктопными hdd-дисками ваша база ресторилась бы примерно 45 минут. Вопрос - зачем так мучиться с 82 гиг базой? Не проще запустить хотя бы CrystalDiskMark, попечалиться, и обзавестись ну хоть какими-то нормальными дисками? Не, можно, конечно, всё сделать и на rapspbery pi, с базой на флэшке, и бэкапить-ресторить по 2-5 суток. Только зачем? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 14:36 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
kdvТогда берем базу tpcc Дим, ну ты же понимаешь, что некорректно сравнивать базу TPC-C, спроектированную в рассчёте на чистую скорость, и кривого уродца, порождаемого "платформой". Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 14:55 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
за двадцать последних лет, на базах 100+ Гб, никогда не видел таких скоростей. На каком только железе не пробовали. И HDD, и SSD, и RAID 10. Восстановление самих данных не проблема. Но, потом начинаются индексы и все, приплыли. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 14:57 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
а мне интересно, почему ТС не использует nbackup и продолжает мочалить кактус? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 14:58 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov ... и кривого уродца, порождаемого "платформой". пожалуй войдет в мой личный топ 3 с sql.ru я уже давно не удивляюсь. так, наблюдаю больше. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 15:01 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
Мимопроходящий а мне интересно, почему ТС не использует nbackup и продолжает мочалить кактус? запостите в треккер разработчикам, чтобы убрали gbak из инстоляции. если серьезно, то: 1) есть разница передавать по сети 360 Гб базы или 80 Гб бэкапа. Даже в упакованном виде разница большая. 2) под большой загрузкой базы портятся периодически. как, где мы понять не можем, но это происходит. на SS это вообще гарантировано раз в несколько месяцев. Только бэкап-восстановление гарантирует спокойствие что предприятие не станет в самый неподходящий момент. 3) ну, не знали мы до вчерашнего дня про лайф хак ALTER INDEX ... ACTIVE на активном индексе. Теперь знаем )) а в продакшене конечно используется nbackup. Три раза в сутки, по расписанию, делается горячая копия БД на резервный сервер. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 15:09 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
16.06.2021 15:09, sysdba22 пишет: > а в продакшене конечно используется nbackup. Три раза в сутки, по расписанию, делается горячая копия БД > на резервный сервер. и на койхер вам тогда ещё и gbak? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 15:12 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
sysdba22под большой загрузкой базы портятся периодически. как, где мы понять не можем Внезапно, но самое подозрительное место это как раз там, где индексированные поля одной записи часто изменяются, в том числе - несколько раз за одну транзакцию. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 15:12 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
у меня комп был, году в 96м, который рандомно подвисал каждый час-полтора. до сих пор не прошел еще условный рефлекс каждые маломальские изменения сохранять по F2. так и тут, кто прошел IB 5.6 - Yaffil - FB 0.9.4... не будет доверять ничему кроме старого доброго бэкап-рестор. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 15:54 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
sysdba22за двадцать последних лет, на базах 100+ Гб, никогда не видел таких скоростей. На каком только железе не пробовали. И HDD, и SSD, и RAID 10. Восстановление самих данных не проблема. Но, потом начинаются индексы и все, приплыли. По пунктам. Создание индексов при restore (и вообще) Индексы создаются через сортировку. Т.е. то же самое что PLAN SORT в запросах, разве что в файл попадает только ключ и номер записи, а потом данные не клиенту выдаются, а записываются в базу в виде индекса. Поэтому скорость создания индексов, точно так же, как и у запросов с сортировкой, зависит от скорости диска, куда указывает temp. Ну и от скорости диска "приемника" (т.е. с базой). В базу обычно пишется больше, чем читается из бэкапа или файла сортировки. Поэтому скорость всего процесса ограничена скоростью записи. Скорость записи на уровне 3 мб/сек очень сильно напоминает какую угодно дисковую систему с выключенным кэшированием записи (если посмотреть в перфмон или еще куда это будет выглядеть как ровная линия, без "пилы или синусоиды"). Про "20 лет" и "базы 100+гб" Два года назад я написал статью про "определение скорости диска при помощи бэкапа" http://www.ibase.ru/backupspeed3/ Я пересмотрел данные где-то по сотне серверов, которые мы обслуживаем (это не все). Это реальные сервера с разными базами. Вырезал данные где-то 30ти наиболее интересных. И свел в табличку. Да, в статье только про бэкапы, но рестор обычно в 2-3 раза дольше бэкапа, так что оценить можно. Так вот, "463 гигабайта за 11 часов" - это уже медленно. Медленно с точки зрения БОЛЬШИНСТВА серверов. Ну или вот примеры тестового рестора с реальных серверов, все в разных компаниях (имена баз и некоторые даты скрыты) - Restore '......fdb' 74.7 GiB done successfully at 2021-06-16 ...., taking 01h:22m:19s.368. - Restore '......fdb' 60.8 GiB done successfully at ....., taking 01h:37m:59s.216. - Restore '......fdb' 117.1 GiB done successfully at 2021-06-16 ....., taking 05h:24m:22s.951 (тут да, медленновато как-то. Но это не 80 гиг за 8 часов, а 117 за 5.) - Restore '......fdb' 74.7 GiB done successfully at 2021-06-16 ...., taking 01h:21m:16s.771. - Restore '......fdb' 159.6 GiB done successfully at 2021-06-16 ...., taking 01h:56m:01s.456. Надо сказать, что как раз для баз 100+гб у нас тестовый рестор обычно не делается, но обязательно включена репликация, и делаются бэкапы. И тут понятно, что если база в 400 гиг бэкапится 3 часа, и это действительно быстро, то рестор ее будет идти не меньше 8 часов, а это слишком долгий простой, и быстрее восстановить базу из реплики. В общем, рестор даже всей БД (а не только индексов) 80 гиг за 8 часов - это крайне медленно. Как я уже сказал, это либо дико медленный проц, либо дико медленный диск, или temp настроен "не туда", или, кстати, это линукс с включенным barrier на диске. Свой десктоп на протяжении лет 15-ти я привожу в пример не зря - если у вас сервер медленнее десктопа, то что это за сервер? (тем более что у меня raid 10 никогда не было, а ssd появились только полгода назад). И про CrystalDiskMark я уже писал - так трудно запустить и проверить? Сравнительных данных полно. sysdba22ну, не знали мы до вчерашнего дня про лайф хак ALTER INDEX ... ACTIVE на активном индексе. про эту "фишку" уже как минимум лет 15 известно, и про нее как минимум я писал в разных местах. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 15:55 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
sysdba22 2) под большой загрузкой базы портятся периодически. как, где мы понять не можем, но это происходит. Сорян, если на этот вопрос уже отвечали - у вас на ходу метаданные базы меняются? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 17:42 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
Коваленко Дмитрий Сорян, если на этот вопрос уже отвечали - у вас на ходу метаданные базы меняются? бывает. стараемся отключать, но иногда бывают ситуации, когда надо изменить метаданные при работающих пользователях. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 17:51 |
|
Странное сообщение
|
|||
---|---|---|---|
#18+
sysdba22 Коваленко Дмитрий Сорян, если на этот вопрос уже отвечали - у вас на ходу метаданные базы меняются? бывает. стараемся отключать, но иногда бывают ситуации, когда надо изменить метаданные при работающих пользователях. Если совсем коротко обрисовать то, что я видел у себя (FB 3.0.8 SS): 1. Если выполнять полное отключение от базы между перезапусками нагрузочных тестов (некоторые из которых могут менять метаданные), где-то после шестого запуска начинаются проблемы. Типа такой: авторinternal Firebird consistency check (can't attach after bugcheck) 2. Эти же самые тесты без проблем проезжают 10 циклов без полного отключения от базы. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.06.2021, 19:20 |
|
|
start [/forum/topic.php?fid=40&msg=40077927&tid=1560009]: |
0ms |
get settings: |
9ms |
get forum list: |
10ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
171ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
56ms |
get tp. blocked users: |
1ms |
others: | 13ms |
total: | 278ms |
0 / 0 |