Гость
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Странное сообщение / 25 сообщений из 27, страница 1 из 2
16.06.2021, 12:46
    #40077889
sysdba22
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
Сархивировал базу. Тут же, этим же сервером восстанавливаю ее и странное пишет gbak:

gbak:adjusting an invalid decompression length from -12 to -10

сервер классик 3.0.7.33387
...
Рейтинг: 0 / 0
16.06.2021, 13:02
    #40077893
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
Выглядит как обрезанный файл бэкапа или странно подыхающее железо.
При "архивации" точно не было ошибок и она завершилась штатно?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.06.2021, 13:10
    #40077895
sysdba22
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
при архивации ошибок не было. разархивация после этого сообщения продолжается. еще часов 8 ей идти. потом посмотрю чем закончится.
...
Рейтинг: 0 / 0
16.06.2021, 13:15
    #40077899
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
sysdba22разархивация после этого сообщения продолжается.

Это ещё не значит, что она читает файл бэкапа. Каков его размер с точностью до байта?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.06.2021, 13:19
    #40077901
sysdba22
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
82,3 GB (88 466 935 808 bytes)
...
Рейтинг: 0 / 0
16.06.2021, 13:27
    #40077904
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
sysdba2288 466 935 808 bytes

Подозрительный. Слишком ровно кратен четырём килобайтам.

Напусти на него IBBackupSurgeon.
...
Рейтинг: 0 / 0
16.06.2021, 13:32
    #40077905
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
sysdba22,

опять берем калькулятор в руки. 8 часов это 28800 секунд,
следовательно, "разархивация" у вас происходит со скоростью 3 мегабайта в секунду. Чего так медленно?
Дохлый проц? на диске выключен кэш записи?
...
Рейтинг: 0 / 0
16.06.2021, 13:35
    #40077909
Мимопроходящий
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
16.06.2021 13:32, kdv пишет:
> опять берем калькулятор в руки. 8 часов это 28800 секунд,
> следовательно, "разархивация" у вас происходит со скоростью 3 мегабайта в секунду. Чего так медленно?
> Дохлый проц? на диске выключен кэш записи?

индексы строятся.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.06.2021, 13:35
    #40077910
sysdba22
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
индексы столько создаются. что у нас icore 5 6 ядер, что у клиента xenon двух процессорный приблизительно одинаково по времени. памяти хватает на построение индекса. остальное вопрос к однопоточному восстановлению индексов в фб.
...
Рейтинг: 0 / 0
16.06.2021, 13:36
    #40077911
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
Мимопроходящийиндексы строятся.

Да. Ты же видел в соседнем топике сколько их и какие они дерьмовые.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.06.2021, 13:54
    #40077918
sysdba22
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
Dimitry Sibiryakov

Да. Ты же видел в соседнем топике сколько их и какие они дерьмовые.


Ох, Зин, не трогай шурина
Какой ни есть, а он родня.
...
Рейтинг: 0 / 0
16.06.2021, 14:36
    #40077927
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
sysdba22,

ерунда какая-то. Берем мой ДВЕНАДЦАТИЛЕТНЕЙ давности тест restore. Допустим, там лучший результат - 9 минут для базы размером 3,9 гиг.
Получаем 7 мегабайт в секунду. На древнем процессоре Phenom II 720, и HDD SATA2 дисках.
Ну ладно, слишком это старое.
Тогда берем базу tpcc, бэкап 22 гиг, ресторенная д.б. где-то 25 гиг.
Ресторим на FB 3.0.7. С абсолютно дефолтным конфигом. Не, у меня temp по умолчанию на ssd, поэтому я его специально перенес на hdd. А то вдруг у вас ssd нет.
Разумеется, бэкап на одном hdd диске, ресторится база на другой hdd, иначе будет раза в полтора медленее (На ssd можно так не делать).
Все это десктоп, диски sata по 2 терабайта, проц amd ryzen 3700x.
Получаем -
рестор данных - 651 секунда (22 гиг данных, 33мб в секунду)
при создании индексов обмен с диском – 125мб сек.
всего секунд, на весь рестор – 857. на создание индексов ушло 206 секунд.
Итого, база в 25 гиг заресторилась за 14 минут, со скоростью в среднем 29мб сек.

Т.е. на моем ДЕСКТОПЕ с десктопными hdd-дисками ваша база ресторилась бы примерно 45 минут.

Вопрос - зачем так мучиться с 82 гиг базой? Не проще запустить хотя бы CrystalDiskMark, попечалиться, и обзавестись ну хоть какими-то нормальными дисками?
Не, можно, конечно, всё сделать и на rapspbery pi, с базой на флэшке, и бэкапить-ресторить по 2-5 суток. Только зачем?
...
Рейтинг: 0 / 0
16.06.2021, 14:55
    #40077929
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
kdvТогда берем базу tpcc

Дим, ну ты же понимаешь, что некорректно сравнивать базу TPC-C, спроектированную в
рассчёте на чистую скорость, и кривого уродца, порождаемого "платформой".
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.06.2021, 14:57
    #40077931
sysdba22
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
за двадцать последних лет, на базах 100+ Гб, никогда не видел таких скоростей. На каком только железе не пробовали. И HDD, и SSD, и RAID 10. Восстановление самих данных не проблема. Но, потом начинаются индексы и все, приплыли.
...
Рейтинг: 0 / 0
16.06.2021, 14:58
    #40077932
Мимопроходящий
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
а мне интересно, почему ТС не использует nbackup и продолжает мочалить кактус?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.06.2021, 15:01
    #40077933
sysdba22
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
Dimitry Sibiryakov

... и кривого уродца, порождаемого "платформой".


пожалуй войдет в мой личный топ 3 с sql.ru

я уже давно не удивляюсь. так, наблюдаю больше.
...
Рейтинг: 0 / 0
16.06.2021, 15:09
    #40077938
sysdba22
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
Мимопроходящий

а мне интересно, почему ТС не использует nbackup и продолжает мочалить кактус?


запостите в треккер разработчикам, чтобы убрали gbak из инстоляции.

если серьезно, то:

1) есть разница передавать по сети 360 Гб базы или 80 Гб бэкапа. Даже в упакованном виде разница большая.
2) под большой загрузкой базы портятся периодически. как, где мы понять не можем, но это происходит.
на SS это вообще гарантировано раз в несколько месяцев. Только бэкап-восстановление гарантирует спокойствие
что предприятие не станет в самый неподходящий момент.
3) ну, не знали мы до вчерашнего дня про лайф хак ALTER INDEX ... ACTIVE на активном индексе. Теперь знаем ))

а в продакшене конечно используется nbackup. Три раза в сутки, по расписанию, делается горячая копия БД
на резервный сервер.
...
Рейтинг: 0 / 0
16.06.2021, 15:12
    #40077941
Мимопроходящий
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
16.06.2021 15:09, sysdba22 пишет:
> а в продакшене конечно используется nbackup. Три раза в сутки, по расписанию, делается горячая копия БД
> на резервный сервер.

и на койхер вам тогда ещё и gbak?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.06.2021, 15:12
    #40077942
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
sysdba22под большой загрузкой базы портятся периодически. как, где мы понять не можем

Внезапно, но самое подозрительное место это как раз там, где индексированные поля одной
записи часто изменяются, в том числе - несколько раз за одну транзакцию.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.06.2021, 15:54
    #40077968
sysdba22
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
у меня комп был, году в 96м, который рандомно подвисал каждый час-полтора. до сих пор не прошел еще условный рефлекс каждые маломальские изменения сохранять по F2.

так и тут, кто прошел IB 5.6 - Yaffil - FB 0.9.4... не будет доверять ничему кроме старого доброго бэкап-рестор.
...
Рейтинг: 0 / 0
16.06.2021, 15:55
    #40077969
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
sysdba22за двадцать последних лет, на базах 100+ Гб, никогда не видел таких скоростей. На каком только железе не пробовали. И HDD, и SSD, и RAID 10. Восстановление самих данных не проблема. Но, потом начинаются индексы и все, приплыли.
По пунктам.
Создание индексов при restore (и вообще)
Индексы создаются через сортировку. Т.е. то же самое что PLAN SORT в запросах, разве что в файл попадает только ключ и номер записи, а потом данные не клиенту выдаются, а записываются в базу в виде индекса.
Поэтому скорость создания индексов, точно так же, как и у запросов с сортировкой, зависит от скорости диска, куда указывает temp. Ну и от скорости диска "приемника" (т.е. с базой).
В базу обычно пишется больше, чем читается из бэкапа или файла сортировки. Поэтому скорость всего процесса ограничена скоростью записи.
Скорость записи на уровне 3 мб/сек очень сильно напоминает какую угодно дисковую систему с выключенным кэшированием записи (если посмотреть в перфмон или еще куда это будет выглядеть как ровная линия, без "пилы или синусоиды").

Про "20 лет" и "базы 100+гб"
Два года назад я написал статью про "определение скорости диска при помощи бэкапа"
http://www.ibase.ru/backupspeed3/
Я пересмотрел данные где-то по сотне серверов, которые мы обслуживаем (это не все).
Это реальные сервера с разными базами.
Вырезал данные где-то 30ти наиболее интересных. И свел в табличку.
Да, в статье только про бэкапы, но рестор обычно в 2-3 раза дольше бэкапа, так что оценить можно.
Так вот, "463 гигабайта за 11 часов" - это уже медленно. Медленно с точки зрения БОЛЬШИНСТВА серверов.

Ну или вот примеры тестового рестора с реальных серверов, все в разных компаниях (имена баз и некоторые даты скрыты)
- Restore '......fdb' 74.7 GiB done successfully at 2021-06-16 ...., taking 01h:22m:19s.368.
- Restore '......fdb' 60.8 GiB done successfully at ....., taking 01h:37m:59s.216.
- Restore '......fdb' 117.1 GiB done successfully at 2021-06-16 ....., taking 05h:24m:22s.951
(тут да, медленновато как-то. Но это не 80 гиг за 8 часов, а 117 за 5.)
- Restore '......fdb' 74.7 GiB done successfully at 2021-06-16 ...., taking 01h:21m:16s.771.
- Restore '......fdb' 159.6 GiB done successfully at 2021-06-16 ...., taking 01h:56m:01s.456.

Надо сказать, что как раз для баз 100+гб у нас тестовый рестор обычно не делается, но обязательно включена репликация, и делаются бэкапы.
И тут понятно, что если база в 400 гиг бэкапится 3 часа, и это действительно быстро, то рестор ее будет идти не меньше 8 часов, а это слишком долгий простой, и быстрее восстановить базу из реплики.

В общем, рестор даже всей БД (а не только индексов) 80 гиг за 8 часов - это крайне медленно. Как я уже сказал, это либо дико медленный проц, либо дико медленный диск, или temp настроен "не туда", или, кстати, это линукс с включенным barrier на диске.
Свой десктоп на протяжении лет 15-ти я привожу в пример не зря - если у вас сервер медленнее десктопа, то что это за сервер?
(тем более что у меня raid 10 никогда не было, а ssd появились только полгода назад).

И про CrystalDiskMark я уже писал - так трудно запустить и проверить? Сравнительных данных полно.
sysdba22ну, не знали мы до вчерашнего дня про лайф хак ALTER INDEX ... ACTIVE на активном индексе.
про эту "фишку" уже как минимум лет 15 известно, и про нее как минимум я писал в разных местах.
...
Рейтинг: 0 / 0
16.06.2021, 17:42
    #40077998
Коваленко Дмитрий
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
sysdba22

2) под большой загрузкой базы портятся периодически. как, где мы понять не можем, но это происходит.

Сорян, если на этот вопрос уже отвечали - у вас на ходу метаданные базы меняются?
...
Рейтинг: 0 / 0
16.06.2021, 17:51
    #40078000
sysdba22
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
Коваленко Дмитрий

Сорян, если на этот вопрос уже отвечали - у вас на ходу метаданные базы меняются?


бывает. стараемся отключать, но иногда бывают ситуации, когда надо изменить метаданные при работающих пользователях.
...
Рейтинг: 0 / 0
16.06.2021, 19:20
    #40078012
Коваленко Дмитрий
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
sysdba22
Коваленко Дмитрий

Сорян, если на этот вопрос уже отвечали - у вас на ходу метаданные базы меняются?


бывает. стараемся отключать, но иногда бывают ситуации, когда надо изменить метаданные при работающих пользователях.

Если совсем коротко обрисовать то, что я видел у себя (FB 3.0.8 SS):

1. Если выполнять полное отключение от базы между перезапусками нагрузочных тестов (некоторые из которых могут менять метаданные), где-то после шестого запуска начинаются проблемы.

Типа такой:
авторinternal Firebird consistency check (can't attach after bugcheck)

2. Эти же самые тесты без проблем проезжают 10 циклов без полного отключения от базы.
...
Рейтинг: 0 / 0
17.06.2021, 14:27
    #40078296
Gallemar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Странное сообщение
kdv
можно, конечно, всё сделать и на rapspbery pi, с базой на флэшке, и бэкапить-ресторить по 2-5 суток. Только зачем?

Ну нравится FB на RPI гонять, это преступление? :)
...
Рейтинг: 0 / 0
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Странное сообщение / 25 сообщений из 27, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]