powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Странное сообщение
25 сообщений из 27, страница 1 из 2
Странное сообщение
    #40077889
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Сархивировал базу. Тут же, этим же сервером восстанавливаю ее и странное пишет gbak:

gbak:adjusting an invalid decompression length from -12 to -10

сервер классик 3.0.7.33387
...
Рейтинг: 0 / 0
Странное сообщение
    #40077893
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Выглядит как обрезанный файл бэкапа или странно подыхающее железо.
При "архивации" точно не было ошибок и она завершилась штатно?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Странное сообщение
    #40077895
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
при архивации ошибок не было. разархивация после этого сообщения продолжается. еще часов 8 ей идти. потом посмотрю чем закончится.
...
Рейтинг: 0 / 0
Странное сообщение
    #40077899
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22разархивация после этого сообщения продолжается.

Это ещё не значит, что она читает файл бэкапа. Каков его размер с точностью до байта?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Странное сообщение
    #40077901
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
82,3 GB (88 466 935 808 bytes)
...
Рейтинг: 0 / 0
Странное сообщение
    #40077904
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba2288 466 935 808 bytes

Подозрительный. Слишком ровно кратен четырём килобайтам.

Напусти на него IBBackupSurgeon.
...
Рейтинг: 0 / 0
Странное сообщение
    #40077905
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22,

опять берем калькулятор в руки. 8 часов это 28800 секунд,
следовательно, "разархивация" у вас происходит со скоростью 3 мегабайта в секунду. Чего так медленно?
Дохлый проц? на диске выключен кэш записи?
...
Рейтинг: 0 / 0
Странное сообщение
    #40077909
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
16.06.2021 13:32, kdv пишет:
> опять берем калькулятор в руки. 8 часов это 28800 секунд,
> следовательно, "разархивация" у вас происходит со скоростью 3 мегабайта в секунду. Чего так медленно?
> Дохлый проц? на диске выключен кэш записи?

индексы строятся.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Странное сообщение
    #40077910
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
индексы столько создаются. что у нас icore 5 6 ядер, что у клиента xenon двух процессорный приблизительно одинаково по времени. памяти хватает на построение индекса. остальное вопрос к однопоточному восстановлению индексов в фб.
...
Рейтинг: 0 / 0
Странное сообщение
    #40077911
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мимопроходящийиндексы строятся.

Да. Ты же видел в соседнем топике сколько их и какие они дерьмовые.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Странное сообщение
    #40077918
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry Sibiryakov

Да. Ты же видел в соседнем топике сколько их и какие они дерьмовые.


Ох, Зин, не трогай шурина
Какой ни есть, а он родня.
...
Рейтинг: 0 / 0
Странное сообщение
    #40077927
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22,

ерунда какая-то. Берем мой ДВЕНАДЦАТИЛЕТНЕЙ давности тест restore. Допустим, там лучший результат - 9 минут для базы размером 3,9 гиг.
Получаем 7 мегабайт в секунду. На древнем процессоре Phenom II 720, и HDD SATA2 дисках.
Ну ладно, слишком это старое.
Тогда берем базу tpcc, бэкап 22 гиг, ресторенная д.б. где-то 25 гиг.
Ресторим на FB 3.0.7. С абсолютно дефолтным конфигом. Не, у меня temp по умолчанию на ssd, поэтому я его специально перенес на hdd. А то вдруг у вас ssd нет.
Разумеется, бэкап на одном hdd диске, ресторится база на другой hdd, иначе будет раза в полтора медленее (На ssd можно так не делать).
Все это десктоп, диски sata по 2 терабайта, проц amd ryzen 3700x.
Получаем -
рестор данных - 651 секунда (22 гиг данных, 33мб в секунду)
при создании индексов обмен с диском – 125мб сек.
всего секунд, на весь рестор – 857. на создание индексов ушло 206 секунд.
Итого, база в 25 гиг заресторилась за 14 минут, со скоростью в среднем 29мб сек.

Т.е. на моем ДЕСКТОПЕ с десктопными hdd-дисками ваша база ресторилась бы примерно 45 минут.

Вопрос - зачем так мучиться с 82 гиг базой? Не проще запустить хотя бы CrystalDiskMark, попечалиться, и обзавестись ну хоть какими-то нормальными дисками?
Не, можно, конечно, всё сделать и на rapspbery pi, с базой на флэшке, и бэкапить-ресторить по 2-5 суток. Только зачем?
...
Рейтинг: 0 / 0
Странное сообщение
    #40077929
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvТогда берем базу tpcc

Дим, ну ты же понимаешь, что некорректно сравнивать базу TPC-C, спроектированную в
рассчёте на чистую скорость, и кривого уродца, порождаемого "платформой".
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Странное сообщение
    #40077931
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
за двадцать последних лет, на базах 100+ Гб, никогда не видел таких скоростей. На каком только железе не пробовали. И HDD, и SSD, и RAID 10. Восстановление самих данных не проблема. Но, потом начинаются индексы и все, приплыли.
...
Рейтинг: 0 / 0
Странное сообщение
    #40077932
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а мне интересно, почему ТС не использует nbackup и продолжает мочалить кактус?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Странное сообщение
    #40077933
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry Sibiryakov

... и кривого уродца, порождаемого "платформой".


пожалуй войдет в мой личный топ 3 с sql.ru

я уже давно не удивляюсь. так, наблюдаю больше.
...
Рейтинг: 0 / 0
Странное сообщение
    #40077938
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Мимопроходящий

а мне интересно, почему ТС не использует nbackup и продолжает мочалить кактус?


запостите в треккер разработчикам, чтобы убрали gbak из инстоляции.

если серьезно, то:

1) есть разница передавать по сети 360 Гб базы или 80 Гб бэкапа. Даже в упакованном виде разница большая.
2) под большой загрузкой базы портятся периодически. как, где мы понять не можем, но это происходит.
на SS это вообще гарантировано раз в несколько месяцев. Только бэкап-восстановление гарантирует спокойствие
что предприятие не станет в самый неподходящий момент.
3) ну, не знали мы до вчерашнего дня про лайф хак ALTER INDEX ... ACTIVE на активном индексе. Теперь знаем ))

а в продакшене конечно используется nbackup. Три раза в сутки, по расписанию, делается горячая копия БД
на резервный сервер.
...
Рейтинг: 0 / 0
Странное сообщение
    #40077941
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
16.06.2021 15:09, sysdba22 пишет:
> а в продакшене конечно используется nbackup. Три раза в сутки, по расписанию, делается горячая копия БД
> на резервный сервер.

и на койхер вам тогда ещё и gbak?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Странное сообщение
    #40077942
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22под большой загрузкой базы портятся периодически. как, где мы понять не можем

Внезапно, но самое подозрительное место это как раз там, где индексированные поля одной
записи часто изменяются, в том числе - несколько раз за одну транзакцию.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Странное сообщение
    #40077968
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
у меня комп был, году в 96м, который рандомно подвисал каждый час-полтора. до сих пор не прошел еще условный рефлекс каждые маломальские изменения сохранять по F2.

так и тут, кто прошел IB 5.6 - Yaffil - FB 0.9.4... не будет доверять ничему кроме старого доброго бэкап-рестор.
...
Рейтинг: 0 / 0
Странное сообщение
    #40077969
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22за двадцать последних лет, на базах 100+ Гб, никогда не видел таких скоростей. На каком только железе не пробовали. И HDD, и SSD, и RAID 10. Восстановление самих данных не проблема. Но, потом начинаются индексы и все, приплыли.
По пунктам.
Создание индексов при restore (и вообще)
Индексы создаются через сортировку. Т.е. то же самое что PLAN SORT в запросах, разве что в файл попадает только ключ и номер записи, а потом данные не клиенту выдаются, а записываются в базу в виде индекса.
Поэтому скорость создания индексов, точно так же, как и у запросов с сортировкой, зависит от скорости диска, куда указывает temp. Ну и от скорости диска "приемника" (т.е. с базой).
В базу обычно пишется больше, чем читается из бэкапа или файла сортировки. Поэтому скорость всего процесса ограничена скоростью записи.
Скорость записи на уровне 3 мб/сек очень сильно напоминает какую угодно дисковую систему с выключенным кэшированием записи (если посмотреть в перфмон или еще куда это будет выглядеть как ровная линия, без "пилы или синусоиды").

Про "20 лет" и "базы 100+гб"
Два года назад я написал статью про "определение скорости диска при помощи бэкапа"
http://www.ibase.ru/backupspeed3/
Я пересмотрел данные где-то по сотне серверов, которые мы обслуживаем (это не все).
Это реальные сервера с разными базами.
Вырезал данные где-то 30ти наиболее интересных. И свел в табличку.
Да, в статье только про бэкапы, но рестор обычно в 2-3 раза дольше бэкапа, так что оценить можно.
Так вот, "463 гигабайта за 11 часов" - это уже медленно. Медленно с точки зрения БОЛЬШИНСТВА серверов.

Ну или вот примеры тестового рестора с реальных серверов, все в разных компаниях (имена баз и некоторые даты скрыты)
- Restore '......fdb' 74.7 GiB done successfully at 2021-06-16 ...., taking 01h:22m:19s.368.
- Restore '......fdb' 60.8 GiB done successfully at ....., taking 01h:37m:59s.216.
- Restore '......fdb' 117.1 GiB done successfully at 2021-06-16 ....., taking 05h:24m:22s.951
(тут да, медленновато как-то. Но это не 80 гиг за 8 часов, а 117 за 5.)
- Restore '......fdb' 74.7 GiB done successfully at 2021-06-16 ...., taking 01h:21m:16s.771.
- Restore '......fdb' 159.6 GiB done successfully at 2021-06-16 ...., taking 01h:56m:01s.456.

Надо сказать, что как раз для баз 100+гб у нас тестовый рестор обычно не делается, но обязательно включена репликация, и делаются бэкапы.
И тут понятно, что если база в 400 гиг бэкапится 3 часа, и это действительно быстро, то рестор ее будет идти не меньше 8 часов, а это слишком долгий простой, и быстрее восстановить базу из реплики.

В общем, рестор даже всей БД (а не только индексов) 80 гиг за 8 часов - это крайне медленно. Как я уже сказал, это либо дико медленный проц, либо дико медленный диск, или temp настроен "не туда", или, кстати, это линукс с включенным barrier на диске.
Свой десктоп на протяжении лет 15-ти я привожу в пример не зря - если у вас сервер медленнее десктопа, то что это за сервер?
(тем более что у меня raid 10 никогда не было, а ssd появились только полгода назад).

И про CrystalDiskMark я уже писал - так трудно запустить и проверить? Сравнительных данных полно.
sysdba22ну, не знали мы до вчерашнего дня про лайф хак ALTER INDEX ... ACTIVE на активном индексе.
про эту "фишку" уже как минимум лет 15 известно, и про нее как минимум я писал в разных местах.
...
Рейтинг: 0 / 0
Странное сообщение
    #40077998
Коваленко Дмитрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22

2) под большой загрузкой базы портятся периодически. как, где мы понять не можем, но это происходит.

Сорян, если на этот вопрос уже отвечали - у вас на ходу метаданные базы меняются?
...
Рейтинг: 0 / 0
Странное сообщение
    #40078000
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Коваленко Дмитрий

Сорян, если на этот вопрос уже отвечали - у вас на ходу метаданные базы меняются?


бывает. стараемся отключать, но иногда бывают ситуации, когда надо изменить метаданные при работающих пользователях.
...
Рейтинг: 0 / 0
Странное сообщение
    #40078012
Коваленко Дмитрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22
Коваленко Дмитрий

Сорян, если на этот вопрос уже отвечали - у вас на ходу метаданные базы меняются?


бывает. стараемся отключать, но иногда бывают ситуации, когда надо изменить метаданные при работающих пользователях.

Если совсем коротко обрисовать то, что я видел у себя (FB 3.0.8 SS):

1. Если выполнять полное отключение от базы между перезапусками нагрузочных тестов (некоторые из которых могут менять метаданные), где-то после шестого запуска начинаются проблемы.

Типа такой:
авторinternal Firebird consistency check (can't attach after bugcheck)

2. Эти же самые тесты без проблем проезжают 10 циклов без полного отключения от базы.
...
Рейтинг: 0 / 0
Странное сообщение
    #40078296
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv
можно, конечно, всё сделать и на rapspbery pi, с базой на флэшке, и бэкапить-ресторить по 2-5 суток. Только зачем?

Ну нравится FB на RPI гонять, это преступление? :)
...
Рейтинг: 0 / 0
25 сообщений из 27, страница 1 из 2
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Странное сообщение
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]