ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Разрушилась таблица pg_rewrite
20 сообщений из 45, страница 2 из 2
  2  все
Разрушилась таблица pg_rewrite
    #39678173
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
Синий Слон,

Работали мы с другими СУБД.

Ваши предъявы уже неоднократно обсуждались:
- про дублирование `pg_control`.
(1) у ORACLE другой control-файл (неожиданно, да?)
(2) за последние 20 лет не было косяков с `pg_control`, которые бы потребовали дублирования. Если внезапно повредился `pg_control`, то надо разбираться что там с ФС и что с дисками.
- системный каталог на то и системный, чтобы быть критичным для жизни базы. но в системном каталоге нету ваших бизнес данных.

Ваши метания говорят о том, что культуры бэкапирования данных у вас нет.
В сложившейся ситуации вам надо взять последний бэкап и восстановится из него, а не ругать всех вокруг за то, что неправильную базу вам дали.

Отсутствие бэкапа — это ваш главный косяк. Работа на ненадёжном железе без мониторинга — второй косяк.
...
Рейтинг: 0 / 0
24.07.2018, 12:08
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678230
Фотография Scott Tiger
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Scott Tiger
Участник
Синий СлонВы, видимо, не работали с другими СУБД.
Косяки постгреса, из-за которых наступает писец:
1) файл pg_control при его повреждении писец. в говно-оракеле он дублируется, к примеру. Тут нет.
2) системный каталог. Отдельно не бэкапиться, отдельно не востанавливается. При повреждении одной из таблиц (не всех pg_ конечно, но многих) приходит писец.


Постгрес - это вообще не оракл, у него своя специфика. После оракла Вам будет непривычно отсутствие многоблочного чтения, принципиальная завязанность на хранение данных в ФС и, например, необходимость рестарта всего экземпляра после краша любого серверного процесса. Но и там и там перед сомнительными процедурами восстановления уже порушенной БД нужно снять бэкап хотя бы того, что есть сейчас - чтобы иметь возможность откатиться.
...
Рейтинг: 0 / 0
24.07.2018, 13:08
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678321
Синий Слон
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синий Слон
Участник
Scott TigerСиний СлонВы, видимо, не работали с другими СУБД.
Косяки постгреса, из-за которых наступает писец:
1) файл pg_control при его повреждении писец. в говно-оракеле он дублируется, к примеру. Тут нет.
2) системный каталог. Отдельно не бэкапиться, отдельно не востанавливается. При повреждении одной из таблиц (не всех pg_ конечно, но многих) приходит писец.


Постгрес - это вообще не оракл, у него своя специфика.

Это точно.

Плюсы постреса перевешивают его минусы, у ора_кала - наоборот.
...
Рейтинг: 0 / 0
24.07.2018, 14:38
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678323
Синий Слон
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синий Слон
Участник
vyegorovСиний Слон,

Работали мы с другими СУБД.

Ваши предъявы уже неоднократно обсуждались:
- про дублирование `pg_control`.
(1) у ORACLE другой control-файл (неожиданно, да?)
(2) за последние 20 лет не было косяков с `pg_control`, которые бы потребовали дублирования. Если внезапно повредился `pg_control`, то надо разбираться что там с ФС и что с дисками.
- системный каталог на то и системный, чтобы быть критичным для жизни базы. но в системном каталоге нету ваших бизнес данных.


Вы только не обижайтесь, но если вы пишите такое, то с другими СУБД вы не работали, разве что с аксесом.

Почему нельзя сделать дублирование контрол файла?

Почему нельзя сделать бэкап только системного каталога?


А, и еще, почему до сих пор не сделали проверку базы на целостность??? (аналог dbcc checkdb)

Как узнать что данные в БД посыпались? (чексумма файлов при инициализации кластера + доп нагрузка io, так что в расчет не берем.)

Часто бывает что и REINDEX и VACUUM выполняются без ошибок, при этом таблица разрушена.
...
Рейтинг: 0 / 0
24.07.2018, 14:44
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678363
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
Синий СлонВы только не обижайтесь, но если вы пишите такое, то с другими СУБД вы не работали, разве что с аксесом.
Вам, видимо, видней.

Синий СлонПочему нельзя сделать дублирование контрол файла?

Почему нельзя сделать бэкап только системного каталога?
Какие проблемы, сделайте! Это СУБД с открытым кодом в конце концов.
Либо найдите разработчика, который возьмется это делать для вас.
...
Рейтинг: 0 / 0
24.07.2018, 15:32
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678394
jan2ary
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jan2ary
Участник
Синий Слонjan2aryпропущено...
Вам правильно в той теме все сказали, и правильно тему закрыли. Не надо перекладывать свой "косяк", как вы изволите выражаться, на кого-то другого.

Вы, видимо, не работали с другими СУБД.
Не не работал с другими. С Oracle работал, с mysql работал, с mssql немного работал, а с другими не - не работал.
...
Рейтинг: 0 / 0
24.07.2018, 16:14
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678400
jan2ary
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jan2ary
Участник
Синий Слон
А, и еще, почему до сих пор не сделали проверку базы на целостность??? (аналог dbcc checkdb)

Как узнать что данные в БД посыпались? (чексумма файлов при инициализации кластера + доп нагрузка io, так что в расчет не берем.)

Часто бывает что и REINDEX и VACUUM выполняются без ошибок, при этом таблица разрушена.Почему да почему. Вам кто-то это обещал, или кто-то чем-то обязан?
Вот товарищи из гугла не стали ныть, а запилили свое решение https://github.com/google/pg_page_verification.
...
Рейтинг: 0 / 0
24.07.2018, 16:22
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678406
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
jan2aryВот товарищи из гугла не стали ныть, а запилили свое решение https://github.com/google/pg_page_verification.
Эта маленькая штука валидирует checksums, если у кластера включены эти самые чексуммы, о чём заявлено в заголовке и почему-то не написано в readme. Начиная с pg11 этим же самым будет заниматься basebackup: https://commitfest.postgresql.org/17/1583/
А вот с включением чексумм для старых кластеров пока ещё сложно, из pg11 откатили патч. Может в pg12 будет.
...
Рейтинг: 0 / 0
24.07.2018, 16:33
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678461
Синий Слон
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синий Слон
Участник
jan2aryСиний СлонА, и еще, почему до сих пор не сделали проверку базы на целостность??? (аналог dbcc checkdb)

Как узнать что данные в БД посыпались? (чексумма файлов при инициализации кластера + доп нагрузка io, так что в расчет не берем.)

Часто бывает что и REINDEX и VACUUM выполняются без ошибок, при этом таблица разрушена.Почему да почему. Вам кто-то это обещал, или кто-то чем-то обязан?



То что постгрес теряет базу от любого сбоя в системном каталоге либо в файле pg_control является фактом.

А оборудование, даже самое дорогое и "надежное" таки иногда дает сбои.

На сегодняшний день имеем что сбой одного блока может убить базу, размером в сотни терабайт.

Жаль что разработчики постгреса это пока не учитывают.
...
Рейтинг: 0 / 0
24.07.2018, 17:34
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678475
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Синий СлонТо что постгрес теряет базу от любого сбоя в системном каталоге либо в файле......

Аналогично и другие базы.
Даже более, аналогично и весь компьютер: от любого сбоя в FAR или MFT операционная система вообще все файлы теряет. А про BOOT сектор или его аналоги - вообще говорить не приходится.

Данные или нужны - тогда делаются бекапы
Данные не нужны - тогда бекапы не делаются, но нечего плакать о последствиях.
...
Рейтинг: 0 / 0
24.07.2018, 17:50
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678490
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
Синий Слонjan2aryпропущено...
Почему да почему. Вам кто-то это обещал, или кто-то чем-то обязан?



То что постгрес теряет базу от любого сбоя в системном каталоге либо в файле pg_control является фактом.

А оборудование, даже самое дорогое и "надежное" таки иногда дает сбои.

На сегодняшний день имеем что сбой одного блока может убить базу, размером в сотни терабайт.

Жаль что разработчики постгреса это пока не учитывают.
обтекайте(сс)


и да, вытачивать нуб--френдли решения могут себе позволить платные субд, типа МС.
и то у оракла тут твёрдая 1 до 12-й версии включительно (армию ора-дба надо кормить, а уж она пролоббирует ора в бубущем).
"свободные" решения кормятся с поддержки. т.ч. башляйте -- авось кто починит.

зы
если разобрать файл--контейнер бд от мс , то там найдется куча вещей, поломка которых абсолютно критична.
...
Рейтинг: 0 / 0
24.07.2018, 18:12
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678492
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
Синий СлонMaxim BogukPS: сколько лет работаю не помню побитых физически таблиц...



Может у вас просто реального опыта с постгрес мало?

https://yandex.ru/search/?text=postgresql could not read block in file&lr=2

Это ОЧЕНЬ сильная предьява к модератору этого форума с 20 лет работы в качестве DBA с Postgresql. :)

У меня ни разу таких проблем не возникало, это всегда:
1)последствия сбоев на уровне ФС (особенно под виндой)
2)сбоев оборудования
3)каких то давно исправленных багов.
4)последствием эксплуатации базы с fsync=off как некоторые умники любят рекомендовать

А так - неправильные рейды - это его отсутствие или raid0 (особенно на механике... SSD обычно целиком отказывает).

Вы так и не написали в последствии/после чего эта проблема возникла и на какой OS и оборудовании. Из чего я делаю вывод что вы что то недоговариваете.

PS: защита от подобных проблем это наличие реплики (или base backup + wal archive).

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
24.07.2018, 18:12
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678495
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
Maxim Boguk,

дык фсинк в оффе и рукопашные редахтуры системного каталога наверняка в анамнезе

"ачотакова"
...
Рейтинг: 0 / 0
24.07.2018, 18:15
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678524
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Maxim BogukА так - неправильные рейды - это его отсутствие или raid0 (особенно на механике... SSD обычно целиком отказывает).

+
Включенный write cache при отстувие батарейки / UPS или очень странной логике работы батарейки.
...
Рейтинг: 0 / 0
24.07.2018, 19:09
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678543
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
Leonid KudryavtsevMaxim BogukА так - неправильные рейды - это его отсутствие или raid0 (особенно на механике... SSD обычно целиком отказывает).

+
Включенный write cache при отстувие батарейки / UPS или очень странной логике работы батарейки.

По умолчанию такого не бывает а если специально сделали :( - ну в общем да согласен с замечанием.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
24.07.2018, 19:52
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39678584
jan2ary
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jan2ary
Участник
Синий СлонЖаль что разработчики постгреса это пока не учитывают.
А что Синий СлонБэкапов нет. тоже разработчики должны учитывать?
...
Рейтинг: 0 / 0
24.07.2018, 21:48
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39680194
Синий Слон
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синий Слон
Участник
jan2aryСиний СлонЖаль что разработчики постгреса это пока не учитывают.
А что Синий СлонБэкапов нет. тоже разработчики должны учитывать?

Возможность создать бэкапирование системного каталога, да.

А кто?
...
Рейтинг: 0 / 0
27.07.2018, 13:34
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39680227
Павел Лузанов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел Лузанов
Участник
Синий СлонВозможность создать бэкапирование системного каталога, да.

Без издевки, а чем не устраивает pg_dump -n pg_catalog ?
...
Рейтинг: 0 / 0
27.07.2018, 14:28
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39680265
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
Павел ЛузановСиний СлонВозможность создать бэкапирование системного каталога, да.

Без издевки, а чем не устраивает pg_dump -n pg_catalog ?

И что дальше с этим делать после того как какой то системный каталог порушится :)?
Снять то можно... а вот всунуть назад то :).
Хотя наверное принципе реально какую то конкретную таблицу залить если это конечно не pg_attribute Или pg_class Или еще десяток совсем критичных.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
27.07.2018, 15:47
| Ответить | Цитировать | Написать  
Разрушилась таблица pg_rewrite
    #39680347
Павел Лузанов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел Лузанов
Участник
Maxim Boguk,

Согласен, восстановиться можно будет только шаманством.
Лучше делать полноценные бэкапы.
...
Рейтинг: 0 / 0
27.07.2018, 17:16
| Ответить | Цитировать | Написать  
20 сообщений из 45, страница 2 из 2
  2  все
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Разрушилась таблица pg_rewrite
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=53&msg=39678394&tid=1995651]:
 0ms
get settings:
 11ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 324ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 60ms
get tp. blocked users:
 1ms
others: 14ms
total:  445ms
созд. / загр.: 445ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]