ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Давайте обсудим проверку контрольных сум для файлов.
13 сообщений из 38, страница 2 из 2
  2  все
Давайте обсудим проверку контрольных сум для файлов.
    #39710023
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
Синий Слон,

исказите данные конкретного тапла, а не сломайте страницу.
Код: plaintext
1.
2.
3.
4.
postgres=# select * from foo;
 i |  v  
---+-----
 1 | foo
sed 's/foo/bar/g' -i 10/r/base/12941/16384
Есть checksum - есть ошибка. Нет checksum - вы прочитаете bar там где должно было быть foo и не заметите этого
...
Рейтинг: 0 / 0
28.09.2018, 17:17
| Ответить | Цитировать | Написать  
Давайте обсудим проверку контрольных сум для файлов.
    #39710031
Синий Слон
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синий Слон
Участник
MelkijСиний Слон,

исказите данные конкретного тапла, а не сломайте страницу.
Код: plaintext
1.
2.
3.
4.
postgres=# select * from foo;
 i |  v  
---+-----
 1 | foo
sed 's/foo/bar/g' -i 10/r/base/12941/16384
Есть checksum - есть ошибка. Нет checksum - вы прочитаете bar там где должно было быть foo и не заметите этого


я сейчас еще поэкспериментирую, но пока при правке у меня ошибка, даже без опции --data-checksums:
...
Рейтинг: 0 / 0
28.09.2018, 17:27
| Ответить | Цитировать | Написать  
Давайте обсудим проверку контрольных сум для файлов.
    #39710033
Синий Слон
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синий Слон
Участник
Melkij,

два раза перепроверил.


второй раз менял xxx на zxx.



Даже без включения --data-checksums сразу пишет ошибку в блоке. Версия 9.4
...
Рейтинг: 0 / 0
28.09.2018, 17:34
| Ответить | Цитировать | Написать  
Давайте обсудим проверку контрольных сум для файлов.
    #39710037
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
Синий Слон,

я могу повторить: исказите данные, а не сломайте страницу целиком.
Пытаться в текстовом редакторе что-то делать с бинарными данными и удивляться результату? Не понимаю.
...
Рейтинг: 0 / 0
28.09.2018, 17:38
| Ответить | Цитировать | Написать  
Давайте обсудим проверку контрольных сум для файлов.
    #39710046
Синий Слон
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синий Слон
Участник
MelkijСиний Слон,

я могу повторить: исказите данные, а не сломайте страницу целиком.
Пытаться в текстовом редакторе что-то делать с бинарными данными и удивляться результату? Не понимаю.


Спасибо, сейчас попробую.
...
Рейтинг: 0 / 0
28.09.2018, 17:43
| Ответить | Цитировать | Написать  
Давайте обсудим проверку контрольных сум для файлов.
    #39710069
Синий Слон
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синий Слон
Участник
MelkijСиний Слон,

я могу повторить: исказите данные, а не сломайте страницу целиком.
Пытаться в текстовом редакторе что-то делать с бинарными данными и удивляться результату? Не понимаю.


Вы совершенно правы!


Исправил aaa на bbb.

Слева с включенной опцией, справа без опции.
...
Рейтинг: 0 / 0
28.09.2018, 18:11
| Ответить | Цитировать | Написать  
Давайте обсудим проверку контрольных сум для файлов.
    #39710071
Синий Слон
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синий Слон
Участник
Melkij,

Большое спасибо!


Я так понимаю что данные могут "сломаться" из-за железа, например, при этом блок останется целый, а внутри будет все что угодно, в том числе и космические цифры и спецсимволы...
...
Рейтинг: 0 / 0
28.09.2018, 18:13
| Ответить | Цитировать | Написать  
Давайте обсудим проверку контрольных сум для файлов.
    #39710082
Синий Слон
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синий Слон
Участник
Остался только вопрос на счет нагрузки, дополнительно создаваемой опцией --data-checksums


Получается что при каждом чекпойнте будет расчитываться чексум для каждого измененного файла.
...
Рейтинг: 0 / 0
28.09.2018, 18:26
| Ответить | Цитировать | Написать  
Давайте обсудим проверку контрольных сум для файлов.
    #39710146
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
Синий СлонОстался только вопрос на счет нагрузки, дополнительно создаваемой опцией --data-checksums


Получается что при каждом чекпойнте будет расчитываться чексум для каждого измененного файла.


При каждой записи 8kb изменного блока (а не всего файла на гигабайт). А блок всегда целиком пишется.
Overhead там копеечный для современных процессоров.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
28.09.2018, 22:04
| Ответить | Цитировать | Написать  
Давайте обсудим проверку контрольных сум для файлов.
    #39710290
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Синий СлонА вы как думаете?
Я думаю, что его разработчики не могут быть настолько глупы чтобы использовать что-то другое. Но настораживает упоминание "пары байт в заголовке страницы" при том, что CRC32 занимает четыре байта и гораздо удобнее ложится в конец страницы.
...
Рейтинг: 0 / 0
29.09.2018, 14:08
| Ответить | Цитировать | Написать  
Давайте обсудим проверку контрольных сум для файлов.
    #39710424
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
Dimitry Sibiryakovнастораживает упоминание "пары байт в заголовке страницы" при том, что CRC32 занимает четыре байта и гораздо удобнее ложится в конец страницы.
Но наковыряли только два байта . И именно в заголовке .

Используется производный от FNV-1a алгоритм. Описание особенностей реализации можно почитать вот здесь в комментарии файла . Не могу никак прокомментировать выбор, поищите топик обсуждений вот к этому коммиту . Раньше crc32 был, как видно по коду.

Синий СлонПолучается что при каждом чекпойнте будет расчитываться чексум для каждого измененного файла.
Если я правильно код читаю - при попадании в shared_buffers и сбросе грязных страниц из shared_buffers.
Для каждой страницы в отдельности (8кб обычно), не файла - это точно.
...
Рейтинг: 0 / 0
30.09.2018, 00:56
| Ответить | Цитировать | Написать  
Давайте обсудим проверку контрольных сум для файлов.
    #39710798
Синий Слон
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синий Слон
Участник
Большое спасибо!!!
...
Рейтинг: 0 / 0
01.10.2018, 10:48
| Ответить | Цитировать | Написать  
Давайте обсудим проверку контрольных сум для файлов.
    #39716386
Sergei.Agalakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sergei.Agalakov
Участник
Синий Слон,
https://www.pgcon.org/2013/schedule/attachments/275_PGCon2013-Corruption.pdf
...
Рейтинг: 0 / 0
11.10.2018, 21:47
| Ответить | Цитировать | Написать  
13 сообщений из 38, страница 2 из 2
  2  все
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Давайте обсудим проверку контрольных сум для файлов.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/moderation_log.php?user_name=Backs]:
 0ms
get settings:
 7ms
get forum list:
 11ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 56ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 42ms
get tp. blocked users:
 1ms
others: 739ms
total:  894ms
созд. / загр.: 894ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]