|
logical log size
|
|||
---|---|---|---|
#18+
Есть Informix 9.40.UC6 под Linux. Достаточно активно идет запись новых данных, при этом быстро запроняются logical logs - около 3-4х минут на один лог. Сейчас размер лога - 2048, 50 штук. CKPTINTVL 300, при этом продолжительность чекпоинтов - 0 секунд (иногда 1). Есть ли какие-то рекомендации для размера логов? Мне кажется, что 4минуты/лог - это слишком быстро. Повлияет ли увеличение размера на что-то еще, кроме увеличения времени бекапа лога? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2008, 00:46 |
|
logical log size
|
|||
---|---|---|---|
#18+
увеличится размер транзакции ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2008, 11:45 |
|
logical log size
|
|||
---|---|---|---|
#18+
cprувеличится размер транзакции ??? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2008, 13:05 |
|
logical log size
|
|||
---|---|---|---|
#18+
Sergey L.Есть Informix 9.40.UC6 под Linux. Достаточно активно идет запись новых данных, при этом быстро запроняются logical logs - около 3-4х минут на один лог. Сейчас размер лога - 2048, 50 штук. CKPTINTVL 300, при этом продолжительность чекпоинтов - 0 секунд (иногда 1). Есть ли какие-то рекомендации для размера логов? Мне кажется, что 4минуты/лог - это слишком быстро. Повлияет ли увеличение размера на что-то еще, кроме увеличения времени бекапа лога? если сервер умрет и придется восстанавливаться из бэкапа, то вы потеряете транзакции, которые находятся в незабэкапленных логах ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2008, 13:43 |
|
logical log size
|
|||
---|---|---|---|
#18+
ТанSergey L.Есть Informix 9.40.UC6 под Linux. Достаточно активно идет запись новых данных, при этом быстро запроняются logical logs - около 3-4х минут на один лог. Сейчас размер лога - 2048, 50 штук. CKPTINTVL 300, при этом продолжительность чекпоинтов - 0 секунд (иногда 1). Есть ли какие-то рекомендации для размера логов? Мне кажется, что 4минуты/лог - это слишком быстро. Повлияет ли увеличение размера на что-то еще, кроме увеличения времени бекапа лога? если сервер умрет и придется восстанавливаться из бэкапа, то вы потеряете транзакции, которые находятся в незабэкапленных логах Не всегда. Только в случае потери dbspace, на котором лежалт активный (последний) лог. А при такой скорости заполнения я бы все таки рекомендовал увеличить размер лога хотя бы до 10М. Посмотрите еще размер буфера лог.журнала - если у вас есть не буферизованная запись транзакций. то в журнал будут сбрасываться полностью буфера при каждой транзакции, а значит множество пустых страниц, увеличивая скорость заполнения на порядок. Т.е. размер буферов логжурнала можно часто уменьшить до законных 32 (а то иногда стоит 128 - 256, а спросишь зачем - не знают...) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2008, 21:24 |
|
logical log size
|
|||
---|---|---|---|
#18+
Судя по документации : rtfmWhen the database server flushes the buffer, only the used pages are written to disk. Used pages include pages that are only partially full, however, so some space is wasted. Но можно и потестировать, т.к. у меня LOGBUFF 256, и зачем - я не знаю или не помню.. :) Спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.11.2008, 10:34 |
|
logical log size
|
|||
---|---|---|---|
#18+
vasilis ... размер буфера лог.журнала - если у вас есть не буферизованная запись транзакций. то в журнал будут сбрасываться полностью буфера при каждой транзакции... ... а где можно поподробнее прочесть об этом? Просто звучит несколько парадоксально: "при _небуферизированной_ записи ... будут сбрасываться _буфера_". Логично предположить, что если запись небуферизированная, то по идее и буфера вообще д.б. не причем... :) ... |
|||
:
Нравится:
Не нравится:
|
|||
18.11.2008, 10:57 |
|
logical log size
|
|||
---|---|---|---|
#18+
svat2... а где можно поподробнее прочесть об этом? Просто звучит несколько парадоксально: "при _небуферизированной_ записи ... будут сбрасываться _буфера_". Логично предположить, что если запись небуферизированная, то по идее и буфера вообще д.б. не причем... :) все правильно Василий сказал. есть два режима buffered log и unbuffered (ansi) В первом режиме изменения транзакции пишутся в буфер и сброс идет в случае заполнения буфера, т.е. в буфере лежит "несколько транзакций". В этом режиме, можно потерять уже закомиченные транзакции. Во втором режиме изменения транзакции тоже пишутся в буфер, но сброс буфера идет по комиту, если транзакция короткая (100байт), сброшен будет весь буффер (256кб), почти пустой. Но зато, закоммичнные данные потерять невозможно. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.11.2008, 12:33 |
|
logical log size
|
|||
---|---|---|---|
#18+
Журавлев Денис, ... спасибо, все понял. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.11.2008, 14:17 |
|
logical log size
|
|||
---|---|---|---|
#18+
Sergey L.Судя по документации : rtfmWhen the database server flushes the buffer, only the used pages are written to disk. Used pages include pages that are only partially full, however, so some space is wasted. Думаю, что документация не врет, а я многое уже забыл :) Возможно, что буфер сбрасывался целиком в каких-то старых версиях Informix. Но даже если принять то обстоятельство, что страницы сбрасываются полупустыми (или заполненными вообще на 10-20%), то сразу становится ясно, почему журнал заполняется значительно быстрее при хотя бы одной активной unbuffered БД на сервере. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.11.2008, 15:03 |
|
logical log size
|
|||
---|---|---|---|
#18+
Н-да. Вопрос относительно размера файла лог. журнала достаточно спорный. Например я приверженец того, чтобы файл заполнялся где-то раз в 10 сек. +- 5 сек Т.е. лишний раз перестраховываюсь. Хотя вот 11.50 уже на мой размер - 2 метра, начинает ругаться, что типа м.б. мало для к.т. По поводу доки - она таки не врет. если б она врала, то мои файлы по 2 метра по в унбуферед БД заполнялись бы как очередь из калаша. В пользу большого размера файла(когда он заполняется минутами) я даже не найду аргументов. Разве что на системах не особо требовательных к отказоустойчивости, либо само дисковое устройство зеркалируется аппаратно между основным и резервным датацентром. В оракле да, там можно писать сразу на несколько устройств, у нас же каждый файл только в одном экземпляре. И если важна отказоустойчивость, то смысла в больших файлах (просто чтоб большой) я не вижу. Нужно подбирать размер файлов из требоний по возможной потере данных. Конечно все хотят не потерять ни одной транзакции, но это недостежимо и никто не гарантирует что та же репликация будет работать 100% без збоев. Хотя в случае репликации ХДР, теоретически потери д.б. = 0. Но в жизни часто бывает, что если задница, то полная. Поэтому лучше лишний раз страховаться. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.11.2008, 01:57 |
|
logical log size
|
|||
---|---|---|---|
#18+
zaietsН-да. Вопрос относительно размера файла лог. журнала достаточно спорный. Например я приверженец того, чтобы файл заполнялся где-то раз в 10 сек. +- 5 сек Т.е. лишний раз перестраховываюсь. Хотя вот 11.50 уже на мой размер - 2 метра, начинает ругаться, что типа м.б. мало для к.т. В пользу большого размера файла(когда он заполняется минутами) я даже не найду аргументов. Разве что на системах не особо требовательных к отказоустойчивости, либо само дисковое устройство зеркалируется аппаратно между основным и резервным датацентром. В оракле да, там можно писать сразу на несколько устройств, у нас же каждый файл только в одном экземпляре. И если важна отказоустойчивость, то смысла в больших файлах (просто чтоб большой) я не вижу. Нужно подбирать размер файлов из требоний по возможной потере данных. Конечно все хотят не потерять ни одной транзакции, но это недостежимо и никто не гарантирует что та же репликация будет работать 100% без збоев. Хотя в случае репликации ХДР, теоретически потери д.б. = 0. Но в жизни часто бывает, что если задница, то полная. Поэтому лучше лишний раз страховаться. Перестраховываться, конечно, можно, но не всегда целесообразно (например, иногда на голову падают кирпичи. Перестраховаться - это одеть каску. Если ходить по улице - будет смешно (вероятность все же маленькая), а если ходить по стройке - очень даже полезно и смешно будет ходить без каски). Ты все правильно написал и я даже спорить не буду. просто для полноты картины приведу все же некоторые аргументы в пользу бОльших файлов (не для тебя, а для остальных читателей :) - один из них уже упомянул - пространство с логами зазеркалировано или лежит на RAID - переключение между журналами, насколько помню, относительно медленная процедура, поэтому тратить это время каждые 10 секунд в тяжело нагруженной системе, не всегда полезно - время на старт-останов процесса архивирования маленького журнала также будет уже сопоставимо с временем заполнения - некоторые советы из статьи "Неблокирующие контрольные точки в Informix Dynamic Server" (11.05.2007) - С небольшим числом больших файлов журнала работать проще, чем с большим числом малых файлов журнала... - Для приложений, генерирующих небольшой объем данных журнала , достаточно десяти файлов журнала объемом по 10 МБ каждый. Для приложений, генерирующих большой объем данных журнала, рекомендуется иметь 10 файлов журнала объемом по 100 МБ каждый. - помню тут рассматривали очень хитрый баг даже в новых версиях, который проявлялся при переключении логов и при определенном стечении обстоятельств не давал нормально восстановиться из архива (с уменьшением числа переключенией вероятность бага ниже). - для многих систем требуется довольно большой общий размер лога (2-4 Гб) и делать тысячу файлов по 2М в данном случае ... - во многих пром.системах (но без особых требований к надежности :) логи даже не архивируются. В данном случае тоже нет смысла делать множество маленьких файлов ... |
|||
:
Нравится:
Не нравится:
|
|||
19.11.2008, 17:31 |
|
logical log size
|
|||
---|---|---|---|
#18+
Василий - Браво !!! Сразу чувствуется рука - профессионала ... :) В данном случае, Я понимаю Игоря ... дело в том, что ему приходится работать с файлами конфигурации INFORMIX, у которых значения параметров, выбирались исходя из предистории развития прикладной системы, обхода различных багов INFORMIX и желания упростить процедуру развертывания базы данных. Разработчики системы не всегда хотят оптимизировать физическую схему базы и т.д. Нормальных рекомендаций по конфигурации сервера INFROMIX для баз начального уровня, среднего и очень большого размера либо нет или же они есть но за доплнительные деньги ... вот и приходится группе сопровождения догадываться и убрать на вооружение отработанные шаблоны конфигурации в результате экспериментальных тестов. Хуже всего то, что эти шаблоны берутся за основу как догма без глубокого понимания. Зачем оптимизировать прохождение контрольной точки ... создадим 1000 журналов по 500 Kб - якобы это ускоряет восстановление на вторичном сервере HDR и т.д. К тому же приведут массу аргументов - мы проверяли и у нас работает ... :) С одной стороны причина понятна, а с другой что требовать от администратора - он же не проектировал схему базы, режимы работы и SQL-запросы прикладной системы ... Правда, на мой взгляд, есть только одно требование - быть терпимым, любознательным и трудолюбивым ... рзультат не заставит долго ждать ... С уважением, Вадим. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.11.2008, 22:36 |
|
logical log size
|
|||
---|---|---|---|
#18+
Да нет. Выбирались абсолютно не через обхождения багов. Скорее по принципу время - деньги. На моей памяти у клиентов одной компании была куча проблем с восстановлением данных после краха диской системы. И упиралось все в 1 единственный назаархивированный лог. Конечно, при любом размере файла в таком случае что-то теряется, но потом меньше геморроя с восстановлением. Возможно так говорю, потому как работал преимущественно с системами где за сутки не более 8Г логов набегало ну и потеря транзакций была чревата большим геморроем по восстановлению данных. Человек спрашивал по поводу размера лога + Василий говорит что затратная операция, м.б. Вадим нам поможет как-то измерить влияние переключения между журналами на производительность системы ? Я б был бы более очень признателен. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.11.2008, 23:14 |
|
logical log size
|
|||
---|---|---|---|
#18+
Человек спрашивал по поводу размера лога + Василий говорит что затратная операция, м.б. Вадим нам поможет как-то измерить влияние переключения между журналами на производительность системы ? Re: logical log size Игорь, Я бы рад помочь ... да только мое время стоит денег .... утилизация и все такое ... Могу обратить внимание на следующее моменты: ------------------------------------------------- 1. Василий прав. 2. Общий объем логов и их количество зависит от многих факторов: - режим работы системы - OLTP, OLCP, DSS. - транзакционная нагрузка - сколько пользователей работой с системой их активность. - процентное соотношений SQL операций - простых, сложных, очень сложных. - сколько данных затрагивает транзакция для простых, сложных и очень сложных SQL-запросов. - пропускная способность дисковой подсистемы I/O, число физических процессоров CPU. - доступная память для буфферов сервера INFORMIX. - длительность прохождения контрольной точки. - как сбалансированы операции I/O для потоков чистильчиков между контрольными точками. - использование репликации. - и т.д. С уважением, Вадим. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2008, 21:26 |
|
|
start [/forum/topic.php?fid=44&msg=35666774&tid=1607951]: |
0ms |
get settings: |
8ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
58ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
59ms |
get tp. blocked users: |
2ms |
others: | 13ms |
total: | 174ms |
0 / 0 |