|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
Народ, какие есть в принципе концептуальные решения для построения консистентных отчетов. Идеальано получать отчеты по snap-shot'у данных, однако при условии активного изменения данных пользователями, генерация отчета происходит по изменяющемуся во времени extent'у. Соответственно вне зависимости от скорости работы генератора отчета существует вероятность изменения данных подлежащих включению в отчет, в итоге генерация отчета по состоянию "на сегодня" дает неверный результат при любом раскладе. Варианты решений которые видятся навскидку 1) Выполнять отчеты в ночное время - не подходит т.к. отчеты могут выполняться дольше ночного времени, к тому же ночью происходят другие регламентные задачи включая full backup. К тому же теоретически ночью пользователи могут работать. 2) Лочить данные на запись и выполнять очередь отчетов - также неприемлем, ввиду длительного подвешивания системы на локе 3) Делать что-то похожее на snap-shot путем организации зеркала - тоже малопрактичен, т.к. для каждой операции построения отчета необходимо отключать апдейты с источника на весь период выполнения очереди отчетов. Соответственно частота обновления данных определяется временем требуемым на выполнение всей очереди отчетов. К тому же требует доп. сервера для зеркала 4) Выполнять отчеты по состоянию на "вчера" - для этого требуется организация историчности данных на уровне приложения, что не всегда возможно сделать если система не проектируется с нуля. Кроме того, в прикладной системе может быть не запрещен ввод данных задними числами, и тогда попадаем опять под неконсистентность отчета. Вопрос как вы выходите из ситуации в своих системах? Есть ли решения на системном уровне СУБД? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 17:49 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
Rus000Вопрос как вы выходите из ситуации в своих системах? Есть ли решения на системном уровне СУБД? Уровень изоляции Repeatable Read (snapshot на MS SQL, Read Only на Oracle, concurrency на IB/FB) гарантирует, что любой запрос в пределах транзакции видит данные такими, какими они были на момент старта транзакции. У версионников нет проблем с блокировками и изменением данных другими пользователями. Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 18:26 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, хм ... возможно я ошибаюсь но с ораклом тоже не все красиво насколько я понял - в рамках одно транзакции нужные версии данных берутся из сегментов отката, однако размер их имеет ограничение и эти сегменты при активных апдейтах могут быть перезаписаны новыми данными. Можете пояснить каким образом обеспечить непротиворечивое чтения для ВСЕГО ОТЧЕТА при условии что данные выбираются более чем одной транзакцией чтения. Вот здесь приведен пример где в двух сессия коммитят данные на уровне READ_COMMITED и данные закоммиченные второй сессией попадают в первую. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 18:48 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovУровень изоляции Repeatable Read (snapshot на MS SQL, Read Only на Oracle, concurrency на IB/FB) гарантирует, что любой запрос в пределах транзакции видит данные такими, какими они были на момент старта транзакции. как долго хранятся версии данных? наверняка есть ограничения физической реализации ... например если отчет идет 10+ часов, при активных апдейтах сотен пользователей может ли субд действительно гарантировать извлечение нужной версии данных на 10 часов назад? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 19:15 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
Rus000хм ... возможно я ошибаюсь но с ораклом тоже не все красиво насколько я понял - в рамках одно транзакции нужные версии данных берутся из сегментов отката, однако размер их имеет ограничение и эти сегменты при активных апдейтах могут быть перезаписаны новыми данными. это могло быть проблемой 10 лет назад, сегодня во времена терабайтных винтов места под версии может нехватить только по недосмотру DBA. поставь ретеншен тайм = неделя и спи спокойно. Rus000Можете пояснить каким образом обеспечить непротиворечивое чтения для ВСЕГО ОТЧЕТА при условии что данные выбираются более чем одной транзакцией чтения. Вот здесь приведен пример где в двух сессия коммитят данные на уровне READ_COMMITED и данные закоммиченные второй сессией попадают в первую. на RC так и должно быть, на RC консистентность обеспечивается только на один стайтмент. если тебе нужно на момент старта транзакции использую serializable. read only кажется тоже на всю транзакцию распространялось, но точно не помню. в общем у версионных субд с читающими транзакциями вообще никаких проблем. у блокировочника обычно писателей и читателей разводят через финт "закрытый период" и табу на update, ночью закрывают день, вычисляют агрегаты. когда в час пик клиент запускает отчет вычитываются агригаты и к ним прибавляются транзакции прошедшие задень. допустим для банковского счета берут баланс с которым он был закрыт ночью + все платежи прошедшие за этот день. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 19:16 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
Rus000как долго хранятся версии данных? наверняка есть ограничения физической реализации ... например если отчет идет 10+ часов, при активных апдейтах сотен пользователей может ли субд действительно гарантировать извлечение нужной версии данных на 10 часов назад? в оракле так и выставляется UNDO_RETENTION в минутах. поставь 24 часа с запасом, ну будет у тебя UNDO в пару десятков гиг, время бэкапа увеличиться на 5 минут ... ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 19:20 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
Rus000Можете пояснить каким образом обеспечить непротиворечивое чтения для ВСЕГО ОТЧЕТА при условии что данные выбираются более чем одной транзакцией чтения. Путём отрывания рук тому идиоту, который для одного отчёта выбирает данные в нескольких транзакциях. Повторяю ещё раз медленно: для Repeatable Read ВСЕ данные консистентны на ВСЁ время транзакции. Одной транзакции. И да, если отчёт составляется 10 часов, все эти 10 часов данная транзакция будет активна. Если Ваш SQL сервер имеет с этим проблемы - время подумать о миграции. Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 19:33 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
Rus000Можете пояснить каким образом обеспечить непротиворечивое чтения для ВСЕГО ОТЧЕТА при условии что данные выбираются более чем одной транзакцией чтения. Кстати такой же вопрос, есть ли возможность в MS SQL/Oracle/Firebird/PostgreSQL "обеспечить непротиворечивое чтения для ВСЕГО ОТЧЕТА при условии что данные выбираются более чем одной транзакцией чтения."? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 19:37 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, понятно что и кому отрывать, но чисто теоретически такая возможность есть? :) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 19:39 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
Для извращенцев есть flashback queries. Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 19:54 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
КонсистентностьКстати такой же вопрос, есть ли возможность в MS SQL/Oracle/Firebird/PostgreSQL "обеспечить непротиворечивое чтения для ВСЕГО ОТЧЕТА при условии что данные выбираются более чем одной транзакцией чтения."? oracle docsRead-Only Transactions By default, the consistency model for Oracle guarantees statement-level read consistency, but does not guarantee transaction-level read consistency (repeatable reads). If you want transaction-level read consistency, and if your transaction does not require updates, then you can specify a read-only transaction. After indicating that your transaction is read-only, you can execute as many queries as you like against any database table, knowing that the results of each query in the read-only transaction are consistent with respect to a single point in time. http://download.oracle.com/docs/cd/F49540_01/DOC/server.815/a68003/01_08pro.htm#2194 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 19:59 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
для оракла все более-менее понятно, спасибо Yo! и Dmitry S. приходится ли делать какие-то ухищрения для блокировочника, при условии что "закрыть период" не удастся ночью - ибо 24x7 или другие системные задачи отжирают ночное время? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 20:07 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
По-моему, блокировочник проще выкинуть, чем чинить. Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 20:11 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
Rus000приходится ли делать какие-то ухищрения для блокировочника, при условии что "закрыть период" не удастся ночью - ибо 24x7 или другие системные задачи отжирают ночное время? тады только одно - выносить весь репортинг на отдельный сервер и туда или реплицировать или log shiping с oltp. но там тьма нюансов в зависимости от вендора и характера вашего oltp. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 20:12 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
Редкий случай, когда Дмитрий пишет так много и так правильно :) Для блокировочника понятие констистентности отчёта настолько виртуально, что большинство известных мне разработчиков не очень понимали, что это такое :) Имхо нормальных решений кроме "блокировки периода" для него таки нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2011, 20:21 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
Yo.!Rus000приходится ли делать какие-то ухищрения для блокировочника, при условии что "закрыть период" не удастся ночью - ибо 24x7 или другие системные задачи отжирают ночное время? тады только одно - выносить весь репортинг на отдельный сервер и туда или реплицировать или log shiping с oltp. но там тьма нюансов в зависимости от вендора и характера вашего oltp. И это будет выглядеть просто, когда вы сможете перед запуском отчёта без проблем приостановить реплику-шиппинг, а после окончания формирования отчёта - без проблем продолжить... А про закрытие периода, Рус000, Вы похоже, не поняли... Периоды можно закрывать "по частям": "постоянное закрытие" - например, на 22.04.2011 00:00:00.000 - закрыт банковский день и мы не ожидаем что кто-то попытается "писать в закрытый период", и "временное закрытие" - например, на текущий момент 26.04.2011 04:15:00.000 (на момент формирования отчёта минус небольшая задержка). Отчёт выставляет "временное закрытие" как можно позже - перед непосредственным чтением данных за период с 22.04.2011 00:00 по 26.04.2011 04:15:00.000. Причём сессиям в режиме 24х7 никто не запрещает вносить "документы" с "метками" времени ПОСЛЕ 26.04.2011 04:15:00.000. При этом, поскольку чтение данных за период 22.04.2011 00:00:00.000 - 26.04.2011 04:15:00.000 не очень большое - блокировка не должна оказаться длительной и критичной. Ожидать будут вынуждены только те сесии, которые попытаются во время работы отчёта писать "документы" с "меткой" в этом временном промежутке. Естественно, после окончания отчёта, отчёт снимает "временное закрытие". Вот такой вот геморрой для архитектора системы. Поэтому обычно для существующей системы на блокировочнике при требовании "нужен консистентный отчёт" разработчики будут тщательно выпытывать у заказчика: "в чём именно консистентный, насколько большой объём период может быть запрошен" и т.д. и т.п. ... ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2011, 05:31 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
АнатоЛойИ это будет выглядеть просто, когда вы сможете перед запуском отчёта без проблем приостановить реплику-шиппинг, а после окончания формирования отчёта - без проблем продолжить... это понятно, но согласитесь это дополнительный гемор либо для админа, либо для разработчика системы чтобы учесть приостановку/возобновление шипинга. АнатоЛойВот такой вот геморрой для архитектора системы. Поэтому обычно для существующей системы на блокировочнике при требовании "нужен консистентный отчёт" разработчики будут тщательно выпытывать у заказчика: "в чём именно консистентный, насколько большой объём период может быть запрошен" и т.д. и т.п. ... именно то что это нужно предусматривать в стадии проектирования системы и смущает. Получается в унаследованных системах на блокировочниках архитектура которых не предусматривала исторических данных можно строить отчеты только на снап-шотах ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2011, 06:17 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
softwarerДля блокировочника понятие констистентности отчёта настолько виртуально, что большинство известных мне разработчиков не очень понимали, что это такое :) Имхо нормальных решений кроме "блокировки периода" для него таки нет. а в наше время еще остались таки блокировочники? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2011, 10:59 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
On 25.04.2011 20:33, Dimitry Sibiryakov wrote: > Путём отрывания рук тому идиоту, который для одного отчёта выбирает данные в > нескольких > транзакциях. Повторяю ещё раз медленно: для Repeatable Read ВСЕ данные > консистентны на ВСЁ > время транзакции. Одной транзакции. А как же фантомы ? Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2011, 11:46 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
MasterZivА как же фантомы ? это у стандартного RepeatableRead допускаются фантомы. а у Snapshot никаких фантомов нет в принципе, и быть не может. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2011, 11:58 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
On 26.04.2011 12:58, kdv wrote: > А как же фантомы ? > это у стандартного RepeatableRead допускаются фантомы. а у Snapshot никаких > фантомов нет в принципе, и быть не может. Так вы уж определитесь. RepeatableRead и Snapshot -- не одно и то же. Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2011, 12:13 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
MasterZivТак вы уж определитесь. RepeatableRead и Snapshot -- не одно и то же. у "нас", то есть в IB/FB, есть snapshot, RepeatableRead нет. Собственно, "настоящий" RepeatableRead мало где есть, наверное только в DB2? Кому он нафиг нужен, с фантомами-то? Да и тут про это давно написано http://emanual.ru/download/www.eManual.ru_538.html ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2011, 13:10 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
это я к тому, что упоминая RepeatableRead уже никто не вспоминает ни про какие фантомы, и обычно подразумевает, что RepeatableRead=Snapshot. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2011, 13:15 |
|
О консистентности отчетов на OLTP-сервере
|
|||
---|---|---|---|
#18+
ScareCrowа в наше время еще остались таки блокировочники? Штуки три я назову сходу. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2011, 13:21 |
|
|
start [/forum/topic.php?fid=35&msg=37232659&tid=1552696]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
34ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
50ms |
get tp. blocked users: |
1ms |
others: | 246ms |
total: | 371ms |
0 / 0 |