Есть такая проблема у нас. Долгое время писался ETL, завязанный на rowversion. А именно, если надо инкрементально выгрузить данные, то брался последний уже загруженный rowversion и по нему выгружались записи имеющие больший по величине rowversion.

В какой-то момент обнаружилась проблема: есть пропуски в записях. И связано это, судя по всему, с тем, что данные выгружаются с реплики, а нее из фактической первой БД. Скажу сразу, что исходная БД очень высок нагружена и нами не контролируется. Дали реплику нам и сказали выгружать с неё.

Так вот rowversion-ы приходят на реплику не всегда в той последовательности, в какой они возникли в исходной. Как я понимаю, это связано с транзакциями. Одна транзакция создала запись и но ещё не закоммитила её, а другая транзакция создала запись позже, но уже закоммитила ей.

Теперь вопрос. Мы взяли в таблицы X последний @MAX_RV = MAX(rowversion). Существует ли способ убедиться в том, что все записи с rowversion <= @MAX_RV поступили на реплику?

Или существует ли способ взять rowversion, до которого все записи уже точно поступили на реплику?

Konst_Oneа с чего вы решили , что rowversion вам поможет пропуски избежать?

https://msdn.microsoft.com/ru-ru/library/ms182776(v=sql.120).aspx

Так решили те, кто начинал писать ETL. В том, что теперь с этим можно сделать?

Вот эта штука поможет?

https://msdn.microsoft.com/en-us/library/bb839514.aspx

-=Гость=-a_voronin,

У вас на реплику приходит rowversion с Паблишера - или локальный ?

если с Паблишера - рассмотрите вариант локального rowversion (табличка рассширется на одно поле)

У вас транзакционная репликация ?

Это AwaysOn SQL 2012 -- честно говоря, в подробности того как это настроена не вникал, потому что источник это не моя система.

Старая ссылка не работает, работает вот эта.

https://blogs.msdn.microsoft.com/ialonso/2015/05/08/how-is-dbts-expected-to-behave-on-an-always-on-availability-group-secondary-replica-a-database-mirroring-mirror-or-a-database-which-is-being-created-out-of-a-restored-backup-and-is-in-standby-or-i/

Хочу уточнить -- если делать инкрементальную выгрузку по rowversion с реплики и не выходить за min_active_rowversion(), то есть грузить только то, что < min_active_rowversion(), то есть ли гарантия, что записи не будут пропущены.

да, главеное что бы источник не был репликой :)

А вот это проблема -- источник реплика и вопрос как раз про min_active_rowversion() на реплике. Но насколько мой опыт говорит, записи не пропускаются.

ALWAYSON

Я вернулся к этой теме. Есть несколько мест, где говорят, что "нет не герантирует", но кто проводил тесты? И на практике мы читали с реплике и пропусков как ни странно не было.

Каких?