powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Выгрузка данных
10 сообщений из 10, страница 1 из 1
Выгрузка данных
    #32794767
Alex_y
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Привет всем.

Помогите пожалуйста. Есть 3 таблицы, Клиент, ОКОНХ. и промежуточная для устранения связи многое ко многим. В принципе это нормальная ситуация.
А теперь вопрос, как в этом случае правильно отследить изменения произошедшие в таблицах (Клиент -ОКОНХ), т.е понять что я выгружал уже и что нет. Особенно интересна ситуация, когда я удаляю связку в добавленной мной таблице.
...
Рейтинг: 0 / 0
Выгрузка данных
    #32794800
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В идеале, заставить приложение, которое выполняет эти изменения, журналировать их.
Можно повесить триггеры, которые будут журналировать операции вставки, изменения и удаления.
Если и это невозможно, можно ковыряться в логах.
Если это не подходит, можно хранить копию источника перед последней загрузкой, и в момент очередной загрузки сравнивать источник с тем, что было до неё.
Можно также сравнивать с таблицами хранилища для выявления изменений.

Сами выбирайте вариант, который Вам подходит.

С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
Выгрузка данных
    #32794817
Alex_y
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо за ответ.

Что вы подразумеваете под "хранить копию источника перед последней загрузкой"
У меня на стороне источника есть таблица содержая контрольную сумму.
То есть здесь я могу определить что я не выгружал, но как в хранилище определить . что такая то запись была удалена. Если я не использую триггера.
...
Рейтинг: 0 / 0
Выгрузка данных
    #32794827
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Храните в хранилище (точнее в области staging) копию источника в состоянии, в котором он был в момент предыдущей загрузки. В момент текущей загрузки сравниваете с тем, что есть сейчас.

Думаю, найти удалённые записи на основе этого труда не составит.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
Выгрузка данных
    #32794835
Alex_y
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Константин, я понял что вы хотели сказать, но к сожелению мне это не совсем подходит.
...
Рейтинг: 0 / 0
Выгрузка данных
    #32794870
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А почему не подходит?

С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
Выгрузка данных
    #32795354
Dmitry Biryukov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
если данные на ms sql, то можно попробовать real-time олап, тогда об обновлениях будет заботится сам мсас
...
Рейтинг: 0 / 0
Выгрузка данных
    #32795600
Alex_y
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я сделал сверку на стороне источника.
У меня есть таблица с контрольными суммами, я делаю
select id from table1
minus
select id from table2
и определяю так удаленные записи

Спасибо Константин. Ваши предложения натолкнули меня посмотреть на проблему иначе. :)
...
Рейтинг: 0 / 0
Выгрузка данных
    #32795615
Протобобр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Кстати, интересно, пробовал ли кто выгружать данные из MS SQL с помощью функции репликации?
...
Рейтинг: 0 / 0
Выгрузка данных
    #32795794
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_y Спасибо Константин

Не за что. Был рад помочь.

С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
10 сообщений из 10, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Выгрузка данных
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]