ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Netezza триггера и удаленные строки
20 сообщений из 20, страница 1 из 1
Netezza триггера и удаленные строки
    #38422818
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sintetik
Участник
Возникла такая проблема - как отлавливать удаленные строки при переносе данных на Netezza с помощью CDC?
Триггера она не поддерживает, новые и обновленные данные можно выбрать по дате транзакции, а вот если CDC удалил строку то уже все. Режим Audit использовать не хочется, т.к. долго будет парсить таблицу изменений.
...
Рейтинг: 0 / 0
10.10.2013, 12:57
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38423669
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
SintetikВозникла такая проблема - как отлавливать удаленные строки при переносе данных на Netezza с помощью CDC?
Триггера она не поддерживает, новые и обновленные данные можно выбрать по дате транзакции, а вот если CDC удалил строку то уже все. Режим Audit использовать не хочется, т.к. долго будет парсить таблицу изменений.Родион,скорее всего, никак. Netezza - это OLAP система и никаким боком не OLTP. А нормальные CDC бывают только для OLTP. Из известных мне OLAP-систем только Exadata умеет то, что хочешь ты, потому что она одновременно умеет и OLTP, и OLAP.
...
Рейтинг: 0 / 0
10.10.2013, 22:05
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38423717
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hunterik
Участник
В NZ пока GROOM не сделаете - строки не удаляются из таблиц.
Вот вам ссылочка по теме, у меня сейчас NZ нет по рукой, попробуйте сами...

set show_deleted_records = true

select createxid,deletexid, * from your_table where deletexid !=0
...
Рейтинг: 0 / 0
10.10.2013, 23:00
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38423874
Андрей Выходцев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Андрей Выходцев
Гость
Если нужно что помощнее то есть еще Netezza Replication Services

http://www-03.ibm.com/software/products/us/en/netezza-replication-services/
...
Рейтинг: 0 / 0
11.10.2013, 03:36
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38423875
Андрей Выходцев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Андрей Выходцев
Гость
хотя не совсем уверен что именно это нужно
...
Рейтинг: 0 / 0
11.10.2013, 03:39
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38424384
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sintetik
Участник
Alexander RyndinSintetikВозникла такая проблема - как отлавливать удаленные строки при переносе данных на Netezza с помощью CDC?
Триггера она не поддерживает, новые и обновленные данные можно выбрать по дате транзакции, а вот если CDC удалил строку то уже все. Режим Audit использовать не хочется, т.к. долго будет парсить таблицу изменений.Родион,скорее всего, никак. Netezza - это OLAP система и никаким боком не OLTP. А нормальные CDC бывают только для OLTP. Из известных мне OLAP-систем только Exadata умеет то, что хочешь ты, потому что она одновременно умеет и OLTP, и OLAP.
Саша, хорош пеарить )) У заказчика стратегическая платформа IBM DB2->DataStage->Netezza и мне не важно что умеют другие платформы, задачу нужно решить на этой.
...
Рейтинг: 0 / 0
11.10.2013, 13:22
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38424394
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sintetik
Участник
HunterikВ NZ пока GROOM не сделаете - строки не удаляются из таблиц.
Вот вам ссылочка по теме, у меня сейчас NZ нет по рукой, попробуйте сами...

set show_deleted_records = true

select createxid,deletexid, * from your_table where deletexid !=0
Супер, это то что нужно, спасибо.
...
Рейтинг: 0 / 0
11.10.2013, 13:26
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38424558
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
SintetikAlexander Ryndinпропущено...
Родион,скорее всего, никак. Netezza - это OLAP система и никаким боком не OLTP. А нормальные CDC бывают только для OLTP. Из известных мне OLAP-систем только Exadata умеет то, что хочешь ты, потому что она одновременно умеет и OLTP, и OLAP.
Саша, хорош пеарить )) У заказчика стратегическая платформа IBM DB2->DataStage->Netezza и мне не важно что умеют другие платформы, задачу нужно решить на этой.так если из дб2 тащите данные, то там и удаления проще отлавливать. Делаешь таблицу истории и все. Не?
...
Рейтинг: 0 / 0
11.10.2013, 15:11
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38424870
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sintetik
Участник
Alexander Ryndinтак если из дб2 тащите данные, то там и удаления проще отлавливать. Делаешь таблицу истории и все. Не?
Источник нельзя менять, так бы триггер на источнике можно было бы сделать.
c CDC тоже есть проблемы - партишены он не любит
...
Рейтинг: 0 / 0
11.10.2013, 18:23
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38425041
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
SintetikAlexander Ryndinтак если из дб2 тащите данные, то там и удаления проще отлавливать. Делаешь таблицу истории и все. Не?
Источник нельзя менять, так бы триггер на источнике можно было бы сделать.
c CDC тоже есть проблемы - партишены он не любитА кто говорит, что нужно менять триггеры? CDC обычно поддерживает вариант 1) полной реплики - это когда таблица один в один, 2) истории, когда он все DML преобразовывает в insertы и добавляет поле-признак типа DML-операции.
Про партиции не понял.
...
Рейтинг: 0 / 0
12.10.2013, 00:13
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38426237
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sintetik
Участник
Alexander RyndinПро партиции не понял.
Если таблица партицирована как-то не так (еще не разобрался) то CDC на ней не поддерживается.
...
Рейтинг: 0 / 0
14.10.2013, 11:18
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38426799
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sintetik
Участник
SintetikСупер, это то что нужно, спасибо.
Хорошая была идея, но не прошла, горе от ума, CDC оказался слишком умным, если строчка с одним и тем же ID и вставляется и удаляется в одном блоке синхронизации, то он это дело оптимизирует и просто эту строку не вставляет и соответственно не удаляет. Результат тот же самый, но следов удаления строки нет.
...
Рейтинг: 0 / 0
14.10.2013, 15:46
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38426873
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hunterik
Участник
Хм... Может, другую подписку настроить? Вроде было что-то типа Аудит подписки. Может, я путаю. Давненько щупал...
...
Рейтинг: 0 / 0
14.10.2013, 16:25
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38426878
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sintetik
Участник
HunterikХм... Может, другую подписку настроить? Вроде было что-то типа Аудит подписки. Может, я путаю. Давненько щупал...
Ну да, аудит с признаком операции только и остается
...
Рейтинг: 0 / 0
14.10.2013, 16:26
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38426925
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hunterik
Участник
А насчет партиционирования и CDC... Вы бы поподробнее написали.
При работе с DB2 CDC пользуется API DB2 для получения логов, должно работать в любых комбинациях.
Вроде даже DPF-режим поддерживается...
...
Рейтинг: 0 / 0
14.10.2013, 16:47
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38427904
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sintetik
Участник
Hunterik,
DB2 docDATA CAPTURE
Indicates whether extra information for data replication is to be written to the log.
If the table is a typed table, then this option is not supported (SQLSTATE 428DH for root tables or 428DR for other subtables).

NONE
Indicates that no extra information will be logged.
CHANGES
Indicates that extra information regarding SQL changes to this table will be written to the log. This option is required if this table will be replicated and the Capture program is used to capture changes for this table from the log.

If the table is defined to allow data on a partition other than the catalog partition (multiple partition database partition group or database partition group with partition other than the catalog partition), then this option is not supported (SQLSTATE 42997).

If the schema name (implicit or explicit) of the table is longer than 18 bytes, this option is not supported (SQLSTATE 42997).

Пока не снес партиционирование таблицы не заработало, я в DB2 не спец, нужно разобраться что такое catalog partition и чем ей не угодили обычные.
...
Рейтинг: 0 / 0
15.10.2013, 12:02
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38428719
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mark Barinstein
Гость
SintetikПока не снес партиционирование таблицы не заработало, я в DB2 не спец, нужно разобраться что такое catalog partition и чем ей не угодили обычные. Partitioned database environments
Catalog partition - раздел базы, содержащий т.н. системный каталог .
Разбиение базы на разделы - способ, которым IBM горизонтально масштабирует свои хранилища на DB2, примерно так же, как и Netezza.
Данные "больших" таблиц обычно распределены между разделами.
До DB2 v9.1 действительно существовало такое ограничение, что вы не могли реплицировать такие "распределенные" таблицы.
...
Рейтинг: 0 / 0
15.10.2013, 19:38
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38429878
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sintetik
Участник
Mark BarinsteinДо DB2 v9.1 действительно существовало такое ограничение, что вы не могли реплицировать такие "распределенные" таблицы.
У нас 10.1 стоит
...
Рейтинг: 0 / 0
16.10.2013, 15:52
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38430288
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mark Barinstein
Гость
SintetikMark BarinsteinДо DB2 v9.1 действительно существовало такое ограничение, что вы не могли реплицировать такие "распределенные" таблицы.
У нас 10.1 стоит
Странно.
Вот есть у меня на 10.1.2 распределенная таблица на 3-х разделах:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
select dbpartitionnum(i), count(1) from test_all group by dbpartitionnum(i)

1           2
----------- -----------
          1         309
          3         322
          2         369

alter table test_all data capture changes
DB20000I  The SQL command completed successfully.

ALTER TABLE ... DATA CAPTURE CHANGES :
 
v10.1
DATA CAPTURE
Indicates whether extra information for data replication is to be written to the log.

If the table is a typed table, then this option is not supported (SQLSTATE 428DH for root tables or 428DR for other subtables).

NONE
Indicates that no extra information will be logged.
CHANGES
Indicates that extra information regarding SQL changes to this table will be written to the log. This option is required if this table will be replicated and the Capture program is used to capture changes for this table from the log.

INCLUDE LONGVAR COLUMNS
Allows data replication utilities to capture changes made to LONG VARCHAR or LONG VARGRAPHIC columns. The clause may be specified for tables that do not have any LONG VARCHAR or LONG VARGRAPHIC columns since it is possible to ALTER the table to include such columns.

Вы в ответ на какую команду ошибку получаете?
...
Рейтинг: 0 / 0
16.10.2013, 19:30
| Ответить | Цитировать | Написать  
Netezza триггера и удаленные строки
    #38431318
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sintetik
Участник
Mark BarinsteinВы в ответ на какую команду ошибку получаете?

Нет никаких сообщений об ошибке, эта опция на ALTER TABLE срабатывает, но CDC не видит изменений никаких, т.е. я изменяю данные, а CDC ничего не захватывает, сношу партишенинг начинает захватывать.
...
Рейтинг: 0 / 0
17.10.2013, 14:32
| Ответить | Цитировать | Написать  
20 сообщений из 20, страница 1 из 1
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Netezza триггера и удаленные строки
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]