Добрый день, коллеги.

Меня интересует загрузка сущности (допустим, комиссии по сделкам), характеризующейся следующим:
1. Количество 0...n записей, относящихся к одному объекту родительской сущности
2. И количество, и содержание записей может произвольно изменяться со временем (сначала a комиссий, потом ни одной, затем b и т.д.)
Я сейчас называю такие данные кластерными (например, кластер комиссий по сделке), но, возможно, кто-нибудь использует другое, уже устоявшееся название, с которым я незнаком?

Захват данных может получить неполный кластер (например, потому что каждая комиссия в источнике формируется отдельной транзакцией) и данные окажутся неконсистентными. Кто как с этим борется?

Моя текущая практика (источник - сообщения по сделкам из шины): при записи сообщений в стейджинг ETL маркирует каждую последнюю записываемую комиссию кластера битовым признаком. Записи после последнего установленного битового признака на следующий этап загрузки не передаются (откладываются на следующую итерацию).

В целом имею несколько таких сущностей и максимально стандартизирую их загрузку.