Roman Kolchin,

Ну вот залили коллеги в хранилище многие миллионы записей в таблицу фактов по.... (не буду озвучивать)
И с этими данными жили не менее полгода, а потом выяснилось, что 2 мильярда денех потеряли.
Когда обнаружили, пересчитали, перезалили снова эту ТФ. А щетать сторнирующими проводками - это так ТФ разбухнет и запутаться в той таблице.

Ну а иной раз, если Заказчик тов. Сталин, еще не видел отчета, то по-тихому пересчитать, нежели лоб в зеленке.

Полковник.Alex_496Roman Kolchin,

Ну вот залили коллеги в хранилище многие миллионы записей в таблицу фактов по.... (не буду озвучивать)
И с этими данными жили не менее полгода, а потом выяснилось, что 2 мильярда денех потеряли.
Когда обнаружили, пересчитали, перезалили снова эту ТФ. А щетать сторнирующими проводками - это так ТФ разбухнет и запутаться в той таблице.

Ну а иной раз, если Заказчик тов. Сталин, еще не видел отчета, то по-тихому пересчитать, нежели лоб в зеленке.

Не об том речь. А о том, что проблема чистоты данных это проблема источника а не ХД, но некоторые почему то упорствуют в своей ериси и пытаются заниматься чисткой данных на загрузке.

А...вон оно про что. Так я только за советску власть и мир во всем мире. Раньше был категоричен, теперь вижу, что не все так просто. Кто бы спорил, исходные учетные системы должны блюсти качество регистрируемых данных. Можно цельный опус на NN страниц по этой теме написать, структурировать все причины и методы как контролировать базовые данные. Например, в одних проектах мои сотрудники вносят одни и те же данные дважды (это при наличии чек-проверок на этапе ввода), потом автомат. сверка, исправления, еще более сложные пост-проверки, а потом приведение к отраслевым стандартам. И всё равно по Протоколу проекта закладывается излишний процент вводимых записей, которыми потом можно откинуть при стат. анализе.
И всё равно не так просто. Порой, на рынке не найти достаточное количество ответственных операторов или
они стоят дороже, а в спускаемый бюджет не вписываетесь. Или, например, нач. производственного отдела вынужден химичить в сметах задним числом. Ну, будете бодаться с министерством, Заказчиком, биться за правду? Океюшки, тогда потеряете заказы, рынок. Как собственник, поднимавший бизнес с 0, готовы упираться, но потерять бизнес? Или будете искать компромиссы, где что можно выправить на этапе загрузки в витрину.

Полковник.Alex_496,

Ничего не понял из вашего текста. Можно в нескольких предложениях кратко?
Вы хотите взять на себя ответственность за данные в источниках? Я не хочу, я строю хранилища данных, в которых хранятся данные в том виде в котором они есть на самом деле а не в том в котором их хотят видеть наведя марафет на загрузке. В моем случае заказчик видя проблемы наводит порядок в учётных системах, в вашем случае продолжает жить с помойкой.
В заказчиках недостатка пока не испытываю, кстати.

Там где можно, мы даем обратную связь владельцам источников по исправлению данных, доработке систем.
Так, полностью переделали ODS по Front-системе.
Кстати, согласно новым требованиям ISO менеджмента качества, если не управляете Поставщиками, то не соответствуете ISO, т.е. вы несете ответственность за поставщиков, да.

Однако, не всегда есть возможность требовать. Вам приходят данные из сторонних организаций, приходят такие какие есть. Вы можете просить придерживаться формата, договариваться о формате. Но если у вас нет рычагов требовать, в вас не очень заинтересованы (или ваша компания не того ранга, чтобы требовать) и есть масса других потребителей, то вам поступают данные as is.