powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Регрессионное тестирование хранилища
17 сообщений из 42, страница 2 из 2
Регрессионное тестирование хранилища
    #39504088
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan Durakпо факту там смоук теститнгну почему же? я бы сказал, что и юнит то же.
есть исходные данные (это может быть и суррогатный тестовый набор) есть результирующий набор (то как мы его представляем исходя из ТЗ и логики работы наших алгоритмов)
после отработки ETL (его части) полученный набор должен совпадать (по неким метрикам) с результирующим.
Ivan Durakм-м-м-м.... а можно было настроить простую репликацию...тут вам стоит пояснить свою мысль...
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504121
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ДедушкаIvan Durakпо факту там смоук теститнгну почему же? я бы сказал, что и юнит то же.
есть исходные данные (это может быть и суррогатный тестовый набор) есть результирующий набор (то как мы его представляем исходя из ТЗ и логики работы наших алгоритмов)
после отработки ETL (его части) полученный набор должен совпадать (по неким метрикам) с результирующим.

представить результирующий набор по ТЗ - это уже функциональное тестирование. Оно конечно тоже нужно. Но пишется руками. Потому применение очень дорого и ограничено.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504126
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дедушкатут вам стоит пояснить свою мысль...
ну быстро дотащить хлам из реляционных источников в хд - это как раз задача репликации.
причем в неизменном виде как он прийдет из реплик - он будет еще и удобнее для построения витрин, нежели дата ваулт
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504148
HF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HF
Гость
Ivan Durak,

Так это с анкором вообще никак не связано. При любой архитектуре изменение модели может повлечь за собой изменение витрин. И кост на переработку будет одинаковый.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504191
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakДедушкатут вам стоит пояснить свою мысль...
ну быстро дотащить хлам из реляционных источников в хд - это как раз задача репликации.
причем в неизменном виде как он прийдет из реплик - он будет еще и удобнее для построения витрин, нежели дата ваулт

Мощно задвинул, внушает. А люди мучаются темпоральные КХД создают. А тут взял репликацию источника свалил в кучу и получил кучу...

У меня сейчас 30 источников - ERP систем от Калининграда до Владивостока, мне их все нужно связать в единый узел с сохранением всей истории любого изменения данных.
Куда здесь я прикину репликацию?
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504279
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Полковник. Куда здесь я прикину репликацию?

Какой тип хранилища выбрали ? Будите ли делать регрессионые тесты ?
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504772
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HFIvan Durak,

Так это с анкором вообще никак не связано. При любой архитектуре изменение модели может повлечь за собой изменение витрин. И кост на переработку будет одинаковый.
не одинаковый, совсем не одинаковый
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504775
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Полковник.Ivan Durakпропущено...

ну быстро дотащить хлам из реляционных источников в хд - это как раз задача репликации.
причем в неизменном виде как он прийдет из реплик - он будет еще и удобнее для построения витрин, нежели дата ваулт

Мощно задвинул, внушает. А люди мучаются темпоральные КХД создают. А тут взял репликацию источника свалил в кучу и получил кучу...

У меня сейчас 30 источников - ERP систем от Калининграда до Владивостока, мне их все нужно связать в единый узел с сохранением всей истории любого изменения данных.
Куда здесь я прикину репликацию?
найти баланс между велосипедом и коробочным солюшеном всегда сложно. Но видно, что у вас его нет.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504846
HF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HF
Гость
Ivan Durak,

Вопрос был не праздный. Разница в костах на изменение модели хранилища при DV/Anchor в сравнении с 3NF/Звезда очевидна.
А вот при построении витрины, после того как в само ХД изменения уже внесены - с первого взгляда я не вижу. Для витрины принципиально изменение логической модели данных, а способ ее физического представления на входе принципиального значения не имеет. Какие будут аргументы за усложнение перестроения витрин при Anchor модели?
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504875
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HF Вопрос был не праздный. Разница в костах на изменение модели хранилища при DV/Anchor в сравнении с 3NF/Звезда очевидна.

Кому очевидна ? Вам ?
Аргументы ? Как считали ?
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504967
HF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HF
Гость
essbase.ru,

Ну, например, при Anchor добавление/удаление показателя не требует переработки ранее реализованного функционала ETL и модификации структур существующих таблиц. Фактически, в большинстве случаев можно обойтись внесением изменений в метаданные. В том случае, когда изменения требуются, они более четко локализованы, что также упрощает процесс изменения.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504978
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HF,

да? и даже не требуется модифицировать то, что показывается пользователям?
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504987
HF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HF
Гость
Критик,

Стоп :) Речь шла об изменении модели самого хранилища (или точнее, детального слоя данных), а не витрин. Про витрины я спрашивал выше. По моему мнению, изменение витрин стоит сопоставимо при любой физической модели самого детального слоя. Если есть аргументы, почему это не так, было бы очень полезно их услышать.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39505006
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критикда? и даже не требуется модифицировать то, что показывается пользователям?смысл троллить колеги?
очевидно же, что если добавляемый показатель\атрибут должен показываться в отчётах (сам по себе или как элемент расчётных показателей), то отчёты требуют модификации.
тут дело в том, что модификация отчётов (в большинстве случаев) менее трудоёмка чем модификация существующих таблиц ХД и ETL процессов и более проста в тестировании.

что касается затрат на сборку витрины в проекте DV...
если вы решаете собирать именно "классическую" витрину поверх DV, то трудозатраты выше чем сборка поверх "классического" ХД.
это проистекает из-за того, что в DV бизнес сущность размазана на много таблиц каждая из которых может содержать свои временные диапазоны версий и собрать всё это вместе не просто особенно если у вас слабое железо или реляционная платформа.
если же вы делаете DV на MPP системе, то эта трудность сильно сглаживается, а плюсы от лёгкого добавления атрибутов в ХД\ETL наиболее заметны.
как я писал выше, нужно понимать плюсы и минусы DV схемы при выборе её для ХД проекта и использовать только если вас припёрли к стенке требованиями частых и непредсказуемых изменений в требованиях на ХД.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39505078
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HFIvan Durak,

Вопрос был не праздный. Разница в костах на изменение модели хранилища при DV/Anchor в сравнении с 3NF/Звезда очевидна.

че-то мне вот не очевидно.
Огласите пожалуйста разницу с примерами: например новый линк в DV vs новый факт в звезде.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39505095
HF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HF
Гость
Дедушка,

В целом придерживаюсь того же мнения.

Касательно частностей
Дедушкаесли вы решаете собирать именно "классическую" витрину поверх DV, то трудозатраты выше чем сборка поверх "классического" ХД.
это проистекает из-за того, что в DV бизнес сущность размазана на много таблиц каждая из которых может содержать свои временные диапазоны версий и собрать всё это вместе не просто особенно если у вас слабое железо или реляционная платформа.

- задача сборки сущности из нескольких таблиц с разной историей не является исключительной для DV/AM (Anchor Model), также присутствует и при 3NF модели. Хорошо то, что решить ее можно один раз и в дальнейшем переиспользовать для различных сущностей и в различных проектах. Поэтому в данном случае, я бы говорил не про трудозатраты на реализацию, а про требования к оборудованию.

Проекты DWH длинные как в разработке так и в дальнейшем саппорте, поэтому изменение требований скорее данность, чем исключение. Использование AM позволяет не только повысить гибкость модели, но и позволяет значительно автоматизировать процесс разработки ETL, а также больше переиспользовать код как внутри проекта, так и в последующих проектах, а также масштабировать процесс разработки. На другой чаше весов стоимость железа и первичной разработки (прежде чем переиспользовать, надо один раз сделать).

Выбор стар как мир - что лучше, один раз "день потерять, потом за 5 минут долететь" или "посадить сто человек с Excel, пусть считают".
Как инженер, я за первый подход, но для бизнеса часто второй бывает выгодней ;)

Поэтому к перечисленным Дедушкой критериям использовать или нет DV/AM я бы добавил еще, будете ли вы реализовывать еще подобного рода проекты в будущем или это разовая разработка.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39505104
sergei_go
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ivan Durak, по-моему не в тему. Сравнить можно Link и новую ссылку на факте/измерении.
И даже так сравнивать будет тяжело без определенных вводных.
Навскидку,
под загрузку линка нужен будет отдельный ETL-task, для загруки ссылки нужно будет менять существующий ETL-task со всеми вытекающими.
загрузка линка - insert, загрузка ссылки - update, ну или если хотите recreate
и как я сказал - минусы и плюсы определите сами.
...
Рейтинг: 0 / 0
17 сообщений из 42, страница 2 из 2
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Регрессионное тестирование хранилища
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]