powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Регрессионное тестирование хранилища
42 сообщений из 42, показаны все 2 страниц
Регрессионное тестирование хранилища
    #39498879
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ищу способ оценивать влияние разработки на хранилище .. Кто нить раскроет инфу по своим лучшим практикам ?
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39498915
Jack Carver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DbFit
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39498950
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю]
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39499001
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sintetik,

Ок. про деньги тоже интересно ) но больше всего болит о том как проверить что новая разработка не сломает замок на костылях , который возник в прошлый раз
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39499021
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sintetik[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю]


для инфо - в науке готворят - чем больше делаешь - тем меньше должен времени тратить

http://baguzin.ru/wp/?p=2222
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39499051
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
essbase.ruSintetik[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю]


для инфо - в науке готворят - чем больше делаешь - тем меньше должен времени тратить

http://baguzin.ru/wp/?p=2222
может мы о разном? я про опыт когда исходные системы откуда тащили данные в ХД быстро изменялись, и менялись не нами
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39502018
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
essbase.ru,

Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form

Эта концепция ориентирована на частые изменения в ХД
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39502026
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voronin,

только удобство работы будет околонулевое
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39502029
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jack CarverDbFit
а пару слов как что и зачем ?
кто пишет тесты как они запускаются (автоматически через какой-то CI )
и т.д и т.п
поделитесь плз опытом ( можно без деталей - общая схема плюсы и минусы)
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39502102
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
как говорится: "мопед не мой..."
тестирование ХД в Тинькофф
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39502174
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voroninessbase.ru,

Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form

Эта концепция ориентирована на частые изменения в ХД

Да меня тоже заинтересовал cпич архитектора из AVITO. Такой жесткий PR заставляет задуматься .( и для новго проекта я тоже это попробую )

* осталось придумать как развивать старье ) вот ради этого и подпрыгиваю.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39502277
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
essbase.rua_voroninessbase.ru,

Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form

Эта концепция ориентирована на частые изменения в ХД

Да меня тоже заинтересовал cпич архитектора из AVITO. Такой жесткий PR заставляет задуматься .( и для новго проекта я тоже это попробую )

* осталось придумать как развивать старье ) вот ради этого и подпрыгиваю.

Data Vault то чем не угодил? Любое нормализованное ХД поддерживает изменения, даже простая 3NF.

Встречал такого Гопова, который затеял анкер в одном из банков, уж не знаю ради чего, подозреваю, что ради собственных амбиций. Идея провалилась, архитектор сбежал, люди которые остались переделывали все это на звезду-снежинку.

А ведь есть ещё и "голандская" модель КХД.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39502569
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Полковник.Идея провалилась
эх.. анализ провала бы найти и почитать )
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39502608
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
essbase.ruэх.. анализ провала бы найти и почитать )ну а чего там читать :)
что DataVault, что Anchor разбивает бизнес сущность на много объектов и на этапе построения денормализованной витрины у вас начинается "ад" (ad-hoc ту да же).
это как EAV... нужно стараться избегать пока возможно и использовать когда припрёт (понимая все плюсы\минусы).
когда у вас большое ХД и частые изменения структуры (добавление сущностей, атрибутов и тд), то деваться некуда и приходится идти по этому пути "мышей с кактусом".
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39502799
Voyager_lan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дедушкаessbase.ruэх.. анализ провала бы найти и почитать )ну а чего там читать :)
что DataVault, что Anchor разбивает бизнес сущность на много объектов и на этапе построения денормализованной витрины у вас начинается "ад" (ad-hoc ту да же).
это как EAV... нужно стараться избегать пока возможно и использовать когда припрёт (понимая все плюсы\минусы).
когда у вас большое ХД и частые изменения структуры (добавление сущностей, атрибутов и тд), то деваться некуда и приходится идти по этому пути "мышей с кактусом".
От себя добавлю. Для долгоиграющих проектов (так сказать, "есть слона по кускам" несколько лет) оное актуально, т.к. ТЗ уже раз 10 устареет пока напишешь плюс сокращение времени на доработку ETL/DWH. Расплата же все равно настигент на этапе построения денормализованной витрины :) Но оно того будет стоить.
Ежели скоуп известен заранее, то Kimball рулит, т.к. все преимужества Anchor / DV modelling будут несущественны.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39502857
sergei_go
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Полковник.,
Не амбиций, а ради реалий, когда ресурсов на работу с требованиями внутри заложено не было, а внешний подрядчик обладал экспертизой студентов.
Не амбиций, а ради итерационного постепенного развития.
Не оставшиеся люди, а вновь пришедшие, которые не смогли понять идею.
Там не просто Anchor был, а bitemporal Anchor.
Безусловно Anchor, как и любой другой подход, уместен при определённых вводных, и должен сказать при высоком уровне автоматизации. В AVITO, как раз, это и сделали. В противном случае очень много рутины.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39502915
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sergei_go при высоком уровне автоматизации
автоматизация чего?
* очень странный посыл - априори - хранилище это не про ручной ввод ))
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39502971
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
essbase.ruавтоматизация чего?пример:
ХД DataVault на mssql (около 1000 таблиц)
ETL на ssis (около 1000 пакетов)
автоматизация - построение ETL biml-ом по метаданным, а не руками
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39502978
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дедушкаавтоматизация - построение ETL biml-ом по метаданным, а не руками

имеет ли смысл такая автоматизация?
девочку-студентку нанять за 30 тыр, она за месяц всю тысячу сделает,

а с biml`ом требования к разработчику повышаются, а раз так, то и зп ему нужно большую платить
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39503002
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
КритикДедушкаавтоматизация - построение ETL biml-ом по метаданным, а не руками

имеет ли смысл такая автоматизация?
девочку-студентку нанять за 30 тыр, она за месяц всю тысячу сделает,

а с biml`ом требования к разработчику повышаются, а раз так, то и зп ему нужно большую платить

телефончик той студентки дадите?
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39503011
sergei_go
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
essbase.ru,
Дедушка уже ответил.
Критик,
человеческий фактор никто не отменял, девочку найти нужно, за девочкой следить нужно.
Да есть на рынке уже автоматизация ETL, и для Anchor, и для DataVault - этим они и хороши, но в отличии от от DataVault, где можно себе волю дать в объединении атрибутов, AM содержит более строгие правила для создания модели.
Как и везде свои плюсы, свои минусы.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39503979
HF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HF
Гость
Voyager_lan,

Про расплату можно подробнее? Кроме серьезных требований к железу, для построения витрин, какие еще последствия?
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504045
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дедушкаessbase.ruавтоматизация чего?пример:
ХД DataVault на mssql (около 1000 таблиц)
ETL на ssis (около 1000 пакетов)
автоматизация - построение ETL biml-ом по метаданным, а не руками
м-м-м-м.... а можно было настроить простую репликацию.....
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504048
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HFVoyager_lan,

Про расплату можно подробнее? Кроме серьезных требований к железу, для построения витрин, какие еще последствия?
частые изменения структуры - получи частую ручную переделку витрин.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504055
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дедушкакак говорится: "мопед не мой..."
тестирование ХД в Тинькофф
по факту там смоук теститнг - накатили изменения - весь etl не упал - хорошо. Регрес пройден
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504088
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan Durakпо факту там смоук теститнгну почему же? я бы сказал, что и юнит то же.
есть исходные данные (это может быть и суррогатный тестовый набор) есть результирующий набор (то как мы его представляем исходя из ТЗ и логики работы наших алгоритмов)
после отработки ETL (его части) полученный набор должен совпадать (по неким метрикам) с результирующим.
Ivan Durakм-м-м-м.... а можно было настроить простую репликацию...тут вам стоит пояснить свою мысль...
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504121
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ДедушкаIvan Durakпо факту там смоук теститнгну почему же? я бы сказал, что и юнит то же.
есть исходные данные (это может быть и суррогатный тестовый набор) есть результирующий набор (то как мы его представляем исходя из ТЗ и логики работы наших алгоритмов)
после отработки ETL (его части) полученный набор должен совпадать (по неким метрикам) с результирующим.

представить результирующий набор по ТЗ - это уже функциональное тестирование. Оно конечно тоже нужно. Но пишется руками. Потому применение очень дорого и ограничено.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504126
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дедушкатут вам стоит пояснить свою мысль...
ну быстро дотащить хлам из реляционных источников в хд - это как раз задача репликации.
причем в неизменном виде как он прийдет из реплик - он будет еще и удобнее для построения витрин, нежели дата ваулт
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504148
HF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HF
Гость
Ivan Durak,

Так это с анкором вообще никак не связано. При любой архитектуре изменение модели может повлечь за собой изменение витрин. И кост на переработку будет одинаковый.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504191
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakДедушкатут вам стоит пояснить свою мысль...
ну быстро дотащить хлам из реляционных источников в хд - это как раз задача репликации.
причем в неизменном виде как он прийдет из реплик - он будет еще и удобнее для построения витрин, нежели дата ваулт

Мощно задвинул, внушает. А люди мучаются темпоральные КХД создают. А тут взял репликацию источника свалил в кучу и получил кучу...

У меня сейчас 30 источников - ERP систем от Калининграда до Владивостока, мне их все нужно связать в единый узел с сохранением всей истории любого изменения данных.
Куда здесь я прикину репликацию?
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504279
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Полковник. Куда здесь я прикину репликацию?

Какой тип хранилища выбрали ? Будите ли делать регрессионые тесты ?
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504772
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HFIvan Durak,

Так это с анкором вообще никак не связано. При любой архитектуре изменение модели может повлечь за собой изменение витрин. И кост на переработку будет одинаковый.
не одинаковый, совсем не одинаковый
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504775
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Полковник.Ivan Durakпропущено...

ну быстро дотащить хлам из реляционных источников в хд - это как раз задача репликации.
причем в неизменном виде как он прийдет из реплик - он будет еще и удобнее для построения витрин, нежели дата ваулт

Мощно задвинул, внушает. А люди мучаются темпоральные КХД создают. А тут взял репликацию источника свалил в кучу и получил кучу...

У меня сейчас 30 источников - ERP систем от Калининграда до Владивостока, мне их все нужно связать в единый узел с сохранением всей истории любого изменения данных.
Куда здесь я прикину репликацию?
найти баланс между велосипедом и коробочным солюшеном всегда сложно. Но видно, что у вас его нет.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504846
HF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HF
Гость
Ivan Durak,

Вопрос был не праздный. Разница в костах на изменение модели хранилища при DV/Anchor в сравнении с 3NF/Звезда очевидна.
А вот при построении витрины, после того как в само ХД изменения уже внесены - с первого взгляда я не вижу. Для витрины принципиально изменение логической модели данных, а способ ее физического представления на входе принципиального значения не имеет. Какие будут аргументы за усложнение перестроения витрин при Anchor модели?
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504875
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HF Вопрос был не праздный. Разница в костах на изменение модели хранилища при DV/Anchor в сравнении с 3NF/Звезда очевидна.

Кому очевидна ? Вам ?
Аргументы ? Как считали ?
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504967
HF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HF
Гость
essbase.ru,

Ну, например, при Anchor добавление/удаление показателя не требует переработки ранее реализованного функционала ETL и модификации структур существующих таблиц. Фактически, в большинстве случаев можно обойтись внесением изменений в метаданные. В том случае, когда изменения требуются, они более четко локализованы, что также упрощает процесс изменения.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504978
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HF,

да? и даже не требуется модифицировать то, что показывается пользователям?
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39504987
HF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HF
Гость
Критик,

Стоп :) Речь шла об изменении модели самого хранилища (или точнее, детального слоя данных), а не витрин. Про витрины я спрашивал выше. По моему мнению, изменение витрин стоит сопоставимо при любой физической модели самого детального слоя. Если есть аргументы, почему это не так, было бы очень полезно их услышать.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39505006
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критикда? и даже не требуется модифицировать то, что показывается пользователям?смысл троллить колеги?
очевидно же, что если добавляемый показатель\атрибут должен показываться в отчётах (сам по себе или как элемент расчётных показателей), то отчёты требуют модификации.
тут дело в том, что модификация отчётов (в большинстве случаев) менее трудоёмка чем модификация существующих таблиц ХД и ETL процессов и более проста в тестировании.

что касается затрат на сборку витрины в проекте DV...
если вы решаете собирать именно "классическую" витрину поверх DV, то трудозатраты выше чем сборка поверх "классического" ХД.
это проистекает из-за того, что в DV бизнес сущность размазана на много таблиц каждая из которых может содержать свои временные диапазоны версий и собрать всё это вместе не просто особенно если у вас слабое железо или реляционная платформа.
если же вы делаете DV на MPP системе, то эта трудность сильно сглаживается, а плюсы от лёгкого добавления атрибутов в ХД\ETL наиболее заметны.
как я писал выше, нужно понимать плюсы и минусы DV схемы при выборе её для ХД проекта и использовать только если вас припёрли к стенке требованиями частых и непредсказуемых изменений в требованиях на ХД.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39505078
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HFIvan Durak,

Вопрос был не праздный. Разница в костах на изменение модели хранилища при DV/Anchor в сравнении с 3NF/Звезда очевидна.

че-то мне вот не очевидно.
Огласите пожалуйста разницу с примерами: например новый линк в DV vs новый факт в звезде.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39505095
HF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HF
Гость
Дедушка,

В целом придерживаюсь того же мнения.

Касательно частностей
Дедушкаесли вы решаете собирать именно "классическую" витрину поверх DV, то трудозатраты выше чем сборка поверх "классического" ХД.
это проистекает из-за того, что в DV бизнес сущность размазана на много таблиц каждая из которых может содержать свои временные диапазоны версий и собрать всё это вместе не просто особенно если у вас слабое железо или реляционная платформа.

- задача сборки сущности из нескольких таблиц с разной историей не является исключительной для DV/AM (Anchor Model), также присутствует и при 3NF модели. Хорошо то, что решить ее можно один раз и в дальнейшем переиспользовать для различных сущностей и в различных проектах. Поэтому в данном случае, я бы говорил не про трудозатраты на реализацию, а про требования к оборудованию.

Проекты DWH длинные как в разработке так и в дальнейшем саппорте, поэтому изменение требований скорее данность, чем исключение. Использование AM позволяет не только повысить гибкость модели, но и позволяет значительно автоматизировать процесс разработки ETL, а также больше переиспользовать код как внутри проекта, так и в последующих проектах, а также масштабировать процесс разработки. На другой чаше весов стоимость железа и первичной разработки (прежде чем переиспользовать, надо один раз сделать).

Выбор стар как мир - что лучше, один раз "день потерять, потом за 5 минут долететь" или "посадить сто человек с Excel, пусть считают".
Как инженер, я за первый подход, но для бизнеса часто второй бывает выгодней ;)

Поэтому к перечисленным Дедушкой критериям использовать или нет DV/AM я бы добавил еще, будете ли вы реализовывать еще подобного рода проекты в будущем или это разовая разработка.
...
Рейтинг: 0 / 0
Регрессионное тестирование хранилища
    #39505104
sergei_go
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ivan Durak, по-моему не в тему. Сравнить можно Link и новую ссылку на факте/измерении.
И даже так сравнивать будет тяжело без определенных вводных.
Навскидку,
под загрузку линка нужен будет отдельный ETL-task, для загруки ссылки нужно будет менять существующий ETL-task со всеми вытекающими.
загрузка линка - insert, загрузка ссылки - update, ну или если хотите recreate
и как я сказал - минусы и плюсы определите сами.
...
Рейтинг: 0 / 0
42 сообщений из 42, показаны все 2 страниц
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Регрессионное тестирование хранилища
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]