|
|
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Ищу способ оценивать влияние разработки на хранилище .. Кто нить раскроет инфу по своим лучшим практикам ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.08.2017, 11:22 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
DbFit ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.08.2017, 11:52 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю] ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.08.2017, 12:51 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Sintetik, Ок. про деньги тоже интересно ) но больше всего болит о том как проверить что новая разработка не сломает замок на костылях , который возник в прошлый раз ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.08.2017, 13:52 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Sintetik[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю] для инфо - в науке готворят - чем больше делаешь - тем меньше должен времени тратить http://baguzin.ru/wp/?p=2222 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.08.2017, 14:08 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
essbase.ruSintetik[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю] для инфо - в науке готворят - чем больше делаешь - тем меньше должен времени тратить http://baguzin.ru/wp/?p=2222 может мы о разном? я про опыт когда исходные системы откуда тащили данные в ХД быстро изменялись, и менялись не нами ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.08.2017, 14:46 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
essbase.ru, Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form Эта концепция ориентирована на частые изменения в ХД ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2017, 17:39 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
a_voronin, только удобство работы будет околонулевое ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2017, 17:49 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Jack CarverDbFit а пару слов как что и зачем ? кто пишет тесты как они запускаются (автоматически через какой-то CI ) и т.д и т.п поделитесь плз опытом ( можно без деталей - общая схема плюсы и минусы) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2017, 17:52 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
как говорится: "мопед не мой..." тестирование ХД в Тинькофф ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2017, 19:27 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
a_voroninessbase.ru, Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form Эта концепция ориентирована на частые изменения в ХД Да меня тоже заинтересовал cпич архитектора из AVITO. Такой жесткий PR заставляет задуматься .( и для новго проекта я тоже это попробую ) * осталось придумать как развивать старье ) вот ради этого и подпрыгиваю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2017, 21:39 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
essbase.rua_voroninessbase.ru, Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form Эта концепция ориентирована на частые изменения в ХД Да меня тоже заинтересовал cпич архитектора из AVITO. Такой жесткий PR заставляет задуматься .( и для новго проекта я тоже это попробую ) * осталось придумать как развивать старье ) вот ради этого и подпрыгиваю. Data Vault то чем не угодил? Любое нормализованное ХД поддерживает изменения, даже простая 3NF. Встречал такого Гопова, который затеял анкер в одном из банков, уж не знаю ради чего, подозреваю, что ради собственных амбиций. Идея провалилась, архитектор сбежал, люди которые остались переделывали все это на звезду-снежинку. А ведь есть ещё и "голандская" модель КХД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2017, 07:56 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Полковник.Идея провалилась эх.. анализ провала бы найти и почитать ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2017, 13:54 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
essbase.ruэх.. анализ провала бы найти и почитать )ну а чего там читать :) что DataVault, что Anchor разбивает бизнес сущность на много объектов и на этапе построения денормализованной витрины у вас начинается "ад" (ad-hoc ту да же). это как EAV... нужно стараться избегать пока возможно и использовать когда припрёт (понимая все плюсы\минусы). когда у вас большое ХД и частые изменения структуры (добавление сущностей, атрибутов и тд), то деваться некуда и приходится идти по этому пути "мышей с кактусом". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2017, 14:22 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Дедушкаessbase.ruэх.. анализ провала бы найти и почитать )ну а чего там читать :) что DataVault, что Anchor разбивает бизнес сущность на много объектов и на этапе построения денормализованной витрины у вас начинается "ад" (ad-hoc ту да же). это как EAV... нужно стараться избегать пока возможно и использовать когда припрёт (понимая все плюсы\минусы). когда у вас большое ХД и частые изменения структуры (добавление сущностей, атрибутов и тд), то деваться некуда и приходится идти по этому пути "мышей с кактусом". От себя добавлю. Для долгоиграющих проектов (так сказать, "есть слона по кускам" несколько лет) оное актуально, т.к. ТЗ уже раз 10 устареет пока напишешь плюс сокращение времени на доработку ETL/DWH. Расплата же все равно настигент на этапе построения денормализованной витрины :) Но оно того будет стоить. Ежели скоуп известен заранее, то Kimball рулит, т.к. все преимужества Anchor / DV modelling будут несущественны. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2017, 17:30 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Полковник., Не амбиций, а ради реалий, когда ресурсов на работу с требованиями внутри заложено не было, а внешний подрядчик обладал экспертизой студентов. Не амбиций, а ради итерационного постепенного развития. Не оставшиеся люди, а вновь пришедшие, которые не смогли понять идею. Там не просто Anchor был, а bitemporal Anchor. Безусловно Anchor, как и любой другой подход, уместен при определённых вводных, и должен сказать при высоком уровне автоматизации. В AVITO, как раз, это и сделали. В противном случае очень много рутины. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2017, 18:14 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
sergei_go при высоком уровне автоматизации автоматизация чего? * очень странный посыл - априори - хранилище это не про ручной ввод )) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2017, 20:23 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
essbase.ruавтоматизация чего?пример: ХД DataVault на mssql (около 1000 таблиц) ETL на ssis (около 1000 пакетов) автоматизация - построение ETL biml-ом по метаданным, а не руками ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2017, 22:49 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Дедушкаавтоматизация - построение ETL biml-ом по метаданным, а не руками имеет ли смысл такая автоматизация? девочку-студентку нанять за 30 тыр, она за месяц всю тысячу сделает, а с biml`ом требования к разработчику повышаются, а раз так, то и зп ему нужно большую платить ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2017, 23:04 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
КритикДедушкаавтоматизация - построение ETL biml-ом по метаданным, а не руками имеет ли смысл такая автоматизация? девочку-студентку нанять за 30 тыр, она за месяц всю тысячу сделает, а с biml`ом требования к разработчику повышаются, а раз так, то и зп ему нужно большую платить телефончик той студентки дадите? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.08.2017, 00:17 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
essbase.ru, Дедушка уже ответил. Критик, человеческий фактор никто не отменял, девочку найти нужно, за девочкой следить нужно. Да есть на рынке уже автоматизация ETL, и для Anchor, и для DataVault - этим они и хороши, но в отличии от от DataVault, где можно себе волю дать в объединении атрибутов, AM содержит более строгие правила для создания модели. Как и везде свои плюсы, свои минусы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.08.2017, 01:09 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Voyager_lan, Про расплату можно подробнее? Кроме серьезных требований к железу, для построения витрин, какие еще последствия? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 12:41 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Дедушкаessbase.ruавтоматизация чего?пример: ХД DataVault на mssql (около 1000 таблиц) ETL на ssis (около 1000 пакетов) автоматизация - построение ETL biml-ом по метаданным, а не руками м-м-м-м.... а можно было настроить простую репликацию..... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 13:41 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
HFVoyager_lan, Про расплату можно подробнее? Кроме серьезных требований к железу, для построения витрин, какие еще последствия? частые изменения структуры - получи частую ручную переделку витрин. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 13:42 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Дедушкакак говорится: "мопед не мой..." тестирование ХД в Тинькофф по факту там смоук теститнг - накатили изменения - весь etl не упал - хорошо. Регрес пройден ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 13:46 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Ivan Durakпо факту там смоук теститнгну почему же? я бы сказал, что и юнит то же. есть исходные данные (это может быть и суррогатный тестовый набор) есть результирующий набор (то как мы его представляем исходя из ТЗ и логики работы наших алгоритмов) после отработки ETL (его части) полученный набор должен совпадать (по неким метрикам) с результирующим. Ivan Durakм-м-м-м.... а можно было настроить простую репликацию...тут вам стоит пояснить свою мысль... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 14:08 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
ДедушкаIvan Durakпо факту там смоук теститнгну почему же? я бы сказал, что и юнит то же. есть исходные данные (это может быть и суррогатный тестовый набор) есть результирующий набор (то как мы его представляем исходя из ТЗ и логики работы наших алгоритмов) после отработки ETL (его части) полученный набор должен совпадать (по неким метрикам) с результирующим. представить результирующий набор по ТЗ - это уже функциональное тестирование. Оно конечно тоже нужно. Но пишется руками. Потому применение очень дорого и ограничено. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 14:44 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Дедушкатут вам стоит пояснить свою мысль... ну быстро дотащить хлам из реляционных источников в хд - это как раз задача репликации. причем в неизменном виде как он прийдет из реплик - он будет еще и удобнее для построения витрин, нежели дата ваулт ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 14:48 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Ivan Durak, Так это с анкором вообще никак не связано. При любой архитектуре изменение модели может повлечь за собой изменение витрин. И кост на переработку будет одинаковый. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 15:17 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Ivan DurakДедушкатут вам стоит пояснить свою мысль... ну быстро дотащить хлам из реляционных источников в хд - это как раз задача репликации. причем в неизменном виде как он прийдет из реплик - он будет еще и удобнее для построения витрин, нежели дата ваулт Мощно задвинул, внушает. А люди мучаются темпоральные КХД создают. А тут взял репликацию источника свалил в кучу и получил кучу... У меня сейчас 30 источников - ERP систем от Калининграда до Владивостока, мне их все нужно связать в единый узел с сохранением всей истории любого изменения данных. Куда здесь я прикину репликацию? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 16:33 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Полковник. Куда здесь я прикину репликацию? Какой тип хранилища выбрали ? Будите ли делать регрессионые тесты ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2017, 20:52 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
HFIvan Durak, Так это с анкором вообще никак не связано. При любой архитектуре изменение модели может повлечь за собой изменение витрин. И кост на переработку будет одинаковый. не одинаковый, совсем не одинаковый ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 09:37 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Полковник.Ivan Durakпропущено... ну быстро дотащить хлам из реляционных источников в хд - это как раз задача репликации. причем в неизменном виде как он прийдет из реплик - он будет еще и удобнее для построения витрин, нежели дата ваулт Мощно задвинул, внушает. А люди мучаются темпоральные КХД создают. А тут взял репликацию источника свалил в кучу и получил кучу... У меня сейчас 30 источников - ERP систем от Калининграда до Владивостока, мне их все нужно связать в единый узел с сохранением всей истории любого изменения данных. Куда здесь я прикину репликацию? найти баланс между велосипедом и коробочным солюшеном всегда сложно. Но видно, что у вас его нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 09:39 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Ivan Durak, Вопрос был не праздный. Разница в костах на изменение модели хранилища при DV/Anchor в сравнении с 3NF/Звезда очевидна. А вот при построении витрины, после того как в само ХД изменения уже внесены - с первого взгляда я не вижу. Для витрины принципиально изменение логической модели данных, а способ ее физического представления на входе принципиального значения не имеет. Какие будут аргументы за усложнение перестроения витрин при Anchor модели? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 11:18 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
HF Вопрос был не праздный. Разница в костах на изменение модели хранилища при DV/Anchor в сравнении с 3NF/Звезда очевидна. Кому очевидна ? Вам ? Аргументы ? Как считали ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 12:02 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
essbase.ru, Ну, например, при Anchor добавление/удаление показателя не требует переработки ранее реализованного функционала ETL и модификации структур существующих таблиц. Фактически, в большинстве случаев можно обойтись внесением изменений в метаданные. В том случае, когда изменения требуются, они более четко локализованы, что также упрощает процесс изменения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 14:10 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
HF, да? и даже не требуется модифицировать то, что показывается пользователям? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 14:30 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Критик, Стоп :) Речь шла об изменении модели самого хранилища (или точнее, детального слоя данных), а не витрин. Про витрины я спрашивал выше. По моему мнению, изменение витрин стоит сопоставимо при любой физической модели самого детального слоя. Если есть аргументы, почему это не так, было бы очень полезно их услышать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 14:37 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Критикда? и даже не требуется модифицировать то, что показывается пользователям?смысл троллить колеги? очевидно же, что если добавляемый показатель\атрибут должен показываться в отчётах (сам по себе или как элемент расчётных показателей), то отчёты требуют модификации. тут дело в том, что модификация отчётов (в большинстве случаев) менее трудоёмка чем модификация существующих таблиц ХД и ETL процессов и более проста в тестировании. что касается затрат на сборку витрины в проекте DV... если вы решаете собирать именно "классическую" витрину поверх DV, то трудозатраты выше чем сборка поверх "классического" ХД. это проистекает из-за того, что в DV бизнес сущность размазана на много таблиц каждая из которых может содержать свои временные диапазоны версий и собрать всё это вместе не просто особенно если у вас слабое железо или реляционная платформа. если же вы делаете DV на MPP системе, то эта трудность сильно сглаживается, а плюсы от лёгкого добавления атрибутов в ХД\ETL наиболее заметны. как я писал выше, нужно понимать плюсы и минусы DV схемы при выборе её для ХД проекта и использовать только если вас припёрли к стенке требованиями частых и непредсказуемых изменений в требованиях на ХД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 15:05 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
HFIvan Durak, Вопрос был не праздный. Разница в костах на изменение модели хранилища при DV/Anchor в сравнении с 3NF/Звезда очевидна. че-то мне вот не очевидно. Огласите пожалуйста разницу с примерами: например новый линк в DV vs новый факт в звезде. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 16:25 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Дедушка, В целом придерживаюсь того же мнения. Касательно частностей Дедушкаесли вы решаете собирать именно "классическую" витрину поверх DV, то трудозатраты выше чем сборка поверх "классического" ХД. это проистекает из-за того, что в DV бизнес сущность размазана на много таблиц каждая из которых может содержать свои временные диапазоны версий и собрать всё это вместе не просто особенно если у вас слабое железо или реляционная платформа. - задача сборки сущности из нескольких таблиц с разной историей не является исключительной для DV/AM (Anchor Model), также присутствует и при 3NF модели. Хорошо то, что решить ее можно один раз и в дальнейшем переиспользовать для различных сущностей и в различных проектах. Поэтому в данном случае, я бы говорил не про трудозатраты на реализацию, а про требования к оборудованию. Проекты DWH длинные как в разработке так и в дальнейшем саппорте, поэтому изменение требований скорее данность, чем исключение. Использование AM позволяет не только повысить гибкость модели, но и позволяет значительно автоматизировать процесс разработки ETL, а также больше переиспользовать код как внутри проекта, так и в последующих проектах, а также масштабировать процесс разработки. На другой чаше весов стоимость железа и первичной разработки (прежде чем переиспользовать, надо один раз сделать). Выбор стар как мир - что лучше, один раз "день потерять, потом за 5 минут долететь" или "посадить сто человек с Excel, пусть считают". Как инженер, я за первый подход, но для бизнеса часто второй бывает выгодней ;) Поэтому к перечисленным Дедушкой критериям использовать или нет DV/AM я бы добавил еще, будете ли вы реализовывать еще подобного рода проекты в будущем или это разовая разработка. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 16:44 |
|
||
|
Регрессионное тестирование хранилища
|
|||
|---|---|---|---|
|
#18+
Ivan Durak, по-моему не в тему. Сравнить можно Link и новую ссылку на факте/измерении. И даже так сравнивать будет тяжело без определенных вводных. Навскидку, под загрузку линка нужен будет отдельный ETL-task, для загруки ссылки нужно будет менять существующий ETL-task со всеми вытекающими. загрузка линка - insert, загрузка ссылки - update, ну или если хотите recreate и как я сказал - минусы и плюсы определите сами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.08.2017, 16:56 |
|
||
|
|

start [/forum/topic.php?all=1&fid=49&tid=1858143]: |
0ms |
get settings: |
10ms |
get forum list: |
16ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
167ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
80ms |
get tp. blocked users: |
2ms |
| others: | 240ms |
| total: | 540ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...