Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Регрессионное тестирование хранилища / 25 сообщений из 42, страница 1 из 2
  1  все
02.08.2017, 11:22
    #39498879
essbase.ru
essbase.ru
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
Ищу способ оценивать влияние разработки на хранилище .. Кто нить раскроет инфу по своим лучшим практикам ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.08.2017, 11:52
    #39498915
Jack Carver
Jack Carver
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
DbFit
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.08.2017, 12:51
    #39498950
Sintetik
Sintetik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю]
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.08.2017, 13:52
    #39499001
essbase.ru
essbase.ru
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
Sintetik,

Ок. про деньги тоже интересно ) но больше всего болит о том как проверить что новая разработка не сломает замок на костылях , который возник в прошлый раз
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.08.2017, 14:08
    #39499021
essbase.ru
essbase.ru
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
Sintetik[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю]


для инфо - в науке готворят - чем больше делаешь - тем меньше должен времени тратить

http://baguzin.ru/wp/?p=2222
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.08.2017, 14:46
    #39499051
Sintetik
Sintetik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
essbase.ruSintetik[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю]


для инфо - в науке готворят - чем больше делаешь - тем меньше должен времени тратить

http://baguzin.ru/wp/?p=2222
может мы о разном? я про опыт когда исходные системы откуда тащили данные в ХД быстро изменялись, и менялись не нами
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.08.2017, 17:39
    #39502018
a_voronin
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
essbase.ru,

Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form

Эта концепция ориентирована на частые изменения в ХД
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.08.2017, 17:49
    #39502026
Критик
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
a_voronin,

только удобство работы будет околонулевое
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.08.2017, 17:52
    #39502029
Гулин Федор
Гулин Федор
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
Jack CarverDbFit
а пару слов как что и зачем ?
кто пишет тесты как они запускаются (автоматически через какой-то CI )
и т.д и т.п
поделитесь плз опытом ( можно без деталей - общая схема плюсы и минусы)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.08.2017, 19:27
    #39502102
Дедушка
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
как говорится: "мопед не мой..."
тестирование ХД в Тинькофф
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.08.2017, 21:39
    #39502174
essbase.ru
essbase.ru
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
a_voroninessbase.ru,

Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form

Эта концепция ориентирована на частые изменения в ХД

Да меня тоже заинтересовал cпич архитектора из AVITO. Такой жесткий PR заставляет задуматься .( и для новго проекта я тоже это попробую )

* осталось придумать как развивать старье ) вот ради этого и подпрыгиваю.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.08.2017, 07:56
    #39502277
Полковник.
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
essbase.rua_voroninessbase.ru,

Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form

Эта концепция ориентирована на частые изменения в ХД

Да меня тоже заинтересовал cпич архитектора из AVITO. Такой жесткий PR заставляет задуматься .( и для новго проекта я тоже это попробую )

* осталось придумать как развивать старье ) вот ради этого и подпрыгиваю.

Data Vault то чем не угодил? Любое нормализованное ХД поддерживает изменения, даже простая 3NF.

Встречал такого Гопова, который затеял анкер в одном из банков, уж не знаю ради чего, подозреваю, что ради собственных амбиций. Идея провалилась, архитектор сбежал, люди которые остались переделывали все это на звезду-снежинку.

А ведь есть ещё и "голандская" модель КХД.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.08.2017, 13:54
    #39502569
essbase.ru
essbase.ru
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
Полковник.Идея провалилась
эх.. анализ провала бы найти и почитать )
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.08.2017, 14:22
    #39502608
Дедушка
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
essbase.ruэх.. анализ провала бы найти и почитать )ну а чего там читать :)
что DataVault, что Anchor разбивает бизнес сущность на много объектов и на этапе построения денормализованной витрины у вас начинается "ад" (ad-hoc ту да же).
это как EAV... нужно стараться избегать пока возможно и использовать когда припрёт (понимая все плюсы\минусы).
когда у вас большое ХД и частые изменения структуры (добавление сущностей, атрибутов и тд), то деваться некуда и приходится идти по этому пути "мышей с кактусом".
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.08.2017, 17:30
    #39502799
Voyager_lan
Voyager_lan
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
Дедушкаessbase.ruэх.. анализ провала бы найти и почитать )ну а чего там читать :)
что DataVault, что Anchor разбивает бизнес сущность на много объектов и на этапе построения денормализованной витрины у вас начинается "ад" (ad-hoc ту да же).
это как EAV... нужно стараться избегать пока возможно и использовать когда припрёт (понимая все плюсы\минусы).
когда у вас большое ХД и частые изменения структуры (добавление сущностей, атрибутов и тд), то деваться некуда и приходится идти по этому пути "мышей с кактусом".
От себя добавлю. Для долгоиграющих проектов (так сказать, "есть слона по кускам" несколько лет) оное актуально, т.к. ТЗ уже раз 10 устареет пока напишешь плюс сокращение времени на доработку ETL/DWH. Расплата же все равно настигент на этапе построения денормализованной витрины :) Но оно того будет стоить.
Ежели скоуп известен заранее, то Kimball рулит, т.к. все преимужества Anchor / DV modelling будут несущественны.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.08.2017, 18:14
    #39502857
sergei_go
sergei_go
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
Полковник.,
Не амбиций, а ради реалий, когда ресурсов на работу с требованиями внутри заложено не было, а внешний подрядчик обладал экспертизой студентов.
Не амбиций, а ради итерационного постепенного развития.
Не оставшиеся люди, а вновь пришедшие, которые не смогли понять идею.
Там не просто Anchor был, а bitemporal Anchor.
Безусловно Anchor, как и любой другой подход, уместен при определённых вводных, и должен сказать при высоком уровне автоматизации. В AVITO, как раз, это и сделали. В противном случае очень много рутины.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.08.2017, 20:23
    #39502915
essbase.ru
essbase.ru
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
sergei_go при высоком уровне автоматизации
автоматизация чего?
* очень странный посыл - априори - хранилище это не про ручной ввод ))
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.08.2017, 22:49
    #39502971
Дедушка
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
essbase.ruавтоматизация чего?пример:
ХД DataVault на mssql (около 1000 таблиц)
ETL на ssis (около 1000 пакетов)
автоматизация - построение ETL biml-ом по метаданным, а не руками
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.08.2017, 23:04
    #39502978
Критик
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
Дедушкаавтоматизация - построение ETL biml-ом по метаданным, а не руками

имеет ли смысл такая автоматизация?
девочку-студентку нанять за 30 тыр, она за месяц всю тысячу сделает,

а с biml`ом требования к разработчику повышаются, а раз так, то и зп ему нужно большую платить
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.08.2017, 00:17
    #39503002
Alex_496
Alex_496
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
КритикДедушкаавтоматизация - построение ETL biml-ом по метаданным, а не руками

имеет ли смысл такая автоматизация?
девочку-студентку нанять за 30 тыр, она за месяц всю тысячу сделает,

а с biml`ом требования к разработчику повышаются, а раз так, то и зп ему нужно большую платить

телефончик той студентки дадите?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.08.2017, 01:09
    #39503011
sergei_go
sergei_go
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
essbase.ru,
Дедушка уже ответил.
Критик,
человеческий фактор никто не отменял, девочку найти нужно, за девочкой следить нужно.
Да есть на рынке уже автоматизация ETL, и для Anchor, и для DataVault - этим они и хороши, но в отличии от от DataVault, где можно себе волю дать в объединении атрибутов, AM содержит более строгие правила для создания модели.
Как и везде свои плюсы, свои минусы.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.08.2017, 12:41
    #39503979
HF
HF
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
Voyager_lan,

Про расплату можно подробнее? Кроме серьезных требований к железу, для построения витрин, какие еще последствия?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.08.2017, 13:41
    #39504045
Ivan Durak
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
Дедушкаessbase.ruавтоматизация чего?пример:
ХД DataVault на mssql (около 1000 таблиц)
ETL на ssis (около 1000 пакетов)
автоматизация - построение ETL biml-ом по метаданным, а не руками
м-м-м-м.... а можно было настроить простую репликацию.....
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.08.2017, 13:42
    #39504048
Ivan Durak
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
HFVoyager_lan,

Про расплату можно подробнее? Кроме серьезных требований к железу, для построения витрин, какие еще последствия?
частые изменения структуры - получи частую ручную переделку витрин.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.08.2017, 13:46
    #39504055
Ivan Durak
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Регрессионное тестирование хранилища
Дедушкакак говорится: "мопед не мой..."
тестирование ХД в Тинькофф
по факту там смоук теститнг - накатили изменения - весь etl не упал - хорошо. Регрес пройден
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
  1  все
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Регрессионное тестирование хранилища / 25 сообщений из 42, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 261ms
Закрыть
start [/forum/topic.php?fid=49&mobile=1&tid=1858143]:
 0ms
get settings:
 8ms
get forum list:
 11ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 163ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 50ms
get tp. blocked users:
 1ms
others: 11ms
total:  261ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]