ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Регрессионное тестирование хранилища
25 сообщений из 42, страница 1 из 2
  1  все
Регрессионное тестирование хранилища
    #39498879
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
Ищу способ оценивать влияние разработки на хранилище .. Кто нить раскроет инфу по своим лучшим практикам ?
...
Рейтинг: 0 / 0
02.08.2017, 11:22
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39498915
Jack Carver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jack Carver
Участник
DbFit
...
Рейтинг: 0 / 0
02.08.2017, 11:52
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39498950
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sintetik
Участник
[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю]
...
Рейтинг: 0 / 0
02.08.2017, 12:51
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39499001
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
Sintetik,

Ок. про деньги тоже интересно ) но больше всего болит о том как проверить что новая разработка не сломает замок на костылях , который возник в прошлый раз
...
Рейтинг: 0 / 0
02.08.2017, 13:52
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39499021
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
Sintetik[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю]


для инфо - в науке готворят - чем больше делаешь - тем меньше должен времени тратить

http://baguzin.ru/wp/?p=2222
...
Рейтинг: 0 / 0
02.08.2017, 14:08
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39499051
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sintetik
Участник
essbase.ruSintetik[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю]


для инфо - в науке готворят - чем больше делаешь - тем меньше должен времени тратить

http://baguzin.ru/wp/?p=2222
может мы о разном? я про опыт когда исходные системы откуда тащили данные в ХД быстро изменялись, и менялись не нами
...
Рейтинг: 0 / 0
02.08.2017, 14:46
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39502018
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
essbase.ru,

Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form

Эта концепция ориентирована на частые изменения в ХД
...
Рейтинг: 0 / 0
08.08.2017, 17:39
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39502026
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
a_voronin,

только удобство работы будет околонулевое
...
Рейтинг: 0 / 0
08.08.2017, 17:49
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39502029
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гулин Федор
Участник
Jack CarverDbFit
а пару слов как что и зачем ?
кто пишет тесты как они запускаются (автоматически через какой-то CI )
и т.д и т.п
поделитесь плз опытом ( можно без деталей - общая схема плюсы и минусы)
...
Рейтинг: 0 / 0
08.08.2017, 17:52
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39502102
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дедушка
Участник
как говорится: "мопед не мой..."
тестирование ХД в Тинькофф
...
Рейтинг: 0 / 0
08.08.2017, 19:27
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39502174
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
a_voroninessbase.ru,

Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form

Эта концепция ориентирована на частые изменения в ХД

Да меня тоже заинтересовал cпич архитектора из AVITO. Такой жесткий PR заставляет задуматься .( и для новго проекта я тоже это попробую )

* осталось придумать как развивать старье ) вот ради этого и подпрыгиваю.
...
Рейтинг: 0 / 0
08.08.2017, 21:39
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39502277
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Полковник.
Участник
essbase.rua_voroninessbase.ru,

Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form

Эта концепция ориентирована на частые изменения в ХД

Да меня тоже заинтересовал cпич архитектора из AVITO. Такой жесткий PR заставляет задуматься .( и для новго проекта я тоже это попробую )

* осталось придумать как развивать старье ) вот ради этого и подпрыгиваю.

Data Vault то чем не угодил? Любое нормализованное ХД поддерживает изменения, даже простая 3NF.

Встречал такого Гопова, который затеял анкер в одном из банков, уж не знаю ради чего, подозреваю, что ради собственных амбиций. Идея провалилась, архитектор сбежал, люди которые остались переделывали все это на звезду-снежинку.

А ведь есть ещё и "голандская" модель КХД.
...
Рейтинг: 0 / 0
09.08.2017, 07:56
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39502569
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
Полковник.Идея провалилась
эх.. анализ провала бы найти и почитать )
...
Рейтинг: 0 / 0
09.08.2017, 13:54
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39502608
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дедушка
Участник
essbase.ruэх.. анализ провала бы найти и почитать )ну а чего там читать :)
что DataVault, что Anchor разбивает бизнес сущность на много объектов и на этапе построения денормализованной витрины у вас начинается "ад" (ad-hoc ту да же).
это как EAV... нужно стараться избегать пока возможно и использовать когда припрёт (понимая все плюсы\минусы).
когда у вас большое ХД и частые изменения структуры (добавление сущностей, атрибутов и тд), то деваться некуда и приходится идти по этому пути "мышей с кактусом".
...
Рейтинг: 0 / 0
09.08.2017, 14:22
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39502799
Voyager_lan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Voyager_lan
Участник
Дедушкаessbase.ruэх.. анализ провала бы найти и почитать )ну а чего там читать :)
что DataVault, что Anchor разбивает бизнес сущность на много объектов и на этапе построения денормализованной витрины у вас начинается "ад" (ad-hoc ту да же).
это как EAV... нужно стараться избегать пока возможно и использовать когда припрёт (понимая все плюсы\минусы).
когда у вас большое ХД и частые изменения структуры (добавление сущностей, атрибутов и тд), то деваться некуда и приходится идти по этому пути "мышей с кактусом".
От себя добавлю. Для долгоиграющих проектов (так сказать, "есть слона по кускам" несколько лет) оное актуально, т.к. ТЗ уже раз 10 устареет пока напишешь плюс сокращение времени на доработку ETL/DWH. Расплата же все равно настигент на этапе построения денормализованной витрины :) Но оно того будет стоить.
Ежели скоуп известен заранее, то Kimball рулит, т.к. все преимужества Anchor / DV modelling будут несущественны.
...
Рейтинг: 0 / 0
09.08.2017, 17:30
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39502857
sergei_go
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sergei_go
Гость
Полковник.,
Не амбиций, а ради реалий, когда ресурсов на работу с требованиями внутри заложено не было, а внешний подрядчик обладал экспертизой студентов.
Не амбиций, а ради итерационного постепенного развития.
Не оставшиеся люди, а вновь пришедшие, которые не смогли понять идею.
Там не просто Anchor был, а bitemporal Anchor.
Безусловно Anchor, как и любой другой подход, уместен при определённых вводных, и должен сказать при высоком уровне автоматизации. В AVITO, как раз, это и сделали. В противном случае очень много рутины.
...
Рейтинг: 0 / 0
09.08.2017, 18:14
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39502915
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
sergei_go при высоком уровне автоматизации
автоматизация чего?
* очень странный посыл - априори - хранилище это не про ручной ввод ))
...
Рейтинг: 0 / 0
09.08.2017, 20:23
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39502971
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дедушка
Участник
essbase.ruавтоматизация чего?пример:
ХД DataVault на mssql (около 1000 таблиц)
ETL на ssis (около 1000 пакетов)
автоматизация - построение ETL biml-ом по метаданным, а не руками
...
Рейтинг: 0 / 0
09.08.2017, 22:49
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39502978
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
Дедушкаавтоматизация - построение ETL biml-ом по метаданным, а не руками

имеет ли смысл такая автоматизация?
девочку-студентку нанять за 30 тыр, она за месяц всю тысячу сделает,

а с biml`ом требования к разработчику повышаются, а раз так, то и зп ему нужно большую платить
...
Рейтинг: 0 / 0
09.08.2017, 23:04
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39503002
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_496
Участник
КритикДедушкаавтоматизация - построение ETL biml-ом по метаданным, а не руками

имеет ли смысл такая автоматизация?
девочку-студентку нанять за 30 тыр, она за месяц всю тысячу сделает,

а с biml`ом требования к разработчику повышаются, а раз так, то и зп ему нужно большую платить

телефончик той студентки дадите?
...
Рейтинг: 0 / 0
10.08.2017, 00:17
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39503011
sergei_go
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sergei_go
Гость
essbase.ru,
Дедушка уже ответил.
Критик,
человеческий фактор никто не отменял, девочку найти нужно, за девочкой следить нужно.
Да есть на рынке уже автоматизация ETL, и для Anchor, и для DataVault - этим они и хороши, но в отличии от от DataVault, где можно себе волю дать в объединении атрибутов, AM содержит более строгие правила для создания модели.
Как и везде свои плюсы, свои минусы.
...
Рейтинг: 0 / 0
10.08.2017, 01:09
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39503979
HF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HF
Гость
Voyager_lan,

Про расплату можно подробнее? Кроме серьезных требований к железу, для построения витрин, какие еще последствия?
...
Рейтинг: 0 / 0
11.08.2017, 12:41
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39504045
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
Дедушкаessbase.ruавтоматизация чего?пример:
ХД DataVault на mssql (около 1000 таблиц)
ETL на ssis (около 1000 пакетов)
автоматизация - построение ETL biml-ом по метаданным, а не руками
м-м-м-м.... а можно было настроить простую репликацию.....
...
Рейтинг: 0 / 0
11.08.2017, 13:41
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39504048
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
HFVoyager_lan,

Про расплату можно подробнее? Кроме серьезных требований к железу, для построения витрин, какие еще последствия?
частые изменения структуры - получи частую ручную переделку витрин.
...
Рейтинг: 0 / 0
11.08.2017, 13:42
| Ответить | Цитировать | Написать  
Регрессионное тестирование хранилища
    #39504055
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
Дедушкакак говорится: "мопед не мой..."
тестирование ХД в Тинькофф
по факту там смоук теститнг - накатили изменения - весь etl не упал - хорошо. Регрес пройден
...
Рейтинг: 0 / 0
11.08.2017, 13:46
| Ответить | Цитировать | Написать  
25 сообщений из 42, страница 1 из 2
  1  все
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Регрессионное тестирование хранилища
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=49&msg=39504045&tid=1858143]:
 0ms
get settings:
 10ms
get forum list:
 15ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 164ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 54ms
get tp. blocked users:
 1ms
others: 242ms
total:  507ms
созд. / загр.: 507ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]