Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Continuous integration в ХД - кто как делает? / 9 сообщений из 9, страница 1 из 1
06.03.2017, 17:01
    #39414883
Continuous integration в ХД - кто как делает?
Всем доброго времени суток.

Стоит задача сделать continuous integration для BI проекта. У заказчика есть все - и SQL Server, и SSAS, и отдельно другие СУБД, и Hadoop, и Informatica.... чего только нет.

То есть, надо чтобы разработчики делали коммит, в коммите включали пачку изменений (альтеры баз данных, скрипты для перезаполнения таблиц, включали сами пакеты, bash файлы и т.д. - все, что они проделали, и это все вначале деплоилось на QA, прогонялась пачка тестов, если вдруг зафейлился апдейт одного чего-то - должен идти rollback всего (вот это самая большая загвоздка - КАК?), и т.д.

Вопрос: кто решал подобные задачи? Может кто-то статьи видел на эту тему?

Буду благодарен за ЛЮБУЮ информацию на эту тему.
...
Рейтинг: 0 / 0
06.03.2017, 17:46
    #39414916
Leoris
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Continuous integration в ХД - кто как делает?
А зачем вам нужен CI в BI если не секрет? Если я правильно понимаю что это такое, идеология CI - множество мелких улучшений какого-то монолитного продукта/сервиса + автоматизация всех рутинных процессов, типа сборки, прогона тестов и т.д.

Я затрудняюсь найти аналог такого монолита в BI. У вас есть источники данных, есть таблицы. между ними есть связи, но всё таки это отдельные объекты. ИМХО тут вполне достаточно принципов Agile

А на тему Agile BI статей много, как вариант: https://www.thoughtworks.com/insights/blog/agile-data-warehousing-and-business-intelligence-action
...
Рейтинг: 0 / 0
06.03.2017, 20:05
    #39415002
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Continuous integration в ХД - кто как делает?
Игорь Бобак,
имхо
бэкап\снапшот (копирование файлов)
можно конечно генерить скрипты отката, но при наличии сложных деплоев (скрипты миграции и пр.) это сильно трудоёмко
ну и конкретика зависит от окружения (поддерживают ли какие либо части версионность, например тот же ssis)
...
Рейтинг: 0 / 0
06.03.2017, 22:26
    #39415074
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Continuous integration в ХД - кто как делает?
ДедушкаИгорь Бобак,
имхо
бэкап\снапшот (копирование файлов)
можно конечно генерить скрипты отката, но при наличии сложных деплоев (скрипты миграции и пр.) это сильно трудоёмко
ну и конкретика зависит от окружения (поддерживают ли какие либо части версионность, например тот же ssis)

SSIS поддерживает же, пкм на задеплоенный проект, меню "версии".
По теме - на поддержку уйдет море ресурсов, не рационально будет. Делайте CI в рамках отдельных подсистем.
...
Рейтинг: 0 / 0
06.03.2017, 22:30
    #39415076
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Continuous integration в ХД - кто как делает?
КритикSSIS поддерживает жеДедушканапример тот же ssisимел в виду, что ссис поддерживает, а про остальные нужно выяснять :)
...
Рейтинг: 0 / 0
09.03.2017, 09:19
    #39416011
ShIgor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Continuous integration в ХД - кто как делает?
Игорь Бобак,

посмотри RedGate DLM Automation. он какую-то часть работы делает, во всяком случае что касается MS SQL.
...
Рейтинг: 0 / 0
09.03.2017, 15:43
    #39416273
soulsurfer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Continuous integration в ХД - кто как делает?
Игорь БобакТо есть, надо чтобы разработчики делали коммит, в коммите включали пачку изменений (альтеры баз данных, скрипты для перезаполнения таблиц, включали сами пакеты, bash файлы и т.д. - все, что они проделали, и это все вначале деплоилось на QA, прогонялась пачка тестов, если вдруг зафейлился апдейт одного чего-то - должен идти rollback всего (вот это самая большая загвоздка - КАК?), и т.д.

Для таких задач есть Database versioning tools, тот же Liquibase. Но это двойная нагрузка на разработчиков, т.к. они будут писать не только альтеры таблиц и других объектов, но и обратные скрипты для отката. Есть платный Datical, но он облегчает написание роллбэков только для простых ситуаций. Сложные случаи все равно руками.

На самом деле тут ситуация существенно сложнее, чем может показаться с первого взгляда, т.к. для того, чтобы CI взлетел, должна быть продумана гораздо более сложная архитектура ХД, гораздо больше затрат на написание тестов и т.д. В самом идеальном случае бюджет BI проекта вырастает втрое минимум при не совсем гарантированных улучшениях. Работы прибавится существенно, а усложнить все и сломать к черту весь процесс разработки легче легкого.
...
Рейтинг: 0 / 0
25.06.2017, 01:11
    #39477200
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Continuous integration в ХД - кто как делает?
Как я понимаю технически это никак не решилось?
...
Рейтинг: 0 / 0
25.06.2017, 22:16
    #39477349
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Continuous integration в ХД - кто как делает?
Игорь БобакВсем доброго времени суток.

Стоит задача сделать continuous integration для BI проекта. У заказчика есть все - и SQL Server, и SSAS, и отдельно другие СУБД, и Hadoop, и Informatica.... чего только нет.

То есть, надо чтобы разработчики делали коммит, в коммите включали пачку изменений (альтеры баз данных, скрипты для перезаполнения таблиц, включали сами пакеты, bash файлы и т.д. - все, что они проделали, и это все вначале деплоилось на QA, прогонялась пачка тестов, если вдруг зафейлился апдейт одного чего-то - должен идти rollback всего (вот это самая большая загвоздка - КАК?), и т.д.

Вопрос: кто решал подобные задачи? Может кто-то статьи видел на эту тему?

Буду благодарен за ЛЮБУЮ информацию на эту тему.


Сделано, работает, но делалось это не на коленке (скрипты и BAT файлы) а солидным объемом программирования на С#
который дергает нужный функционал SQL DB, SSIS, SSAS.

Что вас конкретно интересует?
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Continuous integration в ХД - кто как делает? / 9 сообщений из 9, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]