Гость
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite / 14 сообщений из 14, страница 1 из 1
07.08.2020, 16:00
    #39987545
Freincman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite
Есть желание организовать считывание большого количества данных с реплики на чтение(read-only), затем там же рассчитать,
итоговые снимки сохранять уже на основной реплике.

Много написано, как настроить AlwaysOn, но мало по его использованию в качестве источника данных для отчетов.
AlwaysOn и слушателей мы настроили, SSRS нормально работает от реплики-read-only.

Но тяжёлая часть по чтению и расчету биллинг-данных, пока не разведена по репликам.
Подскажите, плиз, схему, как считать на одной реплике, закидывать результат на основную?
Обязательно ли через SSIS?

*снимки отчетов обычно храним таблице в поле формата XML
...
Рейтинг: 0 / 0
07.08.2020, 16:15
    #39987554
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite
Freincman,

У меня создается впечатление, что вы городите один большой костыль.

Отчеты делаются от Хранилища данных. От витрин.

Вам нужно его создать и разработать, закачать туда данных и преобразовать их в схему звезда. Сделать витрины. Вот от этого делать отчеты. Делать кубы.

Все эти извращения с репликами ведут в никуда.

Правильный подход описан здесь

https://www.kimballgroup.com/data-warehouse-business-intelligence-resources/books/microsoft-data-warehouse-dw-toolkit/
...
Рейтинг: 0 / 0
07.08.2020, 16:16
    #39987556
Владислав Колосов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite
Freincman,

SSIS - самое простое решение.
...
Рейтинг: 0 / 0
07.08.2020, 16:17
    #39987559
Freincman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite
Да, костыль, прогиб под клиента и прочее.

Кубы не подойдут, т.к. очень много естественных ключей, которые тянуть в измерения смысла нет тянуть абсолютно.
Биллингу нужны конечные цифры и отчеты расшифровки.

BI не слишком тут подходит
...
Рейтинг: 0 / 0
07.08.2020, 16:33
    #39987573
miceonly
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite
Freincman
Биллингу нужны конечные цифры и отчеты расшифровки.

BI не слишком тут подходит

Я извиняюсь, а для чего тогда хранилища и BI нужны?
...
Рейтинг: 0 / 0
07.08.2020, 16:52
    #39987595
Freincman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite
miceonly
Freincman
Биллингу нужны конечные цифры и отчеты расшифровки.

BI не слишком тут подходит

Я извиняюсь, а для чего тогда хранилища и BI нужны?



Согласен, что в идеале всё считать из хранилища и закидывать в кубы.
У нас есть небольшой опыт построения OLAP кубов и сбор данных.

Но! в этом процессе слишком много нюансов. Если положить допустим 15 сущностей с 30-50 атрибутами на измерения, которые частично используются для разных клиентов и соответственно отчетов, то схема-звезда заимеет очень много лучей.
Прописывание часто изменяемых условий для расчета требуемых Стоимостей, КПИ и прочего займёт года и кучу рукочасов.

Поэтому, в таком случае если и закидывать данные в хранилище, то уже частично посчитанные(сведенные к нескольким измерениям и фактам). А частично посчитанные данные не имеют расшифровки. Тогда смысл в Кубе и Хранилище, если из него не достать ключевых деталей.
...
Рейтинг: 0 / 0
07.08.2020, 16:54
    #39987598
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite
Freincman

Кубы не подойдут, т.к. очень много естественных ключей.


Какая разница какие ключи в источнике. Надо строить модель на суррогатных ключах. Надо спроектировать ХД.

Если это скоростное что-то, то надо делать Operational Data Storage. Все равно вы упретесь в то, что понадобиться дополнительные справочники. Будет обвешивать индексами и т.п.
...
Рейтинг: 0 / 0
07.08.2020, 16:55
    #39987599
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite
Freincman

Биллингу нужны конечные цифры и отчеты расшифровки.



Посмотрите вот это
YouTube Video
...
Рейтинг: 0 / 0
07.08.2020, 17:09
    #39987607
Freincman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite
a_voronin
Freincman

Кубы не подойдут, т.к. очень много естественных ключей.


Какая разница какие ключи в источнике. Надо строить модель на суррогатных ключах. Надо спроектировать ХД.

Если это скоростное что-то, то надо делать Operational Data Storage. Все равно вы упретесь в то, что понадобиться дополнительные справочники. Будет обвешивать индексами и т.п.



Ну, как бы пробовали у нас построить хранилище данных для складской выработки. Собирается всё отлично, замечательно, из разных источников.

Только вот посчитать красиво (при допустим ежемесячных изменениях фильтрации):
- на каком источнике данных
- какого типа операции
- какого клиента
- какого товара
- когда
- где
- чем
- с каким качеством
- etc
как выдавать расценку, трудозатратность и прочее - стало просто не реально.

Пришли к тому, что литься будут данные в ХД уже посчитанные группой преднастроенных датасэтов. Т.к. ведение логики вышеперечисленных в самом кубе приведёт к сумасшествию и конфликтам. Ну и потерям денег

в итоге думается будут храниться только ключевые вещи
код норматива-исполнитель-дата-стоимость-количество-время ну и небольшое прочее
...
Рейтинг: 0 / 0
07.08.2020, 17:12
    #39987609
Freincman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite
штош, спасибо за наставления и внимание.

Буду думать...
...
Рейтинг: 0 / 0
07.08.2020, 17:24
    #39987615
miceonly
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite
Freincman
Но! в этом процессе слишком много нюансов. Если положить допустим 15 сущностей с 30-50 атрибутами на измерения, которые частично используются для разных клиентов и соответственно отчетов, то схема-звезда заимеет очень много лучей.
Прописывание часто изменяемых условий для расчета требуемых Стоимостей, КПИ и прочего займёт года и кучу рукочасов.

А у вас сейчас все считается "на лету"?
...
Рейтинг: 0 / 0
07.08.2020, 17:33
    #39987619
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite
Freincman
a_voronin
пропущено...


Какая разница какие ключи в источнике. Надо строить модель на суррогатных ключах. Надо спроектировать ХД.

Если это скоростное что-то, то надо делать Operational Data Storage. Все равно вы упретесь в то, что понадобиться дополнительные справочники. Будет обвешивать индексами и т.п.



Ну, как бы пробовали у нас построить хранилище данных для складской выработки. Собирается всё отлично, замечательно, из разных источников.

Только вот посчитать красиво (при допустим ежемесячных изменениях фильтрации):
- на каком источнике данных
- какого типа операции
- какого клиента
- какого товара
- когда
- где
- чем
- с каким качеством
- etc
как выдавать расценку, трудозатратность и прочее - стало просто не реально.

Пришли к тому, что литься будут данные в ХД уже посчитанные группой преднастроенных датасэтов. Т.к. ведение логики вышеперечисленных в самом кубе приведёт к сумасшествию и конфликтам. Ну и потерям денег

в итоге думается будут храниться только ключевые вещи
код норматива-исполнитель-дата-стоимость-количество-время ну и небольшое прочее


Я делал миллиардные остатки с 20+ измерениями и кучей вычислений. Не понимаю, о каком сумасшествии идет речь. Вы не смогли правильно построить модель.

Я кстати сейчас рассматриваю предложения о работе. Пишите, если что на a_voronin собака list.ru Москва
...
Рейтинг: 0 / 0
10.08.2020, 09:29
    #39988053
Freincman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite
miceonly
Freincman
Но! в этом процессе слишком много нюансов. Если положить допустим 15 сущностей с 30-50 атрибутами на измерения, которые частично используются для разных клиентов и соответственно отчетов, то схема-звезда заимеет очень много лучей.
Прописывание часто изменяемых условий для расчета требуемых Стоимостей, КПИ и прочего займёт года и кучу рукочасов.

А у вас сейчас все считается "на лету"?



Нет, мне не нужно считать на лету. Мы просто хотиим не нагружать операционную базу, тк temdb разрастается очень сильно и много чтения производится.

Видео приложенное про лямбду очень интересное, но нам на лету - не надо)
...
Рейтинг: 0 / 0
10.08.2020, 09:32
    #39988054
Freincman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite
a_voronin
Freincman
пропущено...



Ну, как бы пробовали у нас построить хранилище данных для складской выработки. Собирается всё отлично, замечательно, из разных источников.

Только вот посчитать красиво (при допустим ежемесячных изменениях фильтрации):
- на каком источнике данных
- какого типа операции
- какого клиента
- какого товара
- когда
- где
- чем
- с каким качеством
- etc
как выдавать расценку, трудозатратность и прочее - стало просто не реально.

Пришли к тому, что литься будут данные в ХД уже посчитанные группой преднастроенных датасэтов. Т.к. ведение логики вышеперечисленных в самом кубе приведёт к сумасшествию и конфликтам. Ну и потерям денег

в итоге думается будут храниться только ключевые вещи
код норматива-исполнитель-дата-стоимость-количество-время ну и небольшое прочее


Я делал миллиардные остатки с 20+ измерениями и кучей вычислений. Не понимаю, о каком сумасшествии идет речь. Вы не смогли правильно построить модель.

Я кстати сейчас рассматриваю предложения о работе. Пишите, если что на a_voronin собака list.ru Москва


у нас допустим измерений 20+*15, из них то, что нужно клиенту 10+.
За каждым следить и тем более кому либо давать в доступ и на каждое настраивать фильтр - не реально
...
Рейтинг: 0 / 0
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / AlwaysOn - собрать с реплики-readonly, результат закинуть на реплику-readwrite / 14 сообщений из 14, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]