powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Real-time. Помогите, пожалуйста.
25 сообщений из 25, страница 1 из 1
Real-time. Помогите, пожалуйста.
    #32071759
mad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрый день. Помогите новичку, пожалуйста.

Есть несколько коллекторов, собирающих данные по трафику. Раз в 30 минут данные закачиваются в базу [Traffic] в MS SQL Server 2000. На основе этой базы в Analysis Services построен куб. Хочется мне (и моему шефу ;)) ), чтобы данные в кубе автоматически обновлялись после очередной закачки с коллекторов.

Пробовал в Storage Designer поставить ROLAP + Real-time...
Говорит, что не будет делать ничего без индексируемых представлений (при чем здесь они я так и не понял. По пути, если нетрудно, объясните и этот момент, пожалуйста). Может программно реализовать как-нибудь проще будет?

Спасибо.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32071831
mad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
извините,
может, дописать чего-нибудь? вопрос-то правильно задал? ;)
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32071851
DrValery
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Один из вариантов:
-данные закачиваются с помощью DTS
-в этот же пакет включить обновление кубов
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32071855
sasV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
установи все SP к MS SQL2000
были похожие заморочки
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32071870
mad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
to sasV: стоит SP2
to DrValery: данные у меня закачиваются с помощью DTS. Как там сделать обновление куба, пока не откопал ;). Ищу.
Где искать?

Спасибо.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32071883
DrValery
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Там есть таск для этой цели. Открываете редактирование пакета и увидите таск для олапа.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32071960
Фотография Дед Маздай
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В отличие от обычной вьюхи, к-я хранит, по сути, только определение SQL-запроса (он выполняется всякий раз, как происходит обращение к этому view) indexed view хранит результаты, к-е пересчитываются всякий раз, как только что-то меняется в исходных таблицах, над которыми эта view построена. Т.е. indexed views ведут себя сродни индексам, от чего в SQL Server они и получили такое название. (В Oracle, напр., они называются materialized). Ну смысл от названия не меняется. Analysis Services использует индексированные представления для хранения агрегатов в real-time OLAP, п.ч. в них агрегаты пересчитываются на лету при изменении базовых данных в хранилище. Почему SQL Server отказывается по заявке Analysis Services строить indexed view - это основной вопрос в Вашем случае. Во-первых, проверьте, что SQL Server - Enterprise Edition, во-вторых, что семь "магических" опций выставлены на нем в правильное с точки зрения детерминизма положение для сессии, к-ю открывает Analysis Services, т.е. ARITHABORT, CONCAT_NULL_YIELDS_NULL, QUOTED_IDENTIFIER, ANSI_NULLS, ANSI_PADDING, ANSI_WARNINGS - в ON, a NUMERIC_ROUNDABORT – в OFF.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32072295
Alex Fox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Дед Маздай.
Видно что вы умный человек-такие слова знаете (только без обид-шутка :)
Если серьёзно то не выходит Real-Time хоть стреляйся. Вроде все требования выполнил (значения без NULL, не повторяются таблицы и т.д. и т.п). Только в процесссе создания (это когда процесс куба запускаем) говорит: "...Хрен тебе, а не indexed view..." или чтото вроде того.
Хотя если взять запрос который посылается на SQL и выполнить его отдельно то все чики-пики.
Полная непонятка %(.
Вопрос по поводу опций: в SQL не очень силен может подскажете как сие проверить/установить.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32072372
mad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
1. стоит у меня не Enterprise, a Developer Edition
2. Выполнил все рекомендации, поставил переменные так, как надо... Результат, который выдается при попытке процессинга с включенным [Enable Real-time updates]:

Failed to create index.; Time:26.11.2002 11:30:08

Cannot enable real time updates on this partition without indexed views.; Time:26.11.2002 11:30:08
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32072374
mad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А вообще, у меня сейчас все работает с помощью DTS, за что отдельное спасибо DrValery.

Как вы считаете, господа профессионалы, в моей ситуации лучше все с помощью DTS делать или Real-time updates включать?

Куб маленький (6-10 измерений, 500000 фактов).

Спасибо.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32072880
DmitryS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я бы DTS оставил и не маялся. И если куб мелкий - на MOLAPе делал бы... ТОлько Инкрементал апдейтом
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32184569
it_wano
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Все привет. Помогите новичку плиз.

Столкнулся точно с такой же проблемой
устанавливаю для куба Real-time
говорит что не может запроцессить куб
не удается создать индекс на вьюху.

здесь рекомендуют перейти на MOLAP и делать инкрементал апдейт
но мне нужно именно ROLAP - оттрасировал действия - вьюха создается а потом идет проверка ObjectProperty IsIndexable - после этого пишет что не может создать индекс - а какой индекс неизвестно - повторяю код через Query Analyzer - все проходит и создавать индексы разрешает.
В чем может быть проблема ?
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32184773
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Заметно, что ни у кого в реальной эксплуатации RT нет. Иначе бы советы начались с установки галочки Arith Abort в опциях сервера.
Вам я бы советовал использовать zero-aggregation RT.
Посмотрите MSDN.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32184802
it_wano
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Владимир Иванов

Arithmetic abort - я установил
а нельзя ли поподробнее про zero-aggregation RT? все же почему Analysis Manager не может создать indexed view, если я могу?
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32185200
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не может потому, что он работает в другом контексте set-установок.
Все set-установки OLE DB соединения верны по-умолчанию, кроме Arith Abort.
Zero-aggr включается путем указания Perfomance - 0% в Design Storage.
Но граблей дальше будет много, это не Books Online читать, а внедрять.
Пока все сам соберешь месяц пройдет.
В частности indexed view лучше создавать вручную и лучше сделать специальный Real-Time DWH на триггерах. Но это уже для полной замены
MOLAP'ов на RT.

В прочем вот новая статья в Букваре. Читаем внимательно, в том числе между строк.

The Reality of Real-time OLAP

http://msdn.microsoft.com/library/default.asp?url=/library/en-us/dnsql2k/html/sql_real-timeolap.asp
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32185545
DmitryS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
В частности indexed view лучше создавать вручную и лучше сделать специальный Real-Time DWH на триггерах.
Вопросов нет. Только, ИМХО, имеет смысл, только в том случае, если источник триггера поддерживает. А вот ежели данные собираются из каких-нибудь DBF-ов и Ёкселей в том числе, смысл вышесказанного теряется. А вообще, триггера реально лучший вариант. Только возни с ними куда больше.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32185580
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
RT всегда работает на источниках, которые поддерживают триггера, т.к. работает только с MS SQL даже в режиме zero-aggr.

Вот так по-злому, просто с RT реально фактически никто не работает, а вот пописать в форумах или даже прайсах - легко.
В свое время я хотел купить RT исталляцию, но обнаружил, все поставщики даже не пробовали эту технологию.

Почему всегда MS SQL?
RT нужен MS SQL Notification Service, для отслеживания модификаций в исходной БД.
Если модификаций не видно, RT формирует кеш агрегатов, если пришло событие, кеш сбрасывается.

В принципе можно и без триггеров, как я в Сигме сделал. Нужен очень хитрый регистр под RT куб. Иначе грабли бьют по лбу с полного размаха. Например, MDX-выражения просто глючат на сделанных в-лоб RT-измерениях. Например остатки не считаются. Приходится фокусничать.
MS хорошо бы про все это написать в MSDN. Проблемы-то решаемые, но пока сам поставишь 1001 эксперимент уйдет просто куча времени.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32185984
it_wano
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Владимир Иванов
Спасибо - советы в яблочко :-)
Наконец-то Analysis Manager смог создать real time ROLAP

Насчет базы я тоже думаю что денормализованную структуру нужно будет делать на триггерах - я бы не сказал что возни больше - по моему это очень не плохой вариант.

У меня новый вопрос - А почему вы считаете что indexed view лучше создавать вручную ? Как потом Analysis Manager объяснить что эти вьюхи для кубов - он же имена как-то определенно создает и их кол-во зависит от числа агрегаций.

И почему вы советуете использовать zero-aggregation RT - может объясните его плюсы ?
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32186404
DmitryS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
2 Владимир: не так поняли. Под источниками понималось не хранилище, а оперативные источники.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32186537
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
indexed view просто фантастически подбирает оптимизатор запросов MS SQL.
Матпредставления Oracle тут даже близко не лежат.
Посмотрите Query Plan. Иными словами, при zero-aggr и своих indexed view оптимизатор MS SQL сам их подключит невидимо для MS OLAP.
Дубовость indexed view создаваемых самим MS OLAP проявляется в том, что он транслирует полный запрос в indexed view. В результате MS SQL вынужден мониторить изменение в большем числе таблиц, чем нужно и обновлять indexed view по более сложной схеме, это может тормозить insert|update до 40%. Другая тонкость, можно влететь в креш монитора indexed view и быстро, пока юзеры, которые не могут вводить документы будут бегать с дробовиками за вами.
Создание своих indexed view это точно вид искусства, хотя для простых задач штатный RT работает нормально.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32186564
.dba
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
>indexed view просто фантастически подбирает оптимизатор запросов MS SQL.
>Матпредставления Oracle тут даже близко не лежат.

интересное замечание. Если можно поподробнее почему materialized views в Оракл хуже чем indexed views.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32186582
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У меня был проект, где я управлял разработкой на Oracle.
Хранилище и OLAP на Discoverer.
Самое смешное, что нужно было фактически мигрировать готовое решение с MS SQL Enterprise Edition. Клиент не хотел терять $40000 которые он вложил в лицензии Oracle и обучение персонала.
Смех и грех, двое Oracle-девелоперов с ЗП в $1500 и сертификацией Oracle "съели" в 1,4 раза больше срока, чем один девелопер MSCE.
В конце добило обновление мат. представлений по расписанию и невозможность построить аналог готового стат. триггера для MS SQL.
С вашего разрешения я бы не хотел этот вопрос комментировать дальше.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32186633
.dba
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
>Самое смешное, что нужно было фактически мигрировать готовое решение с
>MS SQL Enterprise Edition. Клиент не хотел терять $40000 которые он вложил в
>лицензии Oracle и обучение персонала.
>Смех и грех, двое Oracle-девелоперов с ЗП в $1500 и сертификацией
>Oracle "съели" в 1,4 раза больше срока, чем один девелопер MSCE.

Это не технические проблемы, а организационные.

>В конце добило обновление мат. представлений по расписанию и
>невозможность построить аналог готового стат. триггера для MS SQL.

Materialized view может обновляться как вручную "on demand" (т.е. можно создать job, который будет это делать по расписанию) так и автоматически "on commit". Да, действительно у второго метода есть некоторые ограничения. Вот это и интересно было бы сравнить.

Что такое стат. триггера для MS SQL я не знаю. Но думаю тут тоже стоило бы поговорить более предметно.

>С вашего разрешения я бы не хотел этот вопрос комментировать дальше.

Я тут не обращаюсь конкретно к Владимиру Иванову, а хотелось бы просто предметно подисcкутировать на тему materialized view vs. indexed view. Но и конечно ни в коем случае Oracle vs. MS. Думаю это более уместно в форуме по OLAP чем Сравнение БД, т.к. тут больше людей работающих с indexed view или materialized view.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32186661
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Коллега, у меня на 12 лет работы примерно несколько десятков инсталляций MS SQL и с 1998г его OLAP-сервисов. В тоже время есть опыт ведения всего 2х проектов под Oracle, причем я был только Project Manager и аналитик, но не проектировщик и не программист.
Это я к тому, что не смогу дать хорошее сравнение технологий Microsoft и Oracle, разве что на уровне пользовательских свойст. Но за этим может стоять просто плохая реализация на Oracle, девелоперов мне в обоих проектах выдали. Я не мог нанять себе свой персонал.

Ребята не смогли построить аналог на триггере Oracle вот чего.
http://www.ivn.newmail.ru/ultima2.htm

Пришлось сделать SP по расписанию, причем на MS SQL триггер делал Oracle SP по скорости в .... 400 раз. Слава богу можно было делать вычисления ночью.
...
Рейтинг: 0 / 0
Real-time. Помогите, пожалуйста.
    #32186684
Crip
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Очень кстати интересная система.
Расстраивает одно . Опять все через проводки и бухгалтерию. Торговые компании чаще не проводят документы и для них характерен обратный ввод информации
аналитика - регистры - формирование проводок - регистры
...
Рейтинг: 0 / 0
25 сообщений из 25, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Real-time. Помогите, пожалуйста.
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]