Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Хождение по мукам. 10 млн. юзеров и Microsoft / 7 сообщений из 7, страница 1 из 1
02.02.2005, 01:45
    #32895905
Владимир Иванов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хождение по мукам. 10 млн. юзеров и Microsoft
Мда.
Хочу поделится опытом.
Реализовали систему анализа GSM-логов.
Объемы в сотни млн. фактов на проверку оказались для MS AS не проблема.
Однако могучие измерения типа 10 млн. юзеров плюс 100 тыс. мелодий и картинок для СМС-сервисов оказались просто сексуально задачей.
Переодически MS AS виснет на процессинге измерений.
В сапорте MS отвечают, что типа у вас полетело MOLAP-хранилище и сделайте репроцесс. Ну-ну. Мильярдик фактов так легко.
Нам пришлось сделать специальный реаниматор сервиса MS AS который выводит его из полного дауна.

Интересно, кто-нибудь еще имеет промышленное решение с 10 млн. в измерениях?
Опытом делиться не с кем.

PS. Прототипы не в счет. Прототип работает хорошо, башня у MS AS падает время от времени.
...
Рейтинг: 0 / 0
02.02.2005, 03:15
    #32895923
Mosha
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хождение по мукам. 10 млн. юзеров и Microsoft
Я знаю несколько телекомовских имплементаций на MS AS, они все перешли на платформу 64bit - что и Вам рекоммендую.
А то что процессинг виснет - это баг. Советую вам взять minidump этого зависания и послать его в PSS. Впрочем если это окажется не настоящее зависание, а просто очеееееень медленно работает из за того что памяти не хватает, то они тоже скажут что надо переходить на 64 бита...

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
02.02.2005, 10:28
    #32896324
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хождение по мукам. 10 млн. юзеров и Microsoft
Владимир ИвановМда.
Хочу поделится опытом.
Реализовали систему анализа GSM-логов.
Объемы в сотни млн. фактов на проверку оказались для MS AS не проблема.
Однако могучие измерения типа 10 млн. юзеров плюс 100 тыс. мелодий и картинок для СМС-сервисов оказались просто сексуально задачей.
Переодически MS AS виснет на процессинге измерений.
В сапорте MS отвечают, что типа у вас полетело MOLAP-хранилище и сделайте репроцесс. Ну-ну. Мильярдик фактов так легко.
Нам пришлось сделать специальный реаниматор сервиса MS AS который выводит его из полного дауна.

Интересно, кто-нибудь еще имеет промышленное решение с 10 млн. в измерениях?
Опытом делиться не с кем.

PS. Прототипы не в счет. Прототип работает хорошо, башня у MS AS падает время от времени.

У меня есть, правда до 10 не дожило, но 8,5 уже. На процессинге глюков не наблюдаю. Только у меня никакого инкрементала, каждую ночь полный репроцессинг. И все живет на STD Edition.
...
Рейтинг: 0 / 0
02.02.2005, 14:44
    #32897226
Владимир Иванов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хождение по мукам. 10 млн. юзеров и Microsoft
Мы тоже отключали инкременталку измерений.
Несколько помогает, но все равно hang up.

Перейдем на 64 бита или Юкон форева.
...
Рейтинг: 0 / 0
02.02.2005, 17:38
    #32897751
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хождение по мукам. 10 млн. юзеров и Microsoft
Владимир ИвановМы тоже отключали инкременталку измерений.
Несколько помогает, но все равно hang up.

Перейдем на 64 бита или Юкон форева.

А на чем конкретно зависон? На процессинге димов? А Вы их через что процессите?
...
Рейтинг: 0 / 0
03.02.2005, 17:22
    #32899867
Владимир Иванов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хождение по мукам. 10 млн. юзеров и Microsoft
Процессили через все что можно.
Я ребят попросил спрограммировать все варианты (DSO, библиотеки MS).
Не зависимо от варианта процессирования при попытке сделать процесс дима в 10 млн. членов MS AS уходит в даун. Просто не отвечает не на что и все.

Мы нашли порясающий workaround.

Пакет сначала делает процесс дима. MS AS падает.
Специальный таск его убивает совсем.
Повторный процесс дима.
И о чудо!
Процессирование проходит нормально.

Кто нибудь мне не объяснит как работает это шаманство?
...
Рейтинг: 0 / 0
03.02.2005, 20:39
    #32900272
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хождение по мукам. 10 млн. юзеров и Microsoft
Владимир ИвановПроцессили через все что можно.
Я ребят попросил спрограммировать все варианты (DSO, библиотеки MS).
Не зависимо от варианта процессирования при попытке сделать процесс дима в 10 млн. членов MS AS уходит в даун. Просто не отвечает не на что и все.

Мы нашли порясающий workaround.

Пакет сначала делает процесс дима. MS AS падает.
Специальный таск его убивает совсем.
Повторный процесс дима.
И о чудо!
Процессирование проходит нормально.

Кто нибудь мне не объяснит как работает это шаманство?

Объяснять будут MS-овцы, а я только скажу как я давно уже делаю: рестарт службе AS перед процессингом димов, затем после процессинга димов и перед процессингом кубов и после процессинга кубов. Итого 3 раза рестарт. На стабильность не жалуюсь. Но хртелось бы без рестартов.
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Хождение по мукам. 10 млн. юзеров и Microsoft / 7 сообщений из 7, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]