powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / MSAS 2000 и большой куб
22 сообщений из 47, страница 2 из 2
MSAS 2000 и большой куб
    #33188918
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kornalотвечаю на вопросы:
1. Железо: Dual Xeon 3.2Ghz, 1Gb RAM
2. количество аггрегаций: 2104 считал около 4 часов
3. Процессинг длился 3 суток т.к. данные закачиваются из Sybase IQ и партиция была одна. (собираемся кстати bcp out всё из IQ в MS SQL для скорости)
4. партиции делали на месяц(slicer), для эксперимента - количество месяцев у нас 156 количество фактов в разделе - не помню :).
5. Критерий - время отклика - когда MSAS начинал "тормозить"(т.е. сразу не возвращался с ответом) дождаться ответа уже не удавалось.
А для пользователей что является критерием? Время отклика?

1. Такое количесво памяти при таких объемах данных просто издевательсво над AS. Поставьте 4 и смею предположить что время процессинга снизмися более чем на порядок.

3. Данные тянутся напрямую из Sybase или есть хранилище на MSSQL на той же машине?
4. Я бы делал партиции по году.
5. Каким клиентом смотрите? Какие типичные запросы, на которых тормозит?
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33188933
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
seroffМы попытались оставить только All и листья используя “Top and Bottom Only” опцию в кубе с 25 измерениями. Когда мы попытались “design aggregations”, получилось 0 аггрегаций. Тогда как, сделав то же самое в кубе с 9 измерениями, мы получили пресловутую кривую с аггрегациями. Никаких различиж кроме количества измерений между кубами нет. Знает ли кто-нибудь в чём здесь проблема?

Наверняка эту проблему знает Моша, так как рассчет аггрегаций его рук дело. Моша, за вами слово.
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33188954
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
seroffbackfire:

А как в MSAS избежать создания иерархии? Это возможно, только если разнести все уровни по отдельным измерениям и повыключать аггрегации на All и оставить на листовых уровнях. Правильно ли я Вас понял?

Если я правильно понял ваш вопрос, то иерархия сама не создается, ее делает тот, кто проектирует измерения.
А выносить уровни на виртуальные измерения это широко известный прием проектирования, если различные пользователи желают видеть различную последовательность уровней.
У меня только временное измерение с жесткой иерархией, все осталтные плоские с N-количеством виртуальных измерений, построенных на них.
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33189604
Recoilme
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Понимаю что звучит странно и подозрительно:), но после того как я плюнул на все агрегации и партиции изменений в работе я не заметил :)
Правда у нас скромней все, в кубиках в среднем порядка 10 мил. штук 30 измерений, мер с десяток..

Все разбито по отдельным "смысловым кубам" (закупки/продажи и т.п.) объединяем в екселе, на одном листе закупки, на другом остатки + ВПР.

Иерархия только по времени. По остальным если нужно - сами расставляют произвольно драгэнддропом. Раскрывают до товара в 90% (30000 примерно)

минусы - затрахивает поддержка - добавить измерение в 10 кубов + отмониторить десяток вьюх - удовольствие ниже среднего..
плюсы - подохло бы все если б в один куб лили сотню мер, да и вью такое не придумать

периодически руки чешутся попробовать объединить через виртуальные кубы, но как то руки не доходят
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33189721
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Recoilme
периодически руки чешутся попробовать объединить через виртуальные кубы, но как то руки не доходят

А вот это очень рекомендую дочесать до результата.
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33189951
kornal
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
backfire kornalотвечаю на вопросы:
1. Железо: Dual Xeon 3.2Ghz, 1Gb RAM
2. количество аггрегаций: 2104 считал около 4 часов
3. Процессинг длился 3 суток т.к. данные закачиваются из Sybase IQ и партиция была одна. (собираемся кстати bcp out всё из IQ в MS SQL для скорости)
4. партиции делали на месяц(slicer), для эксперимента - количество месяцев у нас 156 количество фактов в разделе - не помню :).
5. Критерий - время отклика - когда MSAS начинал "тормозить"(т.е. сразу не возвращался с ответом) дождаться ответа уже не удавалось.
А для пользователей что является критерием? Время отклика?

1. Такое количесво памяти при таких объемах данных просто издевательсво над AS. Поставьте 4 и смею предположить что время процессинга снизмися более чем на порядок.

3. Данные тянутся напрямую из Sybase или есть хранилище на MSSQL на той же машине?
4. Я бы делал партиции по году.
5. Каким клиентом смотрите? Какие типичные запросы, на которых тормозит?
1. Про память и диск - не сыпте соль на раны - казалось-бы, работаем в солидной компании, однако выбить 200Гб диска и 4Гб памяти стоит уже почти неделю времени и кучи e-mails!!!
3. Данные тянутся напрямую из Sybase через OLEDB for ODBC
4. партиции по году - чтобы увеличить кол-во фактов в партиции?
5. Смотрим ProClarity 6.1, запросы пока самые простые(1 юзверь всего) - показать меру по месяцам(Leaf мемберы) и какому-нибудь другому измерению, когда дело доходит до выбора Leaf Members на втором измерении - все умирает включая ProClarity и MS AS, который живой на самом деле, но сервер на котором он крутится становится жутко медленным(non-resposive). Загрузка проца - 5% память на уровне 400Мб, но вот только огромное количество I/O Reads.
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190029
kornal
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
QuarkВсе же 1Гб - маловато.
Какие у Вас параметры в Server Properties по памяти.
Что за железо в качестве физ. диска?
Рекомендации из рассылки МССКЛ пробовали?
Параметры - Min Allocated Memory-312Mb, Conservation threshold - 712Mb, Read-ahead buffer - 40Mb, Process buffer - 320Mb
Железо - в пред. посте, диск - 40Гб UltraSATA(не кидайте камни - обьяснение тоже в пред. посте)
Рекомендации - сейчас вот это будем смотреть:
www.microsoft.com/technet/prodtechnol/sql/2000/maintain/ansvcspg.mspx
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190047
kornal
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
backfire
У меня только временное измерение с жесткой иерархией, все осталтные плоские с N-количеством виртуальных измерений, построенных на них.
Это поэтoму у Вас "количествоим измерений до 40"? :-)
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190067
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kornal backfire
У меня только временное измерение с жесткой иерархией, все осталтные плоские с N-количеством виртуальных измерений, построенных на них.
Это поэтoму у Вас "количествоим измерений до 40"? :-)

Да. А так в таблице фактов так же как и у вас 25 FK - что дает 25 физических измерений.
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190085
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
партиции по году - чтобы увеличить кол-во фактов в партиции?

чтобы получить аггрегаты на уровне года.

Загрузка проца - 5% память на уровне 400Мб, но вот только огромное количество I/O Reads.

AS понимая, что памяти мало, не кеширует данные, а постоянно их читает. Остутствие нормальной дисковой подсистемы (RAID-10 на SCSI c приличным собственным кэшем, так под 128 Мб) только усугубляет нехватку памяти. Процессор оказывается просто невостребованным.

Даже RAID-0 на нескольких SATA дисках будет для вам неплохим подспорьем, но для AS прежде всего нужна RAM.
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190108
kornal
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
backfire партиции по году - чтобы увеличить кол-во фактов в партиции?

чтобы получить аггрегаты на уровне года.

Загрузка проца - 5% память на уровне 400Мб, но вот только огромное количество I/O Reads.

AS понимая, что памяти мало, не кеширует данные, а постоянно их читает. Остутствие нормальной дисковой подсистемы (RAID-10 на SCSI c приличным собственным кэшем, так под 128 Мб) только усугубляет нехватку памяти. Процессор оказывается просто невостребованным.

Даже RAID-0 на нескольких SATA дисках будет для вам неплохим подспорьем, но для AS прежде всего нужна RAM.
Спасибо - сейчас опять будем долбить чтобы дали hardware...
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190135
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kornal backfire партиции по году - чтобы увеличить кол-во фактов в партиции?

чтобы получить аггрегаты на уровне года.

Загрузка проца - 5% память на уровне 400Мб, но вот только огромное количество I/O Reads.

AS понимая, что памяти мало, не кеширует данные, а постоянно их читает. Остутствие нормальной дисковой подсистемы (RAID-10 на SCSI c приличным собственным кэшем, так под 128 Мб) только усугубляет нехватку памяти. Процессор оказывается просто невостребованным.

Даже RAID-0 на нескольких SATA дисках будет для вам неплохим подспорьем, но для AS прежде всего нужна RAM.
Спасибо - сейчас опять будем долбить чтобы дали hardware...

Корнал, если вы действительно из NewYork, то купить 4 GB RAM вы можете на ваше дневное жалование и даже на парочку SATA хардов останется и на пиво. А начальство, после достижения результата в AS, жестоко поставьте (раком)перед фактом успеха.
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190158
kornal
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
backfire kornal backfire партиции по году - чтобы увеличить кол-во фактов в партиции?

чтобы получить аггрегаты на уровне года.

Загрузка проца - 5% память на уровне 400Мб, но вот только огромное количество I/O Reads.

AS понимая, что памяти мало, не кеширует данные, а постоянно их читает. Остутствие нормальной дисковой подсистемы (RAID-10 на SCSI c приличным собственным кэшем, так под 128 Мб) только усугубляет нехватку памяти. Процессор оказывается просто невостребованным.

Даже RAID-0 на нескольких SATA дисках будет для вам неплохим подспорьем, но для AS прежде всего нужна RAM.
Спасибо - сейчас опять будем долбить чтобы дали hardware...

Корнал, если вы действительно из NewYork, то купить 4 GB RAM вы можете на ваше дневное жалование и даже на парочку SATA хардов останется и на пиво. А начальство, после достижения результата в AS, жестоко поставьте (раком)перед фактом успеха.
Последнее сделал бы с удовольствием, но вот только сервера наши стоят в North Carolina data center а мы прозябаем в New Yorkе :)
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190190
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kornal
Последнее сделал бы с удовольствием, но вот только сервера наши стоят в North Carolina data center а мы прозябаем в New Yorkе :)

Никогда бы не подумал, что сервер, имеющий на борту 1 Gb мозгов и жалкий 40 гиговый SATA, достоин установки в Data Center. Максимум тянет на наспех полусобраный PC под столом у админа. Что же за "мудрец" анализировал требования к железе и конфигурировал заказ на него? Сечас нормальный WorkStation DataBase озабоченного профи помощнее будет
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190222
seroff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190229
kornal
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
backfire kornal
Последнее сделал бы с удовольствием, но вот только сервера наши стоят в North Carolina data center а мы прозябаем в New Yorkе :)

Никогда бы не подумал, что сервер, имеющий на борту 1 Gb мозгов и жалкий 40 гиговый SATA, достоин установки в Data Center. Максимум тянет на наспех полусобраный PC под столом у админа. Что же за "мудрец" анализировал требования к железе и конфигурировал заказ на него? Сечас нормальный WorkStation DataBase озабоченного профи помощнее будет
Надо еще спасибо сказать, что отдельную машину дали!!! А то могли бы и на своих десктопах всё крутить!!! Вот бьёмся сейчас за железо нормальное. Проблема еще в том, что "мудрецы" хотят магии от OLAP думая, что всё и на таком железе будет летать.
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190247
seroff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Столь безумная ситуация с hardware в нашей организации (а мы с kornal работаем в одной организации) является результатом того, что она представляет собой слияние нескольких организаций, причём это произошло в очень короткое время. Отсюда - полный бардак. А если к этому добавить то, что в любой большой организации уровень эффективноски напоминает социалистическое государство, то никакого удивления сия обстоятельства вызывать не должны.
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190323
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
seroffСтоль безумная ситуация с hardware в нашей организации (а мы с kornal работаем в одной организации) является результатом того, что она представляет собой слияние нескольких организаций, причём это произошло в очень короткое время. Отсюда - полный бардак. А если к этому добавить то, что в любой большой организации уровень эффективноски напоминает социалистическое государство, то никакого удивления сия обстоятельства вызывать не должны.

Прошу прощения за оффтоп,
но социалистичность государства тут не при чем, неуж то ваш большеяблоковский горисполком, куда вы, 100 пудов, имели повод не раз обращаться, по эффективности далеко ушел от совка?

А по поводу бардака, то не так давно я вырыл на одном из gov сайтов полную статистику о том в какую контору, на какую доджность и на какие бабки за последние 5 лет был выдан зеленый билет или Х1Б. Не думаю, что это было задумано как открытая для всех желающих статистика.
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190367
Alex Fox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
off #2
автор...на одном из gov сайтов полную статистику...
a. Это были демо-данные....
b. Деза для шпиёнов...
c. Прогнозы ....
;))
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190381
kornal
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
backfire seroffСтоль безумная ситуация с hardware в нашей организации (а мы с kornal работаем в одной организации) является результатом того, что она представляет собой слияние нескольких организаций, причём это произошло в очень короткое время. Отсюда - полный бардак. А если к этому добавить то, что в любой большой организации уровень эффективноски напоминает социалистическое государство, то никакого удивления сия обстоятельства вызывать не должны.

Прошу прощения за оффтоп,
но социалистичность государства тут не при чем, неуж то ваш большеяблоковский горисполком, куда вы, 100 пудов, имели повод не раз обращаться, по эффективности далеко ушел от совка?

А по поводу бардака, то не так давно я вырыл на одном из gov сайтов полную статистику о том в какую контору, на какую доджность и на какие бабки за последние 5 лет был выдан зеленый билет или Х1Б. Не думаю, что это было задумано как открытая для всех желающих статистика.
Про горисполком не скажу, но как только дело касается бюрократии то не важно, совок это или финансовая организация здесь - результат один - всё тянется вечно и каждый раз приходится доказывать, что ты не осёл. Я думаю иногда количество бюрократии переходит в качество - бардак . Sorry, я думаю этот offtop уже выходит за рамки этого форума, поэтому предлагаю на sql.ru организовать новый форум по обсуждению таких вопросов!!
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190411
seroff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Нью-Йорский горисполком построен в соответствии ц вечно живими социалистическими принципами которые были содраны с Советского Союза пресидентом Рузвельтом в 30-ые годы. То же касаетця и многих прочих гос. Организаций в США. А крупные компании начинают напоминать социалистическиэ государства по мере того как в них вырастает бюрократия, которую трудно контролировать без внедрения какого-либо рода диктатуры, что в Америке сложно.
...
Рейтинг: 0 / 0
MSAS 2000 и большой куб
    #33190454
seroff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Да вы не боитесь реагировать на наши критические высказывания об американской системе – бухта Guantanamo уже забита.:-)
...
Рейтинг: 0 / 0
22 сообщений из 47, страница 2 из 2
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / MSAS 2000 и большой куб
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]