Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
kornalотвечаю на вопросы: 1. Железо: Dual Xeon 3.2Ghz, 1Gb RAM 2. количество аггрегаций: 2104 считал около 4 часов 3. Процессинг длился 3 суток т.к. данные закачиваются из Sybase IQ и партиция была одна. (собираемся кстати bcp out всё из IQ в MS SQL для скорости) 4. партиции делали на месяц(slicer), для эксперимента - количество месяцев у нас 156 количество фактов в разделе - не помню :). 5. Критерий - время отклика - когда MSAS начинал "тормозить"(т.е. сразу не возвращался с ответом) дождаться ответа уже не удавалось. А для пользователей что является критерием? Время отклика? 1. Такое количесво памяти при таких объемах данных просто издевательсво над AS. Поставьте 4 и смею предположить что время процессинга снизмися более чем на порядок. 3. Данные тянутся напрямую из Sybase или есть хранилище на MSSQL на той же машине? 4. Я бы делал партиции по году. 5. Каким клиентом смотрите? Какие типичные запросы, на которых тормозит? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 12:09 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
seroffМы попытались оставить только All и листья используя “Top and Bottom Only” опцию в кубе с 25 измерениями. Когда мы попытались “design aggregations”, получилось 0 аггрегаций. Тогда как, сделав то же самое в кубе с 9 измерениями, мы получили пресловутую кривую с аггрегациями. Никаких различиж кроме количества измерений между кубами нет. Знает ли кто-нибудь в чём здесь проблема? Наверняка эту проблему знает Моша, так как рассчет аггрегаций его рук дело. Моша, за вами слово. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 12:12 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
seroffbackfire: А как в MSAS избежать создания иерархии? Это возможно, только если разнести все уровни по отдельным измерениям и повыключать аггрегации на All и оставить на листовых уровнях. Правильно ли я Вас понял? Если я правильно понял ваш вопрос, то иерархия сама не создается, ее делает тот, кто проектирует измерения. А выносить уровни на виртуальные измерения это широко известный прием проектирования, если различные пользователи желают видеть различную последовательность уровней. У меня только временное измерение с жесткой иерархией, все осталтные плоские с N-количеством виртуальных измерений, построенных на них. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 12:17 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
Понимаю что звучит странно и подозрительно:), но после того как я плюнул на все агрегации и партиции изменений в работе я не заметил :) Правда у нас скромней все, в кубиках в среднем порядка 10 мил. штук 30 измерений, мер с десяток.. Все разбито по отдельным "смысловым кубам" (закупки/продажи и т.п.) объединяем в екселе, на одном листе закупки, на другом остатки + ВПР. Иерархия только по времени. По остальным если нужно - сами расставляют произвольно драгэнддропом. Раскрывают до товара в 90% (30000 примерно) минусы - затрахивает поддержка - добавить измерение в 10 кубов + отмониторить десяток вьюх - удовольствие ниже среднего.. плюсы - подохло бы все если б в один куб лили сотню мер, да и вью такое не придумать периодически руки чешутся попробовать объединить через виртуальные кубы, но как то руки не доходят ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 14:58 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
Recoilme периодически руки чешутся попробовать объединить через виртуальные кубы, но как то руки не доходят А вот это очень рекомендую дочесать до результата. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 15:35 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
backfire kornalотвечаю на вопросы: 1. Железо: Dual Xeon 3.2Ghz, 1Gb RAM 2. количество аггрегаций: 2104 считал около 4 часов 3. Процессинг длился 3 суток т.к. данные закачиваются из Sybase IQ и партиция была одна. (собираемся кстати bcp out всё из IQ в MS SQL для скорости) 4. партиции делали на месяц(slicer), для эксперимента - количество месяцев у нас 156 количество фактов в разделе - не помню :). 5. Критерий - время отклика - когда MSAS начинал "тормозить"(т.е. сразу не возвращался с ответом) дождаться ответа уже не удавалось. А для пользователей что является критерием? Время отклика? 1. Такое количесво памяти при таких объемах данных просто издевательсво над AS. Поставьте 4 и смею предположить что время процессинга снизмися более чем на порядок. 3. Данные тянутся напрямую из Sybase или есть хранилище на MSSQL на той же машине? 4. Я бы делал партиции по году. 5. Каким клиентом смотрите? Какие типичные запросы, на которых тормозит? 1. Про память и диск - не сыпте соль на раны - казалось-бы, работаем в солидной компании, однако выбить 200Гб диска и 4Гб памяти стоит уже почти неделю времени и кучи e-mails!!! 3. Данные тянутся напрямую из Sybase через OLEDB for ODBC 4. партиции по году - чтобы увеличить кол-во фактов в партиции? 5. Смотрим ProClarity 6.1, запросы пока самые простые(1 юзверь всего) - показать меру по месяцам(Leaf мемберы) и какому-нибудь другому измерению, когда дело доходит до выбора Leaf Members на втором измерении - все умирает включая ProClarity и MS AS, который живой на самом деле, но сервер на котором он крутится становится жутко медленным(non-resposive). Загрузка проца - 5% память на уровне 400Мб, но вот только огромное количество I/O Reads. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 16:32 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
QuarkВсе же 1Гб - маловато. Какие у Вас параметры в Server Properties по памяти. Что за железо в качестве физ. диска? Рекомендации из рассылки МССКЛ пробовали? Параметры - Min Allocated Memory-312Mb, Conservation threshold - 712Mb, Read-ahead buffer - 40Mb, Process buffer - 320Mb Железо - в пред. посте, диск - 40Гб UltraSATA(не кидайте камни - обьяснение тоже в пред. посте) Рекомендации - сейчас вот это будем смотреть: www.microsoft.com/technet/prodtechnol/sql/2000/maintain/ansvcspg.mspx ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 16:57 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
backfire У меня только временное измерение с жесткой иерархией, все осталтные плоские с N-количеством виртуальных измерений, построенных на них. Это поэтoму у Вас "количествоим измерений до 40"? :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 17:00 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
kornal backfire У меня только временное измерение с жесткой иерархией, все осталтные плоские с N-количеством виртуальных измерений, построенных на них. Это поэтoму у Вас "количествоим измерений до 40"? :-) Да. А так в таблице фактов так же как и у вас 25 FK - что дает 25 физических измерений. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 17:05 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
партиции по году - чтобы увеличить кол-во фактов в партиции? чтобы получить аггрегаты на уровне года. Загрузка проца - 5% память на уровне 400Мб, но вот только огромное количество I/O Reads. AS понимая, что памяти мало, не кеширует данные, а постоянно их читает. Остутствие нормальной дисковой подсистемы (RAID-10 на SCSI c приличным собственным кэшем, так под 128 Мб) только усугубляет нехватку памяти. Процессор оказывается просто невостребованным. Даже RAID-0 на нескольких SATA дисках будет для вам неплохим подспорьем, но для AS прежде всего нужна RAM. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 17:11 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
backfire партиции по году - чтобы увеличить кол-во фактов в партиции? чтобы получить аггрегаты на уровне года. Загрузка проца - 5% память на уровне 400Мб, но вот только огромное количество I/O Reads. AS понимая, что памяти мало, не кеширует данные, а постоянно их читает. Остутствие нормальной дисковой подсистемы (RAID-10 на SCSI c приличным собственным кэшем, так под 128 Мб) только усугубляет нехватку памяти. Процессор оказывается просто невостребованным. Даже RAID-0 на нескольких SATA дисках будет для вам неплохим подспорьем, но для AS прежде всего нужна RAM. Спасибо - сейчас опять будем долбить чтобы дали hardware... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 17:19 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
kornal backfire партиции по году - чтобы увеличить кол-во фактов в партиции? чтобы получить аггрегаты на уровне года. Загрузка проца - 5% память на уровне 400Мб, но вот только огромное количество I/O Reads. AS понимая, что памяти мало, не кеширует данные, а постоянно их читает. Остутствие нормальной дисковой подсистемы (RAID-10 на SCSI c приличным собственным кэшем, так под 128 Мб) только усугубляет нехватку памяти. Процессор оказывается просто невостребованным. Даже RAID-0 на нескольких SATA дисках будет для вам неплохим подспорьем, но для AS прежде всего нужна RAM. Спасибо - сейчас опять будем долбить чтобы дали hardware... Корнал, если вы действительно из NewYork, то купить 4 GB RAM вы можете на ваше дневное жалование и даже на парочку SATA хардов останется и на пиво. А начальство, после достижения результата в AS, жестоко поставьте (раком)перед фактом успеха. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 17:31 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
backfire kornal backfire партиции по году - чтобы увеличить кол-во фактов в партиции? чтобы получить аггрегаты на уровне года. Загрузка проца - 5% память на уровне 400Мб, но вот только огромное количество I/O Reads. AS понимая, что памяти мало, не кеширует данные, а постоянно их читает. Остутствие нормальной дисковой подсистемы (RAID-10 на SCSI c приличным собственным кэшем, так под 128 Мб) только усугубляет нехватку памяти. Процессор оказывается просто невостребованным. Даже RAID-0 на нескольких SATA дисках будет для вам неплохим подспорьем, но для AS прежде всего нужна RAM. Спасибо - сейчас опять будем долбить чтобы дали hardware... Корнал, если вы действительно из NewYork, то купить 4 GB RAM вы можете на ваше дневное жалование и даже на парочку SATA хардов останется и на пиво. А начальство, после достижения результата в AS, жестоко поставьте (раком)перед фактом успеха. Последнее сделал бы с удовольствием, но вот только сервера наши стоят в North Carolina data center а мы прозябаем в New Yorkе :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 17:39 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
kornal Последнее сделал бы с удовольствием, но вот только сервера наши стоят в North Carolina data center а мы прозябаем в New Yorkе :) Никогда бы не подумал, что сервер, имеющий на борту 1 Gb мозгов и жалкий 40 гиговый SATA, достоин установки в Data Center. Максимум тянет на наспех полусобраный PC под столом у админа. Что же за "мудрец" анализировал требования к железе и конфигурировал заказ на него? Сечас нормальный WorkStation DataBase озабоченного профи помощнее будет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 17:50 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
backfire kornal Последнее сделал бы с удовольствием, но вот только сервера наши стоят в North Carolina data center а мы прозябаем в New Yorkе :) Никогда бы не подумал, что сервер, имеющий на борту 1 Gb мозгов и жалкий 40 гиговый SATA, достоин установки в Data Center. Максимум тянет на наспех полусобраный PC под столом у админа. Что же за "мудрец" анализировал требования к железе и конфигурировал заказ на него? Сечас нормальный WorkStation DataBase озабоченного профи помощнее будет Надо еще спасибо сказать, что отдельную машину дали!!! А то могли бы и на своих десктопах всё крутить!!! Вот бьёмся сейчас за железо нормальное. Проблема еще в том, что "мудрецы" хотят магии от OLAP думая, что всё и на таком железе будет летать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 18:01 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
Столь безумная ситуация с hardware в нашей организации (а мы с kornal работаем в одной организации) является результатом того, что она представляет собой слияние нескольких организаций, причём это произошло в очень короткое время. Отсюда - полный бардак. А если к этому добавить то, что в любой большой организации уровень эффективноски напоминает социалистическое государство, то никакого удивления сия обстоятельства вызывать не должны. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 18:07 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
seroffСтоль безумная ситуация с hardware в нашей организации (а мы с kornal работаем в одной организации) является результатом того, что она представляет собой слияние нескольких организаций, причём это произошло в очень короткое время. Отсюда - полный бардак. А если к этому добавить то, что в любой большой организации уровень эффективноски напоминает социалистическое государство, то никакого удивления сия обстоятельства вызывать не должны. Прошу прощения за оффтоп, но социалистичность государства тут не при чем, неуж то ваш большеяблоковский горисполком, куда вы, 100 пудов, имели повод не раз обращаться, по эффективности далеко ушел от совка? А по поводу бардака, то не так давно я вырыл на одном из gov сайтов полную статистику о том в какую контору, на какую доджность и на какие бабки за последние 5 лет был выдан зеленый билет или Х1Б. Не думаю, что это было задумано как открытая для всех желающих статистика. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 18:54 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
off #2 автор...на одном из gov сайтов полную статистику... a. Это были демо-данные.... b. Деза для шпиёнов... c. Прогнозы .... ;)) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 19:42 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
backfire seroffСтоль безумная ситуация с hardware в нашей организации (а мы с kornal работаем в одной организации) является результатом того, что она представляет собой слияние нескольких организаций, причём это произошло в очень короткое время. Отсюда - полный бардак. А если к этому добавить то, что в любой большой организации уровень эффективноски напоминает социалистическое государство, то никакого удивления сия обстоятельства вызывать не должны. Прошу прощения за оффтоп, но социалистичность государства тут не при чем, неуж то ваш большеяблоковский горисполком, куда вы, 100 пудов, имели повод не раз обращаться, по эффективности далеко ушел от совка? А по поводу бардака, то не так давно я вырыл на одном из gov сайтов полную статистику о том в какую контору, на какую доджность и на какие бабки за последние 5 лет был выдан зеленый билет или Х1Б. Не думаю, что это было задумано как открытая для всех желающих статистика. Про горисполком не скажу, но как только дело касается бюрократии то не важно, совок это или финансовая организация здесь - результат один - всё тянется вечно и каждый раз приходится доказывать, что ты не осёл. Я думаю иногда количество бюрократии переходит в качество - бардак . Sorry, я думаю этот offtop уже выходит за рамки этого форума, поэтому предлагаю на sql.ru организовать новый форум по обсуждению таких вопросов!! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 20:04 |
|
||
|
MSAS 2000 и большой куб
|
|||
|---|---|---|---|
|
#18+
Нью-Йорский горисполком построен в соответствии ц вечно живими социалистическими принципами которые были содраны с Советского Союза пресидентом Рузвельтом в 30-ые годы. То же касаетця и многих прочих гос. Организаций в США. А крупные компании начинают напоминать социалистическиэ государства по мере того как в них вырастает бюрократия, которую трудно контролировать без внедрения какого-либо рода диктатуры, что в Америке сложно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2005, 20:48 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=33190381&tid=1871249]: |
0ms |
get settings: |
8ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
44ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
55ms |
get tp. blocked users: |
1ms |
| others: | 264ms |
| total: | 403ms |

| 0 / 0 |
