|
Размер OLAP куба:прогноз и реальность
|
|||
---|---|---|---|
#18+
Строится MOLAP куб. Storage Design заявляет, что на 3Gb-ах дискового пространства он построит куб с производительностью 35%. Хорошо, 3Gb так 3Gb, 35% так 35%. После построения вся директория данного куба занимает 230Mb. Возникают вопросы - почему данные прогноза настолько расходяться с реальными данными ? Или обозначенное выше дисковое пространство может быть использовано сервером позже автоматически? Тогда я все следующие кубы должен строить с оглядкой на эти скрытые потребности существующих кубов? PS Сам OLAP это SQL Server2000 Analysis Services SP2 Данные берутся с SQL Server 2000 SP2 ... |
|||
:
Нравится:
Не нравится:
|
|||
14.02.2002, 11:57 |
|
Размер OLAP куба:прогноз и реальность
|
|||
---|---|---|---|
#18+
Это происходит потому, что внутри куба данные очень хорошо поджимаются. Однако это происходит на стадии процессинга. Storage Design Wizard рассчитывает потребности в сыром пространстве и не может еще сделать никаких прогнозов по поводу достижимого уровня компрессии. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.02.2002, 11:20 |
|
Размер OLAP куба:прогноз и реальность
|
|||
---|---|---|---|
#18+
Т.е. найти приемлемый для себя копромисс между размром куба и производительностью я могу только несколько раз перестроив куб с разными установками в Storage Design ? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.02.2002, 15:17 |
|
Размер OLAP куба:прогноз и реальность
|
|||
---|---|---|---|
#18+
Если иметь в виду абсолютные цифры, то да. Но в задаче, как правило, этого не требуется. Есть набор установок, нужно их сравнить между собой и выбрать оптимальную. Абсолютные цифры для этого не нужны. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.02.2002, 09:14 |
|
Размер OLAP куба:прогноз и реальность
|
|||
---|---|---|---|
#18+
Абсолютные цифры для этого не нужны. Для одного - согласен, не нужны. Но у меня несколько другая задача. Есть совершенно конкретный размер дискового пространства, например 45Gb, и есть данные за очень большой промежуток времени, 5 лет х 12 месцев = 60 кубов. И соответсвующий вопрос: сколько _реально_ кубов и с какой производительностью можно разместить на заданном диске. При выборе 100%-ой производительности неизвестно, поместяться ли все кубы на диск. При выборе размера куба окажется, что фактически можно на том же занимаемом объеме получить большую производительность. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.02.2002, 13:59 |
|
Размер OLAP куба:прогноз и реальность
|
|||
---|---|---|---|
#18+
Довольно часто приходиться сталкиваться с вопросом: вот данные, вот приложение - железку какой конфигурации лучше всего приспособить под эту задачу. Мой скромный опыт показывает, что универсального ответа здесь дать нельзя. Когда кто-л. с умным видом называет среднепотолочные цифры, всегда вспоминается анекдот про двух новых юзеров: слушай, а сколько места на диске занимает файл? - ну, мега два. Да, существуют различные методики оценки, во-первых, дающие крайне невысокую точность (порядка двух мегапарсеков), во-вторых, они зачастую противоречат одна другой. Рассматривайте SDW как одну из таких методик и делите оценочный объем на средний к-т сжатия - в моей практике 3-7. 230 Мб против 3 Гб в Вашем случае - это что-то очень круто, скажу честно, с таким не сталкивался. Вот видите, я тоже не устоял перед искушением с умным видом предложить оценку. Но, допустим, SDW давал бы абсолютно точный размер с поправкой на архивацию. Стало бы от этого легче? Вряд ли. Какая бы продвинутая эвристика ни была заложена в SDW, по большому счету она может иметь очень мало общего с той структурой агрегатов, которая реально понадобится под Вашу типовую workload. Поэтому весьма велика вероятность того, что Вам придется переделывать Ваш куб через пару недель после того, как Вы накопите статистику реальной нагрузки. (Последнее суждение я позаимствовал из статьи, озаглавленной примерно "Масштабируемость аналитических систем" в Windows 2000 Magazine / RE №1 за этот год). Так что единственный надежный способ более или менее точно оценить потребности системы состоит в ее тестовой эксплуатации, как это ни банально и грустно ни звучит. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.02.2002, 19:07 |
|
Размер OLAP куба:прогноз и реальность
|
|||
---|---|---|---|
#18+
Да, и вопрос вдогонку. Почему 60 кубов, а не партиций? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.02.2002, 19:10 |
|
Размер OLAP куба:прогноз и реальность
|
|||
---|---|---|---|
#18+
В том то и дело, что меня удивляет собственно не тот факт, что SDW дает приблизительный прогноз, а то этото прогноз настолько приблизителен(более чем 1000 раз). На мой взгляд очень интересно происходит само построение(приблизительно) 8% - 8.3Mb - 300 aggregations 10% - 28.6 Mb - 500 11% - 73.1 - 600 12% - 206.7 - 970 ... 15% - 3Gb - 3000 IMHO как-то уж очень "резво" Ну а насчет партиций: отдельные кубы выбраны для более удобного дальнейшего отображения через виртуальные кубы в различных комбинациях ... |
|||
:
Нравится:
Не нравится:
|
|||
19.02.2002, 13:11 |
|
Размер OLAP куба:прогноз и реальность
|
|||
---|---|---|---|
#18+
Если я правильно понимаю, то каждый куб хранит информацию для одного месяцам, при этом состав измерений и мер такой же для всех кубов. Если вас не затруднит, то проясните - в чем фокус.Какую полезную информацию можно получить, соединив физические кубы в один (или несколько виртуальных). Я использую виртуальне кубы для других целей (например свести план и факт) А на счет прогноза, то по опыту врет эта цифра иногда более чем на порядок - говорит 4ГБ а на выходе физически 200 МБ, а иногда на заявленный 1Gb - 500 Мб физически. Все решается опытным путем. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.02.2002, 22:33 |
|
Размер OLAP куба:прогноз и реальность
|
|||
---|---|---|---|
#18+
Если я правильно понимаю, то каждый куб хранит информацию для одного месяцам, при этом состав измерений и мер такой же для всех кубов. Состав мер действительно одинаков, а вот состав измерений разнится, т.к. формат таблицы фактов менялся. А т.к. такие изменения могут произойти и в будущем, то при возникновении нового измерения не будет необходимости вводить это измерение для предыдущих кубов (а значит и генерировать какое-то фэйковое значение ) и перестраивать их. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.02.2002, 15:22 |
|
|
start [/forum/topic.php?fid=49&fpage=418&tid=1873732]: |
0ms |
get settings: |
10ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
26ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
50ms |
get tp. blocked users: |
2ms |
others: | 12ms |
total: | 135ms |
0 / 0 |