powered by simpleCommunicator - 2.0.43     © 2025 Programmizd 02
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Размер OLAP куба:прогноз и реальность
10 сообщений из 10, страница 1 из 1
Размер OLAP куба:прогноз и реальность
    #32022991
Glory
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Строится MOLAP куб.
Storage Design заявляет, что на 3Gb-ах дискового пространства он построит куб с производительностью 35%.
Хорошо, 3Gb так 3Gb, 35% так 35%. После построения вся директория данного куба занимает 230Mb.
Возникают вопросы - почему данные прогноза настолько расходяться с реальными данными ? Или обозначенное выше дисковое пространство может быть использовано сервером позже автоматически? Тогда я все следующие кубы должен строить с оглядкой на эти скрытые потребности существующих кубов?

PS
Сам OLAP это SQL Server2000 Analysis Services SP2
Данные берутся с SQL Server 2000 SP2
...
Рейтинг: 0 / 0
Размер OLAP куба:прогноз и реальность
    #32023105
Фотография Дед Маздай
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Это происходит потому, что внутри куба данные очень хорошо поджимаются. Однако это происходит на стадии процессинга. Storage Design Wizard рассчитывает потребности в сыром пространстве и не может еще сделать никаких прогнозов по поводу достижимого уровня компрессии.
...
Рейтинг: 0 / 0
Размер OLAP куба:прогноз и реальность
    #32023143
Glory
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Т.е. найти приемлемый для себя копромисс между размром куба и производительностью я могу только несколько раз перестроив куб с разными установками в Storage Design ?
...
Рейтинг: 0 / 0
Размер OLAP куба:прогноз и реальность
    #32023163
Фотография Дед Маздай
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если иметь в виду абсолютные цифры, то да. Но в задаче, как правило, этого не требуется. Есть набор установок, нужно их сравнить между собой и выбрать оптимальную. Абсолютные цифры для этого не нужны.
...
Рейтинг: 0 / 0
Размер OLAP куба:прогноз и реальность
    #32023191
Glory
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Абсолютные цифры для этого не нужны.

Для одного - согласен, не нужны. Но у меня несколько другая задача. Есть совершенно конкретный размер дискового пространства, например 45Gb, и есть данные за очень большой промежуток времени, 5 лет х 12 месцев = 60 кубов. И соответсвующий вопрос: сколько _реально_ кубов и с какой производительностью можно разместить на заданном диске.
При выборе 100%-ой производительности неизвестно, поместяться ли все кубы на диск.
При выборе размера куба окажется, что фактически можно на том же занимаемом объеме получить большую производительность.
...
Рейтинг: 0 / 0
Размер OLAP куба:прогноз и реальность
    #32023199
Фотография Дед Маздай
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Довольно часто приходиться сталкиваться с вопросом: вот данные, вот приложение - железку какой конфигурации лучше всего приспособить под эту задачу. Мой скромный опыт показывает, что универсального ответа здесь дать нельзя. Когда кто-л. с умным видом называет среднепотолочные цифры, всегда вспоминается анекдот про двух новых юзеров: слушай, а сколько места на диске занимает файл? - ну, мега два. Да, существуют различные методики оценки, во-первых, дающие крайне невысокую точность (порядка двух мегапарсеков), во-вторых, они зачастую противоречат одна другой. Рассматривайте SDW как одну из таких методик и делите оценочный объем на средний к-т сжатия - в моей практике 3-7. 230 Мб против 3 Гб в Вашем случае - это что-то очень круто, скажу честно, с таким не сталкивался. Вот видите, я тоже не устоял перед искушением с умным видом предложить оценку. Но, допустим, SDW давал бы абсолютно точный размер с поправкой на архивацию. Стало бы от этого легче? Вряд ли. Какая бы продвинутая эвристика ни была заложена в SDW, по большому счету она может иметь очень мало общего с той структурой агрегатов, которая реально понадобится под Вашу типовую workload. Поэтому весьма велика вероятность того, что Вам придется переделывать Ваш куб через пару недель после того, как Вы накопите статистику реальной нагрузки. (Последнее суждение я позаимствовал из статьи, озаглавленной примерно "Масштабируемость аналитических систем" в Windows 2000 Magazine / RE №1 за этот год). Так что единственный надежный способ более или менее точно оценить потребности системы состоит в ее тестовой эксплуатации, как это ни банально и грустно ни звучит.
...
Рейтинг: 0 / 0
Размер OLAP куба:прогноз и реальность
    #32023200
Фотография Дед Маздай
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да, и вопрос вдогонку. Почему 60 кубов, а не партиций?
...
Рейтинг: 0 / 0
Размер OLAP куба:прогноз и реальность
    #32023398
Glory
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В том то и дело, что меня удивляет собственно не тот факт, что SDW дает приблизительный прогноз, а то этото прогноз настолько приблизителен(более чем 1000 раз).
На мой взгляд очень интересно происходит само построение(приблизительно)
8% - 8.3Mb - 300 aggregations
10% - 28.6 Mb - 500
11% - 73.1 - 600
12% - 206.7 - 970
...
15% - 3Gb - 3000

IMHO как-то уж очень "резво"

Ну а насчет партиций: отдельные кубы выбраны для более удобного дальнейшего отображения через виртуальные кубы в различных комбинациях
...
Рейтинг: 0 / 0
Размер OLAP куба:прогноз и реальность
    #32023836
DedNT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Если я правильно понимаю, то каждый куб хранит информацию для одного месяцам, при этом состав измерений и мер такой же для всех кубов.
Если вас не затруднит, то проясните - в чем фокус.Какую полезную информацию можно получить, соединив физические кубы в один (или несколько виртуальных).
Я использую виртуальне кубы для других целей (например свести план и факт)

А на счет прогноза, то по опыту врет эта цифра иногда более чем на порядок - говорит 4ГБ а на выходе физически 200 МБ, а иногда на заявленный 1Gb - 500 Мб физически. Все решается опытным путем.
...
Рейтинг: 0 / 0
Размер OLAP куба:прогноз и реальность
    #32023881
Glory
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если я правильно понимаю, то каждый куб хранит информацию для одного месяцам, при этом состав измерений и мер такой же для всех кубов.

Состав мер действительно одинаков, а вот состав измерений разнится, т.к. формат таблицы фактов менялся. А т.к. такие изменения могут произойти и в будущем, то при возникновении нового измерения не будет необходимости вводить это измерение для предыдущих кубов (а значит и генерировать какое-то фэйковое значение ) и перестраивать их.
...
Рейтинг: 0 / 0
10 сообщений из 10, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Размер OLAP куба:прогноз и реальность
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]