powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Оценить требования к hardware для OLAP
23 сообщений из 23, страница 1 из 1
Оценить требования к hardware для OLAP
    #32144135
GrimReaper777
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Существуют ли методики оценки требований к аппаратным ресурсам для будущего хранилища данных? Закидайте плиз линками или дайте пару советов здесь. Также хочется узнать про критерии физического разделения OLAP и OLTP подсистем.
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32144287
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я обычно делаю многомерное ХД/OLAP-кубы напрямую из OLTP-систем. Что касается требований к железу, на котором крутится OLAP-сервер, то все зависит от OLAP-сервера (некоторые кушают много ресурсов, некоторые - мало).

Для самых больших моих проектов, где в кубы закачивалось в районе 50 миллионов записей, мне хватало компьютера типа Pentium-3, 700-1000Mhz, 256-512 Mb RAM, 5-40 Gb HDD, хотя эта конфигурация - с запасом, чтобы еще можно было на ней игрушки гонять и фильмы хранить :)
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32174032
Roxer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Хотелось бы опять поднять эту тему.
Мы сейчас потихоньку внедряем OLAP. Имеется ввиду MS Analysis Services.
Примерное описание:
1. Таблицы измерений
Самое большое измерение - товары - около 200.000. Есть еще время - три года с детализацией до дня. Остальные измерения меньшего порядка.
2. Тыблицы фактов
Здесь речь идет о десятках миллионов. Десятки миллионов продаж, десятки миллионов остатков и т.д.
3. Пользователей около 50-ти. Соответственно одновременно обращаться за отчетами будет не больше 10-ти.

Какие аппаратные ресурсы должны быть у сервера, чтоб система работала быстро?

Поделитесь, пожалуйста, опытом.
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32174108
GoodLeo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Как мне кажется, не столь важно каких размеров куб и его составляющие, сколь как куб сделан. Если используются вычисляемые поля - производительность однозначно падает, так как всё вычисляется на клиенте. А уже на сколько падает, зависит от ситуации. Как мне кажется, главное для сревера побольше и по производительней винт и много много памяти...
Здесь задача с многими ппеременными. Надо процессить конкретный куб и смотреть где "узкие" места в производительности.
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32174145
Roxer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я согласен. Но некоторые параметры я привел, некоторые еще не знаю (в процессе будет понятно). Просто на основе сказанного можно уже-кое что представить. Конечно будут calculated members, как у нормальных людей. Правда не на клиенте, а на прослойке.
У вас уже просто есть опыт. Какие сервера вы используете?
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32174364
GoodLeo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я использую MS SQL 2000 + от него же Analysis Server.
Опыт есть, но небольшой. Проект на стадии начала эксплуатации (несколько не больших кубов, хотя как посмотреть).
Для вас я думаю самым актуальным будеи размер и производительность винта (что бы это всё влезло) + объём ОЗУ.
Процессор - ну тип "нормального " P3 и выше. Думаю что ниже 800 МГц никто ставить не будет.
Тут ещё много зависит от того какой куб создаёте - MOLAP, ROLAP, HOLAP и с какой периодичностью и как будете обновлять таблицу фактов и процессить куб.
Честно скажу, что от MS AS я не в восторге, хотя и сомневаюсь что не редко рекламируемые здесь алтернативные продукты лучше.
Печально что не очень много документации по нему, прежде всего на русском. Это существенно бы ускорило работу.
Для самый большой недостаток - это вычесление вычисляемых полей на локальной машине.
Конечно я может ещё не очень грамотно создаю эти поля (да и обстоятельства требуют идти на "непопулярные меры", типа измерений Parent - Children и большое количество выч. полей), но тормоза получаются жуткие (3-ий, 4-ый уровень вложения измерения открывается по минуте и больше, со 100-ой загрузкой процессора клиента).
Ещё отрицательным фактором является наличие функциональных и доступных клиентов.
Вот если бы MS SQL 2004 побыстрее вышел.... Говорят там выч. поля будут считаться на сервере...
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32174422
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To GoodLeo:

Честно скажу, что от MS AS я не в восторге, хотя и сомневаюсь что не редко рекламируемые здесь алтернативные продукты лучше.

У каждого продукта есть свои сильные и слабые стороны. Чтобы понять, какой продукт лучше подходит для той или иной задачи - нужно просто следить за рейтингами и отчетами, составляемыми независимыми компаниями, анализировать высказывания на форумах, и что еще очень важно - собственноручно потрогать разные продукты - благо демо/триал/ознакомительные версии легко доступны.
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32175138
DmitryS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ещё важнейший (!!!) момент - на что кубы вешать будете. Если на сложные вьюхи, а бывает, такое необходимо, хотя бы временно, то процессинг может сильно затягиваться. Очень многое зависит от реализации. Мы и четырёхпроцессорный сервак с хорошими камнями и 6 гектарами оперативки вешать умудрялись. Впрочем, на то была воля заказчика - его предупреждали:-)
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32175150
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если в качестве источника данных - сложные вьюхи - то значит узкое место - это не OLAP-сервер, а OLTP-система. В такой ситуации может выручить лишь функциональность инкрементального обновления куба (один раз закачать в куб большой массив данных, и это потребует времени, а потом подкачивать данные малыми порциями - такие подкачки даже на основе архисложных вьюх времени не занимают).
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32175375
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А вот Юра ты не прав. Икременталка MS OLAP может удивить новичка своми тормозами. Фокус вот в чем, если во view есть операторы типа union и SQL-запрос со связями, тогда MS SQL сделает Work Table и сгребет в нее все view скажем из 10 млн. фактов и только потом возьмет 5 записей для инкременталки. Нужен некоторый опыт, чтобы это обойти и сделать "инкременталку за 1 сек".

Насчет сервере. MS AS работае на обычной рабочей станции для 30 пользователей. В Русклимате Павел некоторое время держал MS OLAP просто на своей рабочей машине, работая с MS OLAP одновременно!
Если ставите MS AS на одну машину с MS SQL нужен грамотный спец сконфигурирующий память для сервисов, иначе начнуться непонятные новичку page fault и резкое падение производительсности сервера. В общем дело тут не в железе, а скорее в настройках. Из железа надо просто еще памяти добавить 256-512 M к имеющейся.

Если используете быструю инкременталку ("1 сек") нужны хорошие диски, слияние партиций потребует быстрой записи нескольких мегабайт.
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32175449
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Икременталка MS OLAP может удивить новичка своми тормозами.

Я не говорил, что инкременталка - это так уж легко. Когда я делаю инкременталку, я обычно накладываю фильтр (например по системному полю дата-время), и это резко сокращает длительность выполнения запроса, на основе которого создана виртуальная вьюшка. А юнионы можно обойти (перенести с РСУБД на OLA-сервер) с помошью создания нескольких таблиц фактов на OLAP-сервере.
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32175497
DmitryS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
К сожалению на вьюхе инкременталка за 1 сек не всегда получается. ИМХО, конечно. А вот на физической таблице - без проблем.
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32175549
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я инкременталки сейчас делаю через "легкие updatable view", но основе спец. таблички, которая поддерживаемая триггерами. Без view плохо, view мне позволяет менять физ. таблицы DWH и не трогать OLAP.
Напрямую с физ. таблицами я работаю только когда делаю Real-Time OLAP, что интересно я придумал такой прием, который позволяет клиенту очень быстро мигрировать с инкременталки на Real-Time.

Инкременталка за 1 сек работает, за 5 сек это должен уже делать специалист с 2х летним опытом и мощный сервер тут не нужен. За 1 сек уже надо здорово шаманить, узкое горло тут диск, куда будет сливаться готовая партиция. Сервер тут уже нужен взрослый (SCSI+2 Xeon).
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32175830
Roxer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Так все же нужен мультипроцессорный сервак или нет? Как я понял нужен просто быстрый комп с большой оперативкой и большим винтом.

Еще почитал, что хранилище и кубики лучше разенести на разные машины.
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32175976
DmitryS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Для того, чтобы перевозить грузы нужен КАМАЗ или просто Запорожец с багажником на крыше?
Зависит от того, наверное, какие грузы перевозите, какое количество и как их пакуете.
У наших заказчиков, преимущественно, были мультипроцессорные серваки. У нас на работе и МS AS и SQL Server стоят у меня на машине - Р3-700, 512 мозга. Мог поменять, но лениво и переставлять всё это добро.:-) Терпимо. Особенно, учитывая, что обращаются к нему люди, работающие по разным проектам. Но иногда бывают напряги.
Совет: разрабатывайте и тестируйте всё на простой машине, потом, перед переходом в эксплуатацию, попробуйте прокачать данные, запроцессить их. Провести инкременалку. Посмотрите, будут ли тормоза. Постарайтесь понять их причины. Иногда железо Вас не спасёт - дело в "кривой" реализации. Впрочем, не любые требования можно на МС АС реализовать не криво. Особенно, если есть ограничения на клиентский софт и архитектуру решения.
Если проблемы, по Вашему мнению, устранятся железом и есть возможность - покупайте.
Другое дело, что подобный подход не всегда осуществим.:-)
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32176015
Пашка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я согласен с DmitryS, лучше сначала систему попробовать на обычной машине, увидеть узкие места. Наша система почти год работала на Атлоне 1800, 768 оперативки и обычным винтом на 60Г. Основные тормоза - это когда производишь заказчку-преобразование данных, какой-нибудь расчет остатков и т.п., процессишь кубы - тогда процессорная мощь и память как нельзя кстати. А клиентам совершенно по барабану на каком железе у меня MS AS. Сейчас у нас 2 неслабых ксеона, памяти правда всего 2Г. Все подготовка кубов конечно проходит в разы (иногда в десятки раз!) быстрее. А пользователи ничегошеньки не заметили, поскольку сеть осталась та же, а все Calculated-ы, сволочи, грузят клиентов как и раньше.

Вопрос к Владимиру! У нас на одной машине стоит и SQL и MS AS.
Иногда и правда бывает непонятное поведение сервисов. Лечится их перезагрузкой. Что это за суперспецы, которые могут грамотно поделить память между сервисами, и можно ли чуть поподробнее - в чем тут соль, и как делится память - какой то внешней утилитой или средствами Виндоуз и свойствами сервисов? Очень бы хотелось услышать.
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32176559
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сконфигурировать память могу и я. Дело не хитрое, хоть и требует опыта. За $150 можно сделать. Хитрость только в вычислении необходимой памяти MS AS и MS SQL и фиксации их. Долой динамику!
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32177647
Пашка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ни фига себе расценочки...:)
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32177873
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В смысле почему так мало? :)
Для сравнения укажу, что например Microsoft Project Server я ставлю и настраиваю не менее чем за $300. Хотя у меня это может занять 40 минут, а может и 4 часа.
Дорого это только кажется, если не учитывать хождение по граблям. Project Server я переставлял раз 30 месяца два и терял все данные раз 5, пока не понял все тонкости этого продукта используещего MS OLAP, Microsoft Share Point Team Services, MS SQL, IIS с XML-расширениями, плюс технологии оптимизации ресурсов компании от eLabor.
Народ так потрахается сам 1-2 недели, базу потеряет разок, затем IT-менеджер умножит потерянных 15 человеко-дней на их стоимость с ОФР + убытки от простоев. Вот и выйдет что-то около $1000-$2000 в МИНИМУМЕ.

Не находите, что $300 уже и не дорого?

IT-менеджер тем и отличается от девелопера, что понимает, что купить всегда дешевле чем сделать самим.
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32178510
Dimy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ну вы, батенька, загнули...
может я и не прав, но мне кажется, что данная конфа создавалась и предназначена для обмена опытом по OLAP, а не для продажи и рекламы ИТ-услуг
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32178651
DimaR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я вот тоже заметил, что Владимир Иванов, мнит себя этаким гуру,
"мол вы все п******сы, я граф Монте-Кристо",
нельзя так, люди спрашивают конкретные (иногда не очень) вопросы, и хотят получить помощь, нормальный ответ или хотябы где искать,
это ФОРУМ а не рекламный проспект.
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32178756
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мои извинения, если я кого-то задел. Кроме того, мне бы не хотелось заниматься продвижением в стиле Любимова.
Кроме того, я вовсе не считаю, что круче меня только яйца. Например, по целому ряду проблем связанных с MDX-вычислениями я просто снимаю шляпу перед Ириной.
Тем не менее, отмечу важный момент. Бесплатный сыр бывает только в мышеловке.
Я не очень верю в качество бесплатных консультаций. Даже free-консалтинг, который можно здесь получить от Юры или Константина, является рекламой их услуг, но согласитесь это полезно не только как реклама. Вам ответят действительно бесплатно на массу важных вопросов и этим здорово помогут. Но давайте не будем возмущается, когда Юра после ответа по Cognos, напомнит, что это отличный товар и стоит N баксов. Также надо отнестись с пониманием, когда Юра говорит, «стоп, дальше пошло know-how».
Профессионалы на то и профессионалы, что OLAP это их профессия, они этим зарабатывают. Вы же пользуетесь сервисом mail.ru, но давайте поймем, что они живую за счет назойливых баннеров.
Также следует учесть, что вопрос цен это тоже предмет консультаций. Мало какой сейл объяснит вам как купить продукты Microsoft или Cognos со скидкой так 30% или как будет выглядеть реальный бюджет всего внедрения. Не всем это интересно, но для IT-менеджера серьезной компании не намеренного воровать лицензии или довольствоваться низким качеством услуг это важно.
Короче говоря, ДАВАЙТЕ БУДЕМ ТЕРПИМЫ.

PS. Обратите внимение, что у Microsoft появилось впервые бизнес-решение на базе OLAP: Microsoft Project Professional, а не просто OLAP-инструментарий. Там есть масса интересных техн. решений. Например, автоматическое добавление пользователем своих измерений в куб и управление со стороны пользователя параметрами DWH и процессирования куба. Поддержка задач бюжетирования в OLAP, оптимизаторы загрузки ресурсов на OLAP и т.д. Если интересно, могу рассказать.
...
Рейтинг: 0 / 0
Оценить требования к hardware для OLAP
    #32179051
fisher
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Профессионалы на то и профессионалы, что OLAP это их профессия, они этим зарабатывают. Вы же пользуетесь сервисом mail.ru, но давайте поймем, что они живую за счет назойливых баннеров.

В этом-то и состоит Ваше непонимание отличия своего и чужего. Права на рекламу в этом форуме к Вам никакого отношения не имеют. Вам никто не мешает писть рекламные сообщения в форуме на своей странице. Но Вас же это не устраивает. Вы же хотите показать свою рекламу максимальному количеству народа, вне зависимости от их согласия. И именно такие как Вы приклеивают объявления о ремонте телевизоров на домофон и присылают по 50 писем в день с рекламой средств по увеличению пениса.

И количество шума не по делу в этом форуме существенно превосходит санитарную норму. Лично мне уже просто смешно на это смотреть. Это же как круто в середине 2003 года узнать, что Project Pro умеет делать кубы в олап сервере и преподнести это как последний писк....

Я вот тоже заметил, что Владимир Иванов, мнит себя этаким гуру,
"мол вы все п******сы, я граф Монте-Кристо",
нельзя так, люди спрашивают конкретные (иногда не очень) вопросы, и хотят получить помощь, нормальный ответ или хотябы где искать,
это ФОРУМ а не рекламный проспект.

Я думаю что вышенаписанное это общее мнение.
...
Рейтинг: 0 / 0
23 сообщений из 23, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Оценить требования к hardware для OLAP
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]