Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Существуют ли методики оценки требований к аппаратным ресурсам для будущего хранилища данных? Закидайте плиз линками или дайте пару советов здесь. Также хочется узнать про критерии физического разделения OLAP и OLTP подсистем. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.04.2003, 15:18 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Я обычно делаю многомерное ХД/OLAP-кубы напрямую из OLTP-систем. Что касается требований к железу, на котором крутится OLAP-сервер, то все зависит от OLAP-сервера (некоторые кушают много ресурсов, некоторые - мало). Для самых больших моих проектов, где в кубы закачивалось в районе 50 миллионов записей, мне хватало компьютера типа Pentium-3, 700-1000Mhz, 256-512 Mb RAM, 5-40 Gb HDD, хотя эта конфигурация - с запасом, чтобы еще можно было на ней игрушки гонять и фильмы хранить :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.04.2003, 16:46 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Хотелось бы опять поднять эту тему. Мы сейчас потихоньку внедряем OLAP. Имеется ввиду MS Analysis Services. Примерное описание: 1. Таблицы измерений Самое большое измерение - товары - около 200.000. Есть еще время - три года с детализацией до дня. Остальные измерения меньшего порядка. 2. Тыблицы фактов Здесь речь идет о десятках миллионов. Десятки миллионов продаж, десятки миллионов остатков и т.д. 3. Пользователей около 50-ти. Соответственно одновременно обращаться за отчетами будет не больше 10-ти. Какие аппаратные ресурсы должны быть у сервера, чтоб система работала быстро? Поделитесь, пожалуйста, опытом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2003, 13:37 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Как мне кажется, не столь важно каких размеров куб и его составляющие, сколь как куб сделан. Если используются вычисляемые поля - производительность однозначно падает, так как всё вычисляется на клиенте. А уже на сколько падает, зависит от ситуации. Как мне кажется, главное для сревера побольше и по производительней винт и много много памяти... Здесь задача с многими ппеременными. Надо процессить конкретный куб и смотреть где "узкие" места в производительности. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2003, 14:26 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Я согласен. Но некоторые параметры я привел, некоторые еще не знаю (в процессе будет понятно). Просто на основе сказанного можно уже-кое что представить. Конечно будут calculated members, как у нормальных людей. Правда не на клиенте, а на прослойке. У вас уже просто есть опыт. Какие сервера вы используете? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2003, 14:54 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Я использую MS SQL 2000 + от него же Analysis Server. Опыт есть, но небольшой. Проект на стадии начала эксплуатации (несколько не больших кубов, хотя как посмотреть). Для вас я думаю самым актуальным будеи размер и производительность винта (что бы это всё влезло) + объём ОЗУ. Процессор - ну тип "нормального " P3 и выше. Думаю что ниже 800 МГц никто ставить не будет. Тут ещё много зависит от того какой куб создаёте - MOLAP, ROLAP, HOLAP и с какой периодичностью и как будете обновлять таблицу фактов и процессить куб. Честно скажу, что от MS AS я не в восторге, хотя и сомневаюсь что не редко рекламируемые здесь алтернативные продукты лучше. Печально что не очень много документации по нему, прежде всего на русском. Это существенно бы ускорило работу. Для самый большой недостаток - это вычесление вычисляемых полей на локальной машине. Конечно я может ещё не очень грамотно создаю эти поля (да и обстоятельства требуют идти на "непопулярные меры", типа измерений Parent - Children и большое количество выч. полей), но тормоза получаются жуткие (3-ий, 4-ый уровень вложения измерения открывается по минуте и больше, со 100-ой загрузкой процессора клиента). Ещё отрицательным фактором является наличие функциональных и доступных клиентов. Вот если бы MS SQL 2004 побыстрее вышел.... Говорят там выч. поля будут считаться на сервере... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2003, 17:03 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
To GoodLeo: Честно скажу, что от MS AS я не в восторге, хотя и сомневаюсь что не редко рекламируемые здесь алтернативные продукты лучше. У каждого продукта есть свои сильные и слабые стороны. Чтобы понять, какой продукт лучше подходит для той или иной задачи - нужно просто следить за рейтингами и отчетами, составляемыми независимыми компаниями, анализировать высказывания на форумах, и что еще очень важно - собственноручно потрогать разные продукты - благо демо/триал/ознакомительные версии легко доступны. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2003, 17:23 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Ещё важнейший (!!!) момент - на что кубы вешать будете. Если на сложные вьюхи, а бывает, такое необходимо, хотя бы временно, то процессинг может сильно затягиваться. Очень многое зависит от реализации. Мы и четырёхпроцессорный сервак с хорошими камнями и 6 гектарами оперативки вешать умудрялись. Впрочем, на то была воля заказчика - его предупреждали:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.06.2003, 13:55 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Если в качестве источника данных - сложные вьюхи - то значит узкое место - это не OLAP-сервер, а OLTP-система. В такой ситуации может выручить лишь функциональность инкрементального обновления куба (один раз закачать в куб большой массив данных, и это потребует времени, а потом подкачивать данные малыми порциями - такие подкачки даже на основе архисложных вьюх времени не занимают). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.06.2003, 14:06 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
А вот Юра ты не прав. Икременталка MS OLAP может удивить новичка своми тормозами. Фокус вот в чем, если во view есть операторы типа union и SQL-запрос со связями, тогда MS SQL сделает Work Table и сгребет в нее все view скажем из 10 млн. фактов и только потом возьмет 5 записей для инкременталки. Нужен некоторый опыт, чтобы это обойти и сделать "инкременталку за 1 сек". Насчет сервере. MS AS работае на обычной рабочей станции для 30 пользователей. В Русклимате Павел некоторое время держал MS OLAP просто на своей рабочей машине, работая с MS OLAP одновременно! Если ставите MS AS на одну машину с MS SQL нужен грамотный спец сконфигурирующий память для сервисов, иначе начнуться непонятные новичку page fault и резкое падение производительсности сервера. В общем дело тут не в железе, а скорее в настройках. Из железа надо просто еще памяти добавить 256-512 M к имеющейся. Если используете быструю инкременталку ("1 сек") нужны хорошие диски, слияние партиций потребует быстрой записи нескольких мегабайт. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.06.2003, 16:18 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Икременталка MS OLAP может удивить новичка своми тормозами. Я не говорил, что инкременталка - это так уж легко. Когда я делаю инкременталку, я обычно накладываю фильтр (например по системному полю дата-время), и это резко сокращает длительность выполнения запроса, на основе которого создана виртуальная вьюшка. А юнионы можно обойти (перенести с РСУБД на OLA-сервер) с помошью создания нескольких таблиц фактов на OLAP-сервере. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.06.2003, 16:54 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
К сожалению на вьюхе инкременталка за 1 сек не всегда получается. ИМХО, конечно. А вот на физической таблице - без проблем. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.06.2003, 17:20 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Я инкременталки сейчас делаю через "легкие updatable view", но основе спец. таблички, которая поддерживаемая триггерами. Без view плохо, view мне позволяет менять физ. таблицы DWH и не трогать OLAP. Напрямую с физ. таблицами я работаю только когда делаю Real-Time OLAP, что интересно я придумал такой прием, который позволяет клиенту очень быстро мигрировать с инкременталки на Real-Time. Инкременталка за 1 сек работает, за 5 сек это должен уже делать специалист с 2х летним опытом и мощный сервер тут не нужен. За 1 сек уже надо здорово шаманить, узкое горло тут диск, куда будет сливаться готовая партиция. Сервер тут уже нужен взрослый (SCSI+2 Xeon). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.06.2003, 17:57 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Так все же нужен мультипроцессорный сервак или нет? Как я понял нужен просто быстрый комп с большой оперативкой и большим винтом. Еще почитал, что хранилище и кубики лучше разенести на разные машины. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.06.2003, 09:12 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Для того, чтобы перевозить грузы нужен КАМАЗ или просто Запорожец с багажником на крыше? Зависит от того, наверное, какие грузы перевозите, какое количество и как их пакуете. У наших заказчиков, преимущественно, были мультипроцессорные серваки. У нас на работе и МS AS и SQL Server стоят у меня на машине - Р3-700, 512 мозга. Мог поменять, но лениво и переставлять всё это добро.:-) Терпимо. Особенно, учитывая, что обращаются к нему люди, работающие по разным проектам. Но иногда бывают напряги. Совет: разрабатывайте и тестируйте всё на простой машине, потом, перед переходом в эксплуатацию, попробуйте прокачать данные, запроцессить их. Провести инкременалку. Посмотрите, будут ли тормоза. Постарайтесь понять их причины. Иногда железо Вас не спасёт - дело в "кривой" реализации. Впрочем, не любые требования можно на МС АС реализовать не криво. Особенно, если есть ограничения на клиентский софт и архитектуру решения. Если проблемы, по Вашему мнению, устранятся железом и есть возможность - покупайте. Другое дело, что подобный подход не всегда осуществим.:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.06.2003, 11:28 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Я согласен с DmitryS, лучше сначала систему попробовать на обычной машине, увидеть узкие места. Наша система почти год работала на Атлоне 1800, 768 оперативки и обычным винтом на 60Г. Основные тормоза - это когда производишь заказчку-преобразование данных, какой-нибудь расчет остатков и т.п., процессишь кубы - тогда процессорная мощь и память как нельзя кстати. А клиентам совершенно по барабану на каком железе у меня MS AS. Сейчас у нас 2 неслабых ксеона, памяти правда всего 2Г. Все подготовка кубов конечно проходит в разы (иногда в десятки раз!) быстрее. А пользователи ничегошеньки не заметили, поскольку сеть осталась та же, а все Calculated-ы, сволочи, грузят клиентов как и раньше. Вопрос к Владимиру! У нас на одной машине стоит и SQL и MS AS. Иногда и правда бывает непонятное поведение сервисов. Лечится их перезагрузкой. Что это за суперспецы, которые могут грамотно поделить память между сервисами, и можно ли чуть поподробнее - в чем тут соль, и как делится память - какой то внешней утилитой или средствами Виндоуз и свойствами сервисов? Очень бы хотелось услышать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.06.2003, 11:52 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Сконфигурировать память могу и я. Дело не хитрое, хоть и требует опыта. За $150 можно сделать. Хитрость только в вычислении необходимой памяти MS AS и MS SQL и фиксации их. Долой динамику! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.06.2003, 16:39 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Ни фига себе расценочки...:) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.06.2003, 16:43 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
В смысле почему так мало? :) Для сравнения укажу, что например Microsoft Project Server я ставлю и настраиваю не менее чем за $300. Хотя у меня это может занять 40 минут, а может и 4 часа. Дорого это только кажется, если не учитывать хождение по граблям. Project Server я переставлял раз 30 месяца два и терял все данные раз 5, пока не понял все тонкости этого продукта используещего MS OLAP, Microsoft Share Point Team Services, MS SQL, IIS с XML-расширениями, плюс технологии оптимизации ресурсов компании от eLabor. Народ так потрахается сам 1-2 недели, базу потеряет разок, затем IT-менеджер умножит потерянных 15 человеко-дней на их стоимость с ОФР + убытки от простоев. Вот и выйдет что-то около $1000-$2000 в МИНИМУМЕ. Не находите, что $300 уже и не дорого? IT-менеджер тем и отличается от девелопера, что понимает, что купить всегда дешевле чем сделать самим. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.06.2003, 19:43 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
ну вы, батенька, загнули... может я и не прав, но мне кажется, что данная конфа создавалась и предназначена для обмена опытом по OLAP, а не для продажи и рекламы ИТ-услуг ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.06.2003, 15:01 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Я вот тоже заметил, что Владимир Иванов, мнит себя этаким гуру, "мол вы все п******сы, я граф Монте-Кристо", нельзя так, люди спрашивают конкретные (иногда не очень) вопросы, и хотят получить помощь, нормальный ответ или хотябы где искать, это ФОРУМ а не рекламный проспект. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.06.2003, 16:33 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Мои извинения, если я кого-то задел. Кроме того, мне бы не хотелось заниматься продвижением в стиле Любимова. Кроме того, я вовсе не считаю, что круче меня только яйца. Например, по целому ряду проблем связанных с MDX-вычислениями я просто снимаю шляпу перед Ириной. Тем не менее, отмечу важный момент. Бесплатный сыр бывает только в мышеловке. Я не очень верю в качество бесплатных консультаций. Даже free-консалтинг, который можно здесь получить от Юры или Константина, является рекламой их услуг, но согласитесь это полезно не только как реклама. Вам ответят действительно бесплатно на массу важных вопросов и этим здорово помогут. Но давайте не будем возмущается, когда Юра после ответа по Cognos, напомнит, что это отличный товар и стоит N баксов. Также надо отнестись с пониманием, когда Юра говорит, «стоп, дальше пошло know-how». Профессионалы на то и профессионалы, что OLAP это их профессия, они этим зарабатывают. Вы же пользуетесь сервисом mail.ru, но давайте поймем, что они живую за счет назойливых баннеров. Также следует учесть, что вопрос цен это тоже предмет консультаций. Мало какой сейл объяснит вам как купить продукты Microsoft или Cognos со скидкой так 30% или как будет выглядеть реальный бюджет всего внедрения. Не всем это интересно, но для IT-менеджера серьезной компании не намеренного воровать лицензии или довольствоваться низким качеством услуг это важно. Короче говоря, ДАВАЙТЕ БУДЕМ ТЕРПИМЫ. PS. Обратите внимение, что у Microsoft появилось впервые бизнес-решение на базе OLAP: Microsoft Project Professional, а не просто OLAP-инструментарий. Там есть масса интересных техн. решений. Например, автоматическое добавление пользователем своих измерений в куб и управление со стороны пользователя параметрами DWH и процессирования куба. Поддержка задач бюжетирования в OLAP, оптимизаторы загрузки ресурсов на OLAP и т.д. Если интересно, могу рассказать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.06.2003, 17:45 |
|
||
|
Оценить требования к hardware для OLAP
|
|||
|---|---|---|---|
|
#18+
Профессионалы на то и профессионалы, что OLAP это их профессия, они этим зарабатывают. Вы же пользуетесь сервисом mail.ru, но давайте поймем, что они живую за счет назойливых баннеров. В этом-то и состоит Ваше непонимание отличия своего и чужего. Права на рекламу в этом форуме к Вам никакого отношения не имеют. Вам никто не мешает писть рекламные сообщения в форуме на своей странице. Но Вас же это не устраивает. Вы же хотите показать свою рекламу максимальному количеству народа, вне зависимости от их согласия. И именно такие как Вы приклеивают объявления о ремонте телевизоров на домофон и присылают по 50 писем в день с рекламой средств по увеличению пениса. И количество шума не по делу в этом форуме существенно превосходит санитарную норму. Лично мне уже просто смешно на это смотреть. Это же как круто в середине 2003 года узнать, что Project Pro умеет делать кубы в олап сервере и преподнести это как последний писк.... Я вот тоже заметил, что Владимир Иванов, мнит себя этаким гуру, "мол вы все п******сы, я граф Монте-Кристо", нельзя так, люди спрашивают конкретные (иногда не очень) вопросы, и хотят получить помощь, нормальный ответ или хотябы где искать, это ФОРУМ а не рекламный проспект. Я думаю что вышенаписанное это общее мнение. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2003, 23:18 |
|
||
|
|

start [/forum/topic.php?fid=49&fpage=409&tid=1873349]: |
0ms |
get settings: |
10ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
47ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
85ms |
get tp. blocked users: |
2ms |
| others: | 279ms |
| total: | 460ms |

| 0 / 0 |
