Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
Интересная тенденция. Сразу целый ряд наших клиентов преодолели рубеж в 35-40 миллионов фактов в MS AS. Речь идет скорее о средних компаниях (1000-2000 человек персонала), в нефтянке и энергетике уже нормально иметь матричное хранилище на 2,5 млрд. элементов. Ни каких проблем с производительностью не было отмечено, точнее там где мы выполняли работы. Еще целый ряд корп. внедрений MS AS проявился в виду того, что разработчики обратились к нам из-за того, что MS AS фактически ушел в "даун" от объемов свыше 30 млн. фактов. Не помогали даже серверные системы стоимостью $20000-$50000 на RAID10. Особенно это касается тех, кто применял маркетинговые исследования на MS AS, т.е. плотно использовал distinct count. Эта мера предагрегируется в MS AS, но требует тонкого тюнинга сервера. Выполнение нами тюнинга приводило к росту производительности примерно такого плана: время отклика на построение OLAP-отчета в MS Excel XP с 180 секунд до 2 секунд, т.е. ускорение почти в 100 раз. время процессирования OLAP-кубов (30-40 млн. фактов) с 50 часов до 4х часов (без использования инкрементального DWH) и до 5 минут с использованием инкременталки, т.е. ускорение более чем в 100 раз. Вывод: железо не спасает, нужен хороший тюнинг. Рост объемов данных в обсуждаемых компания происходит нелинейно и напоминает скорее степенную функцию. Очевидно что уже в ближайшие 1-2 года MS AS будет там оперировать с 100-150 млн. фактов. Вывод: Очень важно выполнить оптимизации до того как данные окончательно обвалят систему. К сожалению радикальное ускорение производительности часто приходится делать путем переделки структур кубов и хранилищ. Лучше раньше, чем позже. Беру смелость предсказать, что ожидаемое повсеместное внедрение матричных методов калькуляции производственных себестоимостей и других структур Доходов/Расходов приведет к взрывообразному увеличению хранилищ данных. Матричный метод очень хорош и удобен для экономистов, но фактически приводит к структурам, размер которых КВАДРАТИЧНО зависит от числа транзакций между ЭО-ЭЗ. Современные OLAP-сервера и даже их следующее поколение не в состоянии оперировать с матричными хранилищами в 2-5 млрд. элементов (учтем что там еще нужно делать расчеты и не просто крутить обороты). Посему очень важно иметь для оперирования таким DWH специальный матричный модуль предназначенный для оперирования сверхбольшими матрицами, в том числе с поддержкой их компрессии. В OLAP-сервер должны уходить только Data Mart из такого хранилища. Вывод: надо быть готовым в ближайшие 1-2 года оперировать в MS AS с матричными хранилищами в несколько миллиардов элементов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.02.2004, 18:00 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
мощно задвинул ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.02.2004, 18:06 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
Очень интересно послушать про (пред)агрегацию distinct count. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.02.2004, 18:12 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
Mne tozh interesno poslushat. Gospodin Ivanov ne podelitis vashimi soobrazheniyami li? Chto vi podrozumevaete pod "хороший тюнинг"? Pod tuning chasche podrozumevayutsya igra technicheskimi nastroikami a ne meropriyatiya na etape dizaina sistemi. Ne dumayu, chto vi reshaete problemu distict count s pomoschyu technicheskih nastroek, tut bez kardinalnih meropriyatii v dizaine resheniya na moi vzglyad ne oboitis. Tak chto luchshe nazivat eto dizain, "zatochennii" pod distinct count, chem tuning. No mne vse ravno interesno poslushat vasi misli "po-suschestvu", a ne goluyu deklaraciyu dostignutih rezultatov. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.02.2004, 18:30 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
Владимир, уже нормально иметь матричное хранилище на 2,5 млрд. элементов. Ты имеешь в виду что это 2.5 миллиарда записей в таблице фактов, или 2.5 миллиарда ячеек в кубе? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.02.2004, 19:14 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
Вывод: надо быть готовым в ближайшие 1-2 года оперировать в MS AS с матричными хранилищами в несколько миллиардов элементов. А вот вывод-то и неверный. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.02.2004, 23:13 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
Как делается тюнинг MS AS написано в MSDN, точнее там даны основы, советую всем прочитать, повторятся нет смыла. Microsoft сравнительно недавно обновил базу знаний. Вообще говоря, специалистам из Microsoft стоит принести свои извинения за невнятную позицию относительно темы distinct count. Почти год Micrsoft не мог даже внятно ответить на вопрос "агрегаты distinct count настоящие или виртуальные?". Этот вопрос мы с Юрой обсуждали на OLAP.ru и насколько я помню, г-н Мамаев приводил высказывание центрального эксперта по OLAP в Microsoft Russia г-на Шулейнина, который на выступлении среди разработчиков утверждал, что агрегация distict count виртуальная. Сам я там не был, так что цитирую со слов "свидетелей". Теперь правда открывалась. MS AS единственный OLAP-сервер в мире умеющий делать настоящие агрегаты distinct count, но эта агрегация стала работоспособной только после SP и требуется настоящее шаманство для оптимизации решений на distinct count. Частичное руководство "шамана по distinct count" вышло в MSDN. 2Юра. Ты в принципе примерял клиента Cognos к MS AS именно к нашему матричному решению для Лукойла. И ты смотришь в точку. Если ты заметил, когда я говорю о матричных DWH, я говорю о элементах, а не о фактах. Матрица это не таблица, поэтому более правильно говорить об элементах. Только после трансляции матрицы в различные таблицы получаются обычные факты. Поскольку трансляция делается всегда частичная в определенном разрезе, то фактов уже выходит не так много (десятки миллионов). Но сама матрица даже для небольшого центра в нефтянке не менее 200 млн. элементов (15 тыс. закрываемых ЭО-ЭЗ). PS. К слову интересно сколько сейчас фактов в российских OLAP-базах от Oracle, Cognos и Microstrategy и Hyperion? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 09:53 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
Владимир, Если ты заметил, когда я говорю о матричных DWH, я говорю о элементах, а не о фактах. Матрица это не таблица, поэтому более правильно говорить об элементах. сама матрица даже для небольшого центра в нефтянке не менее 200 млн. элементов Слова "нефтянка" и "200 млн. элементов" звучат красиво, но хочется дойти до истины, определиться с понятиями :) Например, у нас есть массив данных - 1000 записей, в каждой записи - 30 полей под измерения (в каждом поле уникальное символьное значение) и одно поле под показатель (числовое). То есть куб с 30 измерениями, в каждом из которых - 1000 элементов. Ячеек в кубе соответственно - 10 в тридцатой степени... Можно ли, выражаясь твоим языком, сказать, что в этом кубе 10 в тридцатой степени элементов? PS. К слову интересно сколько сейчас фактов в российских OLAP-базах от Oracle, Cognos и Microstrategy и Hyperion? В моей практике внедрения OLAP-сервера Cognos PowerPlay самые большие базы данных встречались в розничных торговых сетях. Максимальное количество записей, которые я закачивал в OLAP-куб чуть больше 100 миллионов. Запас прочности - десятикратный (Cognos декларирует возможность закачки в куб в версии PowerPlay 7.1 до 1 миллиарда записей, и эта условная планка в каждой версии повышается). Насчет других OLAP-продуктов тоже было бы интересно услышать реальные цифры. Только в первую очередь интересуют именно кубы, а не те ситуации, когда Oracle Discoverer или Microstrategy визуальными средствами сформировали SQL-запрос, который выполняется реляционным сервером... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 11:12 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
P.S. То есть куб с 30 измерениями, в каждом из которых - 1000 элементов. Ячеек в кубе соответственно - 10 в тридцатой степени... Прошу прощения, немного ошибся - ячеек в таком кубе не 10 в тридцатой степени, а 10 в девяностой степени ( 10 ^ 90 :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 11:16 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
To Vladimir Как делается тюнинг MS AS написано в MSDN, точнее там даны основы, советую всем прочитать, повторятся нет смыла. Microsoft сравнительно недавно обновил базу знаний. A ssilochkoi ne podelites? Poslednee chto ya nashel o distinct count eto http://msdn.microsoft.com/library/default.asp?url=/library/en-us/dnsql2k/html/sql_olapdistinctcount.asp no eto mart proshlogo goda. Частичное руководство "шамана по distinct count" вышло в MSDN. eto chto li? http://msdn.microsoft.com/library/default.asp?url=/library/en-us/dnolap/html/distinct2.asp tak eto star'e 1999 goda. distinct count агрегация стала работоспособной только после SP kakogo? sp3? sp2? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 11:41 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
To Vladimir a chto takoe Matrichnoe hranilische? Razve eto termin iz businness prilozhenii? Vam SCD ne ponravilos - slozhno dlya vas , a tut vi o matrichnii hranilischah razgovor podinyali, ili "millioni" v fact table zvuchat ne tak kruto, kak kolichestvo elementov matrici. Tak tut technicheskii forum, a ne zagruzka potencialnih zakazchikov, zachem pil v glaza puskat. Voovbschem skaldivaetsya vpechatlenie, chto vi po-delu to i skazat nichego ne v sostoyanii, tolko goliie zifri o razmerah baz i vremeni otklika. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 11:47 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
Владимир, то, что метрики Distinct Count физического характера было понятно и так всем, кто хоть раз их использовал. Что никоим образом не отменяет связанных с ними проблем. В частности, невозможности получать данные по произвольным диапазонам измерений. Аудитория ждёт информации по тюнингу и продвинутой (пред)агрегации. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 13:26 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
Коллеги, мои искрение извинения но за недостатком времени я не смогу все помочь. Поэтому отвечаю выборочно и с задержками. Поскольку нет желания вписывать в форум целый учебный курс по MS AS, могу предложить сделать мастер-класс и пригласить туда желающих. Кому нужно, пишите на Ivanov-soft@inbox.ru, стоимость будет на уровне компенсации аренды класса – наверное $200. Насчет матричных вычислений в экономике это не совсем тема форума, т.к. OLAP это только компонент таких решений. Скорее всего будет в ближайшее время специализированный семинар, там и обсудим. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 13:59 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
To Ivanov. Vi kak vsegda v svoem stile - eto moe Know-How i ya ego za "tak" ne rasskazhu. A mozhet i rassazivat to ne chego. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 14:07 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
2 backfire Скоре всего так оно и есть. Голословные рекламные лозунги и сомнительные предложения. 2 Владимир Иванов Вы ничего не перепутали? Это форум, здесь можно выступить, раз уж для себя ничего не надо и мастер-класс по себестоимости. Вряд ли дольше получится. А конкретную ссылку в MSDN тиснуть - вообще минута. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 15:10 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
To Rex: В частности, невозможности получать данные по произвольным диапазонам измерений. Правильно ли я понимаю, что Вы имеете в виду ситуацию, когда показатель на основе Distinct Count (например, Количество клиентов) легко считается для каждого дня, месяца, года, но его нельзя посчитать за произвольный период времени с даты по дату? Кстати в таких ситуациях все равно надо делать расчет налету... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 16:26 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
2 Jurii Совершенно верно. Собственно, это самое интригующее в сообщении Владимира Иванова - 100 кратное уменьшение времени отклика. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 17:16 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
To Rex: Совершенно верно. Собственно, это самое интригующее в сообщении Владимира Иванова - 100 кратное уменьшение времени отклика. Против подобной комбинаторики не попрешь... Вариантов выбора произвольных начальных и конечных значений для отчета - бесконечное количество, и я сомневаюсь, что можно просчитать агрегаты для всех комбинаций. Может быть Владимир имел в виду, что агрегаты вычисляются только для ячеек куба, а в остальных случаях расчет производится налету? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 17:38 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
еще интересно, в какой столовой Лукойла внедрено сие :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 17:47 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
Да, ребята. Еще раз мои извинения тем кого я случайно задел, обидел или спровоцировал на неадакватную реакцию. Потенциальным клиентам я готов продемонстрировать решения по калькуляциям масштаба всего производственного комплекса Лукойл-Коми или Лукойл-Пермь, а также отзывы клиентов по 100 кратному повышению производительности в том числе с визитом на место. Но все это не касается потенциальных конкурентов. Им еще раз мои извинения и мой отказ как либо аргументировать мою позицию. Мотивация сторон делает спор бессмысленным. "На слабо", ценные знания не отдают. Халява кончилась. За сим откланиваюсь, к сожалению действительно не в то место попал, т.к. по волнующим меня проблемам (см. задачу о дебиторке) ни одного дельного совета не получил. Обмен знаниями не бывает одностронним, хочу делюсь, хочу не делюсь. Без обид. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 18:08 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
Не в тему. Модератор прости. А почему так похоже? http://www.sql.ru/articles/articles.aspx http://www.microsoftproject.ru/articles.phtml Это что один и тот же сайт? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 18:24 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
To Ivanov Потенциальным клиентам я готов продемонстрировать решения по калькуляциям масштаба всего производственного комплекса Лукойл-Коми или Лукойл-Пермь, а также отзывы клиентов по 100 кратному повышению производительности в том числе с визитом на место. Но все это не касается потенциальных конкурентов. Им еще раз мои извинения и мой отказ как либо аргументировать мою позицию. Мотивация сторон делает спор бессмысленным. "На слабо", ценные знания не отдают. Халява кончилась Vi navernoe ne tuda tochno zabreli. Zdes net i vryad li budut vashi klienti - tak chto samoreklama zdes neumestna. Zdes technicheski forum, publiku interesuet MS AS i Cognos, i nikomu net dela do vashih Ole-Lukoilov i Saturnov s Yupiterami. Esli vi boites konkurentov, to u zachem voobsche etot forum poseschat. Berite primer s Glory, Gladchenko i Deda Mаздая. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2004, 20:36 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
Владимир Иванов: "...На слабо", ценные знания не отдают. Халява кончилась. ....по волнующим меня проблемам (см. задачу о дебиторке) ни одного дельного совета не получил. ..." Владимир! Извините, но почему Вам должны предоставлять информацию за дорма, а от вас видеть постоянно фигу? Скажите, какой дельный совет Вы хоть раз предоставили в форуме, акромя рекламных лозунгов в целях завлечь народ на мастер-класс? Я не сомневаюсь что вы хороший специалист по ОЛАП, но в форумах ведут себя по другому. Форум предназначен для взаимопомощи, а иногда и не для взаимо, а просто - помощи, так как по ОЛАПу спецов не много и не надо пологать что здесь сидят одни конкуренты и ждут от вас ценной инфы. Сюда заходят как правило те, кто не очень силён в ОЛАПе и ждут ценного совета. И Вы это прекрасно понимаете и используете такие некрасивые методы, прекрываетесь всякими опасениями о конкурентах, для завлечения на семинар. Я бы Вас, на месте модератора, уже давно бы обвинил в нецелевом использовании форума :) Так что действительно, Вы не туда попали, как и некоторые другие продавцы мыслей.... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2004, 06:21 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
http://msdn.microsoft.com/library/default.asp?url=/library/en-us/dnsql2k/html/sql_olapdistinctcount.asp но Владимир прав - время халявной инфы заканчивается. Последнее время я замечаю, что "поделиться информацией" имеет характер игры в одни ворота. А может я старею и становлюсь жадным? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2004, 10:27 |
|
||
|
40-миллионики под MS AS уже стали нормой, 2-3 млрд. скоро будут нормой.
|
|||
|---|---|---|---|
|
#18+
2 AnS1 Смотря как и чем делиться. Настоящий профи не зажмёт инфу, т.к. она только придаст ему веса и уважения в сообществе. А в данном случае мы имеем дело с банальной рекламой консультационных услуг. Причём качество их довольно сомнительно, ибо г-н Владимир Иванов не даёт даже намёка на свой уровень владения предметом, если не считать широко расставленных пальцев и упоминания некоего чудодейственного тюнинга. Полностью согласен с backfire. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2004, 12:44 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=32412954&tid=1872810]: |
0ms |
get settings: |
5ms |
get forum list: |
10ms |
check forum access: |
2ms |
check topic access: |
3ms |
track hit: |
167ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
52ms |
get tp. blocked users: |
1ms |
| others: | 255ms |
| total: | 505ms |

| 0 / 0 |
