powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Опыт в рознице
25 сообщений из 150, страница 2 из 6
Опыт в рознице
    #32474117
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Jurii

Это спорный вопрос. Слишком уж слабая Completeness of Vision (мало функциональности) у аналитических продуктов Oracle...

И в чем это выражается?
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474183
drive
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Jurii:
Подумайте, что будет, если файл формата Excel лежит на компьютере, и его по сети открывают на чтение 1000 пользователей? Ведь все будет работать быстро, это не вызывает сомнений.

Ни фига себе заявление. :-) Зачем тогда люди SCSI придумывают, если, якобы и так все будет работать быстро. ;-) ... понимаете у вас один дисковод, а не 1000, если одновременно два пользователя запросили данные из этого файла, то дисковод будет обслуживать сперва первого, а затем второго. Вот тут-то могут возникнуть задержки, особенно если операции у каждого пользователя длинные (у нас OLAP, а не OLTP) и если файл ограмадный.

И все-таки интересно, что Cognos предлагает для парлелльной работы пользователей, неужели нет никакой оптимизации, ну я не знаю, там, кэширования какого-нибудь?
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474217
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Guees

Слишком большой объем и детальные данные требуются при анализе - ни один серве не потянет.

Так вот, andyk написал, что Teradata 20 лет истории Walmart тянет. А Walmart - самая крупная розничная сеть в мире.

Соответственно, тянут по-видимому.

И кто бы ты нибыл ТЕРАДАТА или Oracle или COGNos - все едино.

Некорректно сюда Cognos записывать, он всё-таки многомерный, а Терадата и Oracle - реляционные. Большая разница.

Но вот опыт говорит , что OLAP в рознице - это труба его аполагетам.
У Терадаты есть аналитическое решение для розницы на Microstrategy, неоднократно внедрённое, что показывает, что Ваше утверждение можно оспорить.

Вот тут есть про внедрения.

В частности, турецкая компания Migros, которая владеет сетью Рамстор в России, использует связку Teradata+Microstrategy.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474230
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Birkhoff:

Это спорный вопрос. Слишком уж слабая Completeness of Vision (мало функциональности) у аналитических продуктов Oracle...
И в чем это выражается?


Выражается в том, что для многих типичных задач с которыми пользователи сталкиваются в жизни не предусмотрено стандартных пунктов меню, опций и подходов решения. Достаточно ли детально я ответил на Ваш вопрос? :)

To drive:

у вас один дисковод, а не 1000, если одновременно два пользователя запросили данные из этого файла, то дисковод будет обслуживать сперва первого, а затем второго. Вот тут-то могут возникнуть задержки, особенно если операции у каждого пользователя длинные (у нас OLAP, а не OLTP) и если файл ограмадный.

Ну не знаю, у меня в практике были кубы по гигабайту (десятки миллионов записей) и пользователи к ним параллельно коннектились как к файлам со слабых компьютеров, и отклик был в стиле OLAP (либо мгновенно, либо не более 5 секунд). Возможно дело в том что прочитать числа из куба - это не нагрузка для дисковода...

И все-таки интересно, что Cognos предлагает для парлелльной работы пользователей, неужели нет никакой оптимизации, ну я не знаю, там, кэширования какого-нибудь?

Если чем-то не подходит вышеприведенный файл-серверный метод, при котором кэширование для каждой сессии/пользователя свое, можно использовать клиент-сервер или доступ через веб-браузер. Для этого нужен Powerplay Enterprise Server, и при этом будет полноценное "многопользовательское" кэширование.
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474281
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Jurii

Это спорный вопрос. Слишком уж слабая Completeness of Vision (мало функциональности) у аналитических продуктов Oracle...
И в чем это выражается?

Выражается в том, что для многих типичных задач с которыми пользователи сталкиваются в жизни не предусмотрено стандартных пунктов меню, опций и подходов решения. Достаточно ли детально я ответил на Ваш вопрос? :)


Как я понял в Когносе предусмотрена кнопка "Работа"
Да, с этим вопросом мне все стало окончательно ясно.
В очередной раз. :)
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474295
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Birkhoff:

Как я понял в Когносе предусмотрена кнопка "Работа"
Да, с этим вопросом мне все стало окончательно ясно.
В очередной раз. :)


Надо будет нам как-нибудь пивка попить и заодно посмотреть какой функционал заложен в Cognos. Если начать перечислять - получится очень длинный список (это будет не перечисление пунктов меню, опций и кнопок, а тех задач, которые можно с их помощью решить без программирования).
Мне как-то неохота на это время тратить - проще перечитать дискуссии на этом форуме, составить список задач которые вызывали сложности у пользователей MS AS и Oracle Express/OLAP и убедиться, что решение львиной доли этих задач Cognos предусмотрел и включил в свои продукты...
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474380
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У нас есть опыт постоения розничных BI-решений. Правда текущий объем у большинства крупных розничных клиентов в районе 50-60 млн. фактов. У нас рекордсмен это уже не розница, а сотовые операторы анализирующие до 20 млн. фактов за месяц (звонки, SMS-ки по услугам и т.д.).
MS AS ведет себя весьма достойно, но надо здорово оптимизить.
Как "детский конструктор" MS AS хорошо работает на DWH до 5 млн. фактов, затем нужно ручки крутить и весьма профессионально.
На ROLAP-системы я бы сейчас не ставил. У меня как у инженера 10-летний опыт работы на различных SQL-серверах. Для себя я сделал вывод, что современные SQL-сервера способны вытягивать SQL-запросы в 10-20 млн. фактов, далее жестокий даун, что у MS SQL, что у Oracle.
Либо агрегируйтесь и реально получайте 5-6 млн. фактов, либо вам дорога в MOLAPы (Hyperion, MS AS, Cognos).

Если интересно по MS AS пишите ivanov-soft@inbox.ru
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474567
Guees
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Guees, а на каком основании вы делаете такие безрадостные выводы?
To whom ....
Тутошние разговоры все время затеняют одну вещь, чтоб OLAP работал под ним должно быть ХД.
Чтоб он очень хорошо работал - нужно очень хорошое железо.
А это господа Вы скрываете.
Через год сколько бы Вы не планировали , окажется ресурсов не хватает.
Может для пилота и PC за 500USD достаточно , но сейчас скорость роста данных такова что ни один из Вас и Ваших клиентов реально не сможет спрогнозировать этот прирост. Так все утверждения о мощном OLAP - чей бы он ни был хоть долбаный Cognos хоть рапространенный MSOLAP все равно выглядят шутками , тем более в рознице.
Не будет там OLAP тащить все - не по силам.
Сначала клиенту навешаете лапши - что надо OLAP,
заптем скажите что надо де и ХД перед тем как OLAP, а затем заявите , что туда все не надо грузить, пусть там будут агрегаты только ....
Или предложите распределенную архитектуру ... типа 10 серверов по периметру .....
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474614
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Ivanov

"У меня как у инженера 10-летний опыт работы на различных SQL-серверах"

S kakih por v pedvuzah gotovyat inzhenerov?
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474616
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Ivanov

"Я не инженер, хотя и приходятся часто делать review кода и проектирование архитектуры. Я аналитик, даже скорее менеджер"

Razve eto ne vashi slova?
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474619
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Ivanov

что современные SQL-сервера способны вытягивать SQL-запросы в 10-20 млн. фактов, далее жестокий даун, что у MS SQL, что у Oracle.
Либо агрегируйтесь и реально получайте 5-6 млн. фактов, либо вам дорога в MOLAPы


Cto vi podrazumevaete pod zaprosom v 10-20?
Zapros zavprosu rozn', takzhe kak dizain odnogo DWH - dizainu drugogo DWH.

V kakih koknkretnih usloviyah u vas nablyudalsya "zhestokii down"
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474631
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Ivanov.

У меня как у инженера 10-летний опыт работы на различных SQL-серверах.

Aga! Schazzz!

V 94-gudu na 3-m kurse Lenpeda, poluchaya "inzhenernoe" obrazovanie uchitelya fiziki i informatiki vi nachali rabotat s SQL-Serverami?

- ne smeshite publiku!
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474846
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Guees:

Если Вы представляете розничную сеть, и у вас есть проблемы с обработкой больших объёмов данных и есть задача построения хранилища данных, свяжитесь, пожалуйста, со мной.
У меня будет что рассказать. Лапшу на уши типа "1000 долларов, и Вы в порядке" вешать не буду. Не тот масштаб. Расскажу и про железо, которое нужно, и про софт.

2 Владимир Иванов:

Oracle и MS SQL - СУБД, которые разрабатывались для транзакционных систем. Ничего удивительного, что они не справляются с нагрузками, типичными для хранилищ данных. Для этого специальные СУБД надо использовать. Тем более, если речь о рознице идёт.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474872
Guess
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
To Lisyansky
Спасибо, Ваши координаты передам людям ,которым собственно и предлагают купить OLAP. Собственно и ссылки на SQL.ru . Пусть почитают.
Сам я отвечаю за железо.
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474908
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Guees, так вы и не ответили, какие объективные факторы берутся вами в расчет.
...
Рейтинг: 0 / 0
Опыт в рознице
    #32474935
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To guess, Константин:

Тутошние разговоры все время затеняют одну вещь, чтоб OLAP работал под ним должно быть ХД.
Чтоб он очень хорошо работал - нужно очень хорошое железо.
А это господа Вы скрываете.
У меня будет что рассказать. Лапшу на уши типа "1000 долларов, и Вы в порядке" вешать не буду. Не тот масштаб.


Господа, видимо нам надо несколько итераций чтобы понять друг друга. Вы специалисты по железу и ХД, я по аналитическим системам. Когда я прихожу в розничную сеть - там уже есть ХД, пока этот вопрос не решен крупные сети OLAP не начинают даже выбирать. Поэтому мне и хватает компьютера за 1000$ для OLAP-сервера.

Может для пилота и PC за 500USD достаточно , но сейчас скорость роста данных такова что ни один из Вас и Ваших клиентов реально не сможет спрогнозировать этот прирост. Так все утверждения о мощном OLAP - чей бы он ни был хоть долбаный Cognos хоть рапространенный MSOLAP все равно выглядят шутками , тем более в рознице.

Не забывайте, форум открыт для массовых посетителей, у которых через 10 лет не будет 100 миллионов записей. А крупных торговых сетей все-же немного, единицы... Да и специалистов которые внедряли там аналитические системы - тоже единицы...
...
Рейтинг: 0 / 0
Опыт в рознице
    #32475002
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Константин Лисянский

Oracle и MS SQL - СУБД, которые разрабатывались для транзакционных систем. Ничего удивительного, что они не справляются с нагрузками, типичными для хранилищ данных. Для этого специальные СУБД надо использовать. Тем более, если речь о рознице идёт.

При всем моем уважении к вам, тут вы не правы. По крайней мере в отношении Oracle. Да и к Microsoft наверное тоже.
Посмотрите например результаты тестов TPC-H
http://www.tpc.org/tpch/results/tpch_perf_results.asp

Особенно для сверхбольших хранилищ видно, что Oracle там показывает лучшие результаты.
Более того на текущий момент самое большое коммерческое хранилище данных в France Telecom 32TB построено на Oracle. О чем был прессрелиз специальный. Там писали что перехватили флаг у Terradata. Само хранилище 48TB, но боевой кусок 32.

В Oracle очень много встренных спец средств, созданных именно для использования с хранилищами. Например один асинхронный Change Data Capture чего стоит. Ну а про материализованные представления, partitioning, merge, query rewrite, query equivalence я уже и не говорю.
...
Рейтинг: 0 / 0
Опыт в рознице
    #32475009
Tomcat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
to Константин Лисянский

авторOracle и MS SQL - СУБД, которые разрабатывались для транзакционных систем. Ничего удивительного, что они не справляются с нагрузками, типичными для хранилищ данных. Для этого специальные СУБД надо использовать.

Советую полистать
Oracle9 i
Data Warehousing Guide
Release 2 (9.2)
March 2002
Part No. A96520-01

Oracle - это типичная СУБД для ХД. Смотря как сконфигурировать.
Про это даже спрашивается на этапе создания БД.
В MS я уверен тоже что-то подобное имеется.
...
Рейтинг: 0 / 0
Опыт в рознице
    #32475030
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Jurii:


Не забывайте, форум открыт для массовых посетителей, у которых через 10 лет не будет 100 миллионов записей

Юрий, посмотрите, пожалуйста, с чего начался разговор. Человек явно написал про сотни миллионов записей. Вероятно, он представляет крупную розничную сеть.
Если бы речь не шла о таких объёмах, возможно я бы и не стал принимать участия в этом разговоре, чтобы не мешать Вам продвигать аналитические системы.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
Опыт в рознице
    #32475115
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Константин Лисянский

Нашел статью.
http://otn.oracle.com/products/bi/pdf/vldw_cases_winter.pdf

В частности в разделе case studies написано почему France Telecom мигрировал с Teradata.
Там написано что трафик в FT 500 миллионов звонков в день.
В хранилище содержится информация о 180 миллиардах звонках.
Так что, это к вопросу можно ли держать в Oracle объемы данных крупной розницы.

Есть и case study про Telecom Italia Mobile.

Про Amazon.com (а это уже розница) там же написано что у них объемы 5 терабайт, и удваиваются каждый год.
...
Рейтинг: 0 / 0
Опыт в рознице
    #32475216
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Birkhoff, Tomcat:

Спасибо за информацию об Oracle.

С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
Опыт в рознице
    #32475265
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Почитал я ваши сообщения. Вроде специалисты, а общение на уровне PR-маркетинга. :)

Хотите забавную историю по "терабайтные хранилища и крупнейшие в мире OLAP-решения"? Для начала без лиц, имен и названий. Ok?
Мне пришлось сейчас на практике столкнуться с OLAP-решением, которое которое лежит в топе "кейсов" одного из 4х ведущих поставщиков BI-систестем. В кейсе написано, что "решение для компании-лидера в своем сегменте рынка (30 тыс. человек персонала), решение охватывает 250 филиалов компании по всему миру, совокупно в хранилищах данных 400 млн. фактов. BI-решение используется для бюджетирования корпорации на базе технологии OLAP-кубов с обратной записью. On-line доступ через Инет для всех 250 филиалов. И тд И тп". И вот мы со своим "детским" MS AS пошли автоматизировать филиал, интегрированный в такой супер-комплекс.
Правда когда я стал смотреть решение, я чуть со стула не упал. Все что сказано выше это правда, только вот что это такое если очистить маркетинговый вид речи.
- Во всех хранилищАХ действитетельно 400 млн. фактов, даже наверное больше, НО в хранилище центрального офиса передаются только агрегированные данные на уровне результатов за месяц. В результате в центральном офисе крошечное хранилище на 3-5 млн. агрегированных фактов.
- Внимание!... сядьте покрепче, сейчас можно со стула упасть. Только 15% филиалов передают данные в центральные офис автоматически, остальные 75% ... перебивают руками операторы филиалов через терминальный сервис.

На самом деле подобный подход далеко не редкость. Очень часто рассуждения об автоматизации "крупнейшей розничной сети" на самом деле весьма небольшые хранилища и кубы с грубым агрегированием. Решение на полной базе фактов, которое есть у большиства участников форума чаще оперирует большей OLAP-размерностью, чем подобное грубоагрегированное решение у мировой корпорации.
...
Рейтинг: 0 / 0
Опыт в рознице
    #32475304
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Владимир Иванов

Забавно.
Предположим, что так оно и есть в этом случае.
Но ключевое слово тут "решение". Технология по боку.
А решить задачу как видно можно разными средствами.
...
Рейтинг: 0 / 0
Опыт в рознице
    #32475316
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Россия однозначно родина слонов!
Владимир сам тоже отличился ранее, описав свое мегавнедрение MSOLAP+OWC на 100+ рабочих мест в какой-то некрупной питерской конторке, уж не помню, какой :)
...
Рейтинг: 0 / 0
Опыт в рознице
    #32475323
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2Birkhoff. Коллега, мне почему-то кажется что вы знаете, что у российский сотовых операторов логи довольно часто держаться под базами с MySQL.
В базах MySQL лежат сейчас десятки и сотни миллионов фактов.
Это я к тому, что нет проблем напихать 150 млрд. записей в любой SQL-сервер в плоскую неиндексированную таблицу и с выключенным логированием. Если тут еще задействовать федеративный кластер MS SQL, то можно вообще рекорды ставить.
Теперь осталось сделать хотя бы простейший SQL-запрос... А вот тут получается пшик.
Все как-то умалчивают, что все это "хралище" чаще всего даже не реально перепроцессировать. В OLAP оно попадает инкрементальной подкачкой или через модуль "грубого агрегирования".
К слову, кто пробовал сделать Distinct Count анализ по 2 млн. абонентов? В MS AS работает, причем на 2х процессорной системе.
...
Рейтинг: 0 / 0
25 сообщений из 150, страница 2 из 6
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Опыт в рознице
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]