powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / один куб или два
25 сообщений из 78, страница 3 из 4
один куб или два
    #32929014
Alex_D
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
По моему аналитические функции уже стандартизованы в ANSI SQL.

Вот, например, статейка ...
...
Рейтинг: 0 / 0
один куб или два
    #32929118
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Господа, тема про нарастающий итог средствами SQL несомненно интересна, но нельзя ли это вынести в отдельный топик.

Иногда складывается впечатление, что топика в нашем форуме очень похожи на застольные беседы, начинем о "внутренних делах в Гондурасе", а заканчиваем "про урожайность кукурузы на Аляске".
...
Рейтинг: 0 / 0
один куб или два
    #32929202
OLAPMASTER
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Angel13 OLAPMASTERЯ поправлю Birkhoff, дело в том что нарастающий итог на ANSI SQL только по первичному ключу с подзапросом. Тоесть вы в нутри запроса двигаясь по записям, находите меньшие значения первичного ключа и делаете sum от текушего к меньшему

Зачем же вложенный подзапрос? можно и просто JOIN'ом.

select T1.USERNAME, T1.USER_ID, sum(T2.USER_ID)
from DBA_USERS T1
join DBA_USERS T2 on T1.USERNAME >= T2.USERNAME
group by T1.USERNAME, T1.USER_ID
order by 1

-- выполнять на Oracle.
Но согласен, что аналитические функции будут работать быстрее. Сам Кайт об этом писал :)
И что оптимизатор сказал на этот запрос какой у него план???
join DBA_USERS T2 on T1.USERNAME >= T2.USERNAME с таким соединением наверно хороший план выполнения.
Я вот выполнил для DBA_USERS и план был вообще нереальный.
...
Рейтинг: 0 / 0
один куб или два
    #32929235
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 олапист & backfire:

и опять Вы как всегда неправы на счет медленной работы запросов

Вы хотите сказать, что прямые SQL-запросы всегда работают быстро?
Недавно я анализировал данные объемом около 30 тысяч записей - делал аналитические запросы, создавал вычисляемые показатели на основе статистических функций - выполнялись SQL-запросы очень небыстро...

к Вашему сведению в современных СУБД есть такой модуль как оптимизатор запросов, который не будет без крайней надобности вытягивать по 10 миллиардов строк
это тоже стоит обьяснить Вам подробнее?


Это было небольшой провокацией с моей стороны, когда я озвучил цифру 10 миллиардов. Такой объем является привычным для телекомовских компаний, и многие участиники форума работали с этими объемами. Но если мы в моем кубике сделаем не 5, а 6 измерений - тогда объем данных будет не 10 миллиардов, а 1000 миллиардов (триллион). Если в кубе будет 10 измерений, и в каждом не по 100, а побольше мемберов, то плоское представление такого куба не поместится ни на одно средство хранения данных - или если поместится, то будет стоить очень дорого. При этом если кубик лежит в среде MOLAP, он не требует серьезного железа.
Таким образом, Ваши рассуждения про оптимизаторы современных СУБД - это в данном случае - научные мысли вслух, не имеющие ничего общего с реальной жизнью.
...
Рейтинг: 0 / 0
один куб или два
    #32929270
OLAPMASTER
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jurii2 олапист & backfire:

и опять Вы как всегда неправы на счет медленной работы запросов

Вы хотите сказать, что прямые SQL-запросы всегда работают быстро?
Недавно я анализировал данные объемом около 30 тысяч записей - делал аналитические запросы, создавал вычисляемые показатели на основе статистических функций - выполнялись SQL-запросы очень небыстро...

к Вашему сведению в современных СУБД есть такой модуль как оптимизатор запросов, который не будет без крайней надобности вытягивать по 10 миллиардов строк
это тоже стоит обьяснить Вам подробнее?


Это было небольшой провокацией с моей стороны, когда я озвучил цифру 10 миллиардов. Такой объем является привычным для телекомовских компаний, и многие участиники форума работали с этими объемами. Но если мы в моем кубике сделаем не 5, а 6 измерений - тогда объем данных будет не 10 миллиардов, а 1000 миллиардов (триллион). Если в кубе будет 10 измерений, и в каждом не по 100, а побольше мемберов, то плоское представление такого куба не поместится ни на одно средство хранения данных - или если поместится, то будет стоить очень дорого. При этом если кубик лежит в среде MOLAP, он не требует серьезного железа.
Таким образом, Ваши рассуждения про оптимизаторы современных СУБД - это в данном случае - научные мысли вслух, не имеющие ничего общего с реальной жизнью.

Можно хранить их отдельно, и соединять в запросах. Можно сделать несколько таблиц, которые будут хранить измерения и одну таблицу фактов и через join и union можно получить похожую информацию что и в кубе. Конечно это будет медленее чем куб (там как он хранит ответы) но это реально и не так уж ресурсоемко. Весь вопрос в оптимальном хранении информации, не в одну таблицу а разряженно.
...
Рейтинг: 0 / 0
один куб или два
    #32929426
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Юрий,

насколько я понимаю, дискуссия уже идёт не на тему "возможно ли реализовать сложный алгоритм разнесения с помощью SQL". Выяснили, что возможно. Теперь идёт вопрос о скорости.
Таким образом, поскольку вопрос о возможностях SQL решён в положительную сторону, думаю, Вам пора начать выполнять Вашу часть обязательств относительно прекращения дискуссий по поводу SQL с Вашей стороны.

Своими рассуждениями по поводу SQL Вы очень сильно смешите публику.
Нельзя же в каждом топике устраивать такую клоунаду.

С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
один куб или два
    #32932210
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Константин Лисянский:

насколько я понимаю, дискуссия уже идёт не на тему "возможно ли реализовать сложный алгоритм разнесения с помощью SQL". Выяснили, что возможно. Теперь идёт вопрос о скорости.

Вы не правы. Если провести параллель, то планировать ресурсы предприятия можно без ERP-системы, достаточно лишь иметь карандаш и бумагу. Расчеты на бумаге провести будет конечно очень трудоемко, но это другой вопрос - главное что можно все точно посчитать :)
Я не считаю жизнеспособным решение этой задачи на SQL. Или Вы готовы при добавлении каждого нового аналитического разреза, при увеличении количества записей на порядки (10 миллиардов -> триллион -> сто триллионов...) расширять вычислительную мощность и дисковое пространство сервера? Таких серверов то не бывает...
К тому же, решение на SQL требует добавления нового показателя при появлении каждого нового разреза (базы распределения), что мягко говоря не очень удобно.

Таким образом, поскольку вопрос о возможностях SQL решён в положительную сторону

Вы хотите притянуть за уши неработающее решение...

Своими рассуждениями по поводу SQL Вы очень сильно смешите публику.

Видимо Вы слишком много начитались классики по хранилищам данных, и немного отстали от жизни. А такие скромные специалисты как я - вовсю создают хранилища и витрины данных, которые реально работают :)
...
Рейтинг: 0 / 0
один куб или два
    #32932253
Jurii А такие скромные специалисты как я - вовсю создают хранилища и витрины данных, которые реально работают :)
Сильно сказано ...

Jurii Я не считаю жизнеспособным решение этой задачи на SQL. Или Вы готовы при добавлении каждого нового аналитического разреза, при увеличении количества записей на порядки (10 миллиардов -> триллион -> сто триллионов...) расширять вычислительную мощность и дисковое пространство сервера? Таких серверов то не бывает...
Такие цитаты нужно сразу в FAQ заносить. Не дай бог затеряются.
...
Рейтинг: 0 / 0
один куб или два
    #32932326
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiИли Вы готовы при добавлении каждого нового аналитического разреза, при увеличении количества записей на порядки (10 миллиардов -> триллион -> сто триллионов...)

Юрий, не бросайтесь попусту цифрами.
Возьмите в руки Ваш любимый калькулятор (или пресловутый не в меру Интеллектуальный построитель выражений) и приведите вычисления откуда у Вас получаются эти записи. А то я что-то (видимо, после большого количества прочитанной классики) не понимаю.

JuriiВы хотите притянуть за уши неработающее решение...
Да, вы и задачу-то не сформулировали до сих пор, а уже вовсю поносите решение. Нехорошо как-то.

JuriiВидимо Вы слишком много начитались классики по хранилищам данных, и немного отстали от жизни
Видимо, да. В эксперты не набиваюсь.

JuriiА такие скромные специалисты как я
Клинический случай
На Вас надо бы господина Иванова напустить, он как психолог Вам поможет.



С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
один куб или два
    #32932333
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Юра, где вы научились этому мастерству подмены понятий? :)

Я уж не говорю о мастерстве "притягивания за уши неработающих решений" :)
Тут уж с вами мало кто может тягаться.
...
Рейтинг: 0 / 0
один куб или два
    #32932725
Андрей Прохоров Jurii А такие скромные специалисты как я - вовсю создают хранилища и витрины данных, которые реально работают :)
Сильно сказано ...


Ага если учесть, что Юрий является ярым противником создания хранилищ данных. Он приверженец все делать на виртуальных вьюшках за пять дней. :))

to Jurii

А Вы случаем не карточный шулер. Очень уж умело передергиваете и блефуете. Я Вами восхищаюсь - такой талант пропадает.
...
Рейтинг: 0 / 0
один куб или два
    #32932917
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Андрей Прохоров:

Я не считаю жизнеспособным решение этой задачи на SQL.
Такие цитаты нужно сразу в FAQ заносить. Не дай бог затеряются.


Зачем заносить, это и так все знают (из тех кто решает такие задачи - даже пользователи MS AS не пишут виюшки, а создают 2 куба и объединяют их в один виртуальный куб).

2 Константин Лисянский:

Юрий, не бросайтесь попусту цифрами.
Возьмите в руки Ваш любимый калькулятор (или пресловутый не в меру Интеллектуальный построитель выражений) и приведите вычисления откуда у Вас получаются эти записи.


Большие цифры получаются, поскольку я взял произведение количеств элементов каждого измерения друг на друга (100 в 7 степени). OLAP позволяет эффективно не зранить пустые значения. При подходе когда OLAP-куб пледставляется в виде плоской таблицы - такое, как я понял в ходе дискуссии со знатоками SQL - невозможно. Или я не прав?

А такие скромные специалисты как я
Клинический случай
На Вас надо бы господина Иванова напустить, он как психолог Вам поможет.


У Вас слабое чувство юмора :) И Вы как мне кажется считаете, что создание хранилища - это всегда очень сложно. Но ведь есть и простые хранилища, считайте что я специализируюсь на них.

2 Birkhoff:

Я уж не говорю о мастерстве "притягивания за уши неработающих решений" :)
Тут уж с вами мало кто может тягаться.


Хотелось бы с Вами как с экспертом согласиться, но увы, опыт моих проектов говорит об обратном - созданные мною решения на практике работают...

2 НЕТ РЕКЛАМЕ:

Ага если учесть, что Юрий является ярым противником создания хранилищ данных. Он приверженец все делать на виртуальных вьюшках за пять дней. :))

Я в первую очередь являюсь сторонником здравого смысла.
Я являюсь противником создания ХД, когда это неуместно (например, когда источник данных - это система 1С, Аксапта и т.п.). В то же время, когда источник данных - это разнородные файлы Excel, я в таких случаях делаю ХД.
...
Рейтинг: 0 / 0
один куб или два
    #32932961
олапист
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
а еще OLAP позволяет выполнить бесконечный цикл за 17 секунд!
...
Рейтинг: 0 / 0
один куб или два
    #32932996
No Pasaran
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiБольшие цифры получаются, поскольку я взял произведение количеств элементов каждого измерения друг на друга (100 в 7 степени). .

Посчитал подобную "цифру" для своего последнего проекта. Она не поместилась в 22 знаках виндового калькулятора. И тем не менее отчеты летают. Наверное это исключительно благодаря MOLAP-функциональности MSTR %)))
...
Рейтинг: 0 / 0
один куб или два
    #32933006
(P)Michael
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Jurii Я в первую очередь являюсь сторонником здравого смысла.
Но ведь есть и простые хранилища - это разнородные файлы Excel , считайте что я специализируюсь на них.а не лучше ли в *.txt хранить ?
:p
...
Рейтинг: 0 / 0
один куб или два
    #32933008
MSTR_Fan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
2 Jurii

Маэстро, мы Вас любим!!
Браво, Бис!
...
Рейтинг: 0 / 0
один куб или два
    #32933030
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiБольшие цифры получаются, поскольку я взял произведение количеств элементов каждого измерения друг на друга (100 в 7 степени). OLAP позволяет эффективно не зранить пустые значения. При подходе когда OLAP-куб пледставляется в виде плоской таблицы - такое, как я понял в ходе дискуссии со знатоками SQL - невозможно. Или я не прав?

Формулу напишите, пожалуйста, применительно к поставленной (точнее, недопоставленной) задаче. И поставьте задачу формально как обещали.

С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
один куб или два
    #32933117
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 No Pasaran:

Большие цифры получаются, поскольку я взял произведение количеств элементов каждого измерения друг на друга (100 в 7 степени).
Посчитал подобную "цифру" для своего последнего проекта. Она не поместилась в 22 знаках виндового калькулятора. И тем не менее отчеты летают. Наверное это исключительно благодаря MOLAP-функциональности MSTR %)))


А в Вашем последнем проекте Вы делали разноску агрегированных значений пропорционально нескольким разным базам распределения?

2 (P)Michael:

Я в первую очередь являюсь сторонником здравого смысла.
Но ведь есть и простые хранилища - это разнородные файлы Excel, считайте что я специализируюсь на них.


Будьте поаккуратнее с цитированием - это не моя цитата, а полный бред.
Повторю еще раз - когда источником данных являются разрозненные файлы Excel - я их закачиваю в ХД (обычно в качестве СУБД для ХД я использую MS SQL Server или Oracle).

а не лучше ли в *.txt хранить ?

Действительно, как то я забыл про прекрасный формат TXT... Это хороший формат для создания ХД. Мне приходилось делать аналитические системы, источником данных для которых были экзотические СУБД (например Progress), и там сначала делался экспорт данных в денормализованные текстовые файлы, а потом эти файлы закачивались в OLAP-кубы Cognos PowerPlay.
...
Рейтинг: 0 / 0
один куб или два
    #32933157
Jurii
Будьте поаккуратнее с цитированием - это не моя цитата, а полный бред.
Повторю еще раз - когда источником данных являются разрозненные файлы Excel - я их закачиваю в ХД (обычно в качестве СУБД для ХД я использую MS SQL Server или Oracle).

Jurii - А можно вопрос (думаю с Вашим опытом Вы ответите без труда ). А с помощью какого инструмента или технологии Вы перекачиваете данные из Excel в Oracle.
...
Рейтинг: 0 / 0
один куб или два
    #32933284
No Pasaran
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторА в Вашем последнем проекте Вы делали разноску агрегированных значений пропорционально нескольким разным базам распределения?

Во всех наших проектах мы осуществляем произвольную разноску произвольных агрегированных значений пропорционально нескольким произвольным измерениям распределения произвольных баз данных MOLAP, ROLAP,HOLAP, в том числе использующие в качестве формата хранения произвольные файлы txt, xls, pdf, doc, jpg и т.д.

P.S. Юрий, похоже, я наконец-то вычислил ту траву, которую Вы курите. Она действительно ничего.

P.P.S. 2all: Извините за флуд, не удержался...
...
Рейтинг: 0 / 0
один куб или два
    #32933438
sever_5
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Поддерживаю тему

Что лучше иметь несколько кубов (MOLAP) индексированных по разным временным измерениям (День, Месяц, Год) и просуммированных формул по этим измерениям.

Либо

Иметь один куб где задаётся временная иерархия и соответственно формула проссумированна на всем уровням иерархии.

Данный вопрос относиться к OES , версии не раньше 6.3.x?

Если вы прдпочитаете второй вариант то намекните как сделать нормальную временную иерархию.
Я так же предпочитаю второй вариант так как моему начальнику важно показать заказчикам временную гибкость, а с первым вариантом кроме тупого — иметь несколько отдельных юзерских графиков ничего хорошего придумать немогу.
...
Рейтинг: 0 / 0
один куб или два
    #32933464
OLAPMASTER
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jurii2 Константин Лисянский:

насколько я понимаю, дискуссия уже идёт не на тему "возможно ли реализовать сложный алгоритм разнесения с помощью SQL". Выяснили, что возможно. Теперь идёт вопрос о скорости.

Вы не правы. Если провести параллель, то планировать ресурсы предприятия можно без ERP-системы, достаточно лишь иметь карандаш и бумагу. Расчеты на бумаге провести будет конечно очень трудоемко, но это другой вопрос - главное что можно все точно посчитать :)
Я не считаю жизнеспособным решение этой задачи на SQL. Или Вы готовы при добавлении каждого нового аналитического разреза, при увеличении количества записей на порядки (10 миллиардов -> триллион -> сто триллионов...) расширять вычислительную мощность и дисковое пространство сервера? Таких серверов то не бывает...
К тому же, решение на SQL требует добавления нового показателя при появлении каждого нового разреза (базы распределения), что мягко говоря не очень удобно.

Таким образом, поскольку вопрос о возможностях SQL решён в положительную сторону

Вы хотите притянуть за уши неработающее решение...

Своими рассуждениями по поводу SQL Вы очень сильно смешите публику.

Видимо Вы слишком много начитались классики по хранилищам данных, и немного отстали от жизни. А такие скромные специалисты как я - вовсю создают хранилища и витрины данных, которые реально работают :)

Еще раз повторю что для каждого аналитического разреза не надо увеличивать кол-во записей, хранить данные можно разряженно, и если есть задача то можно и ответы хранить в СУБД и использовать все фитчи для быстрого извлечения их оттуда. То что данные лежат в файлах txt или еще лучше Excel это вообще немыслемо, какой это промышленный стандарт??? Где оптимазация поиска по txt может кто то знает как построить индекс по txt файлу????
Что за бред я вообще не понимаю, что Cognos это решение для владельца палатки на Митинском рынке где в день не более 1000 покупок??? А если сеть где покупки могут достига 1 000 000 и какой Excel вместит в себя столько записей??? И txt вы устанете читать который содержет столько инфо.

И что хранилище данных у вас в txt файлах??? и источники данных для кубов тоже файлы??? вообще приплыли......
...
Рейтинг: 0 / 0
один куб или два
    #32934024
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 OLAPMASTER:

То что данные лежат в файлах txt или еще лучше Excel это вообще немыслемо, какой это промышленный стандарт??? Где оптимазация поиска по txt может кто то знает как построить индекс по txt файлу????

Важно чтобы аналитическое решение работало быстро. Если решение базируется на технологии MOLAP - индексы в ХД не требуются.

Что за бред я вообще не понимаю, что Cognos это решение для владельца палатки на Митинском рынке где в день не более 1000 покупок??? А если сеть где покупки могут достига 1 000 000 и какой Excel вместит в себя столько записей??? И txt вы устанете читать который содержет столько инфо.

То, что Вы не понимаете - это излечимо :)
Для владельца палатки Cognos актуален, тем более что OLAP-сервер Cognos стоит всего от 1000 убитых енотов.
Лично мне больше приходилось общаться с крупными компаниями. В торговых сетях супермаркетов-гипермаркетов я настраивал Cognos на ХД Oracle, но были и локальные задачи - типа взять кусочки порезанной базы супермаркета в формате Paradox (порядка 15 миллионов записей в год), сделать ряд вычисляемых показателей и закачать эти данные в куб. Я делал для Paradox виртуальную вьюшку, конвертировал данные в формат TXT, и со скоростью 10 тысяч записей в секунду текстовые данные закачивались в OLAP-куб Cognos PowerPlay.

И что хранилище данных у вас в txt файлах??? и источники данных для кубов тоже файлы??? вообще приплыли......

В проекте для одной из серьезных гос. структур в качестве ХД/источника данных для кубов выступал текстовый файл размером около 5 гигабайт.

Видимо Вы привыкли работать с аналитическими системами класса ROLAP, которые не дружат с большими текстовыми файлами, поскольку нуждаются в индексах.
...
Рейтинг: 0 / 0
один куб или два
    #32934044
OLAPMASTER
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jurii
В проекте для одной из серьезных гос. структур в качестве ХД/источника данных для кубов выступал текстовый файл размером около 5 гигабайт.

Видимо Вы привыкли работать с аналитическими системами класса ROLAP, которые не дружат с большими текстовыми файлами, поскольку нуждаются в индексах.

Мда... и вот пришел когнос и текстовые файлы начили приносить пользу аналитикам. Мда....
Без коментариев.....
...
Рейтинг: 0 / 0
один куб или два
    #32934073
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 OLAPMASTER:

Мда... и вот пришел когнос и текстовые файлы начили приносить пользу аналитикам. Мда....
Без коментариев.....


Вы наверное когда видите текстовые файлы - сразу их удаляете не читая? :)
Текстовые файлы - это лишь источник данных, а пользу аналитикам приносит аналитическая модель, созданная в аналитической системе. Если система умеет читать текстовые файлы - это хорошо, если нет - то это проблема аналитической системы.
...
Рейтинг: 0 / 0
25 сообщений из 78, страница 3 из 4
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / один куб или два
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]