Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
Господа, тема про нарастающий итог средствами SQL несомненно интересна, но нельзя ли это вынести в отдельный топик. Иногда складывается впечатление, что топика в нашем форуме очень похожи на застольные беседы, начинем о "внутренних делах в Гондурасе", а заканчиваем "про урожайность кукурузы на Аляске". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.02.2005, 17:55 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
Angel13 OLAPMASTERЯ поправлю Birkhoff, дело в том что нарастающий итог на ANSI SQL только по первичному ключу с подзапросом. Тоесть вы в нутри запроса двигаясь по записям, находите меньшие значения первичного ключа и делаете sum от текушего к меньшему Зачем же вложенный подзапрос? можно и просто JOIN'ом. select T1.USERNAME, T1.USER_ID, sum(T2.USER_ID) from DBA_USERS T1 join DBA_USERS T2 on T1.USERNAME >= T2.USERNAME group by T1.USERNAME, T1.USER_ID order by 1 -- выполнять на Oracle. Но согласен, что аналитические функции будут работать быстрее. Сам Кайт об этом писал :) И что оптимизатор сказал на этот запрос какой у него план??? join DBA_USERS T2 on T1.USERNAME >= T2.USERNAME с таким соединением наверно хороший план выполнения. Я вот выполнил для DBA_USERS и план был вообще нереальный. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.02.2005, 18:42 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
2 олапист & backfire: и опять Вы как всегда неправы на счет медленной работы запросов Вы хотите сказать, что прямые SQL-запросы всегда работают быстро? Недавно я анализировал данные объемом около 30 тысяч записей - делал аналитические запросы, создавал вычисляемые показатели на основе статистических функций - выполнялись SQL-запросы очень небыстро... к Вашему сведению в современных СУБД есть такой модуль как оптимизатор запросов, который не будет без крайней надобности вытягивать по 10 миллиардов строк это тоже стоит обьяснить Вам подробнее? Это было небольшой провокацией с моей стороны, когда я озвучил цифру 10 миллиардов. Такой объем является привычным для телекомовских компаний, и многие участиники форума работали с этими объемами. Но если мы в моем кубике сделаем не 5, а 6 измерений - тогда объем данных будет не 10 миллиардов, а 1000 миллиардов (триллион). Если в кубе будет 10 измерений, и в каждом не по 100, а побольше мемберов, то плоское представление такого куба не поместится ни на одно средство хранения данных - или если поместится, то будет стоить очень дорого. При этом если кубик лежит в среде MOLAP, он не требует серьезного железа. Таким образом, Ваши рассуждения про оптимизаторы современных СУБД - это в данном случае - научные мысли вслух, не имеющие ничего общего с реальной жизнью. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.02.2005, 19:05 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
Jurii2 олапист & backfire: и опять Вы как всегда неправы на счет медленной работы запросов Вы хотите сказать, что прямые SQL-запросы всегда работают быстро? Недавно я анализировал данные объемом около 30 тысяч записей - делал аналитические запросы, создавал вычисляемые показатели на основе статистических функций - выполнялись SQL-запросы очень небыстро... к Вашему сведению в современных СУБД есть такой модуль как оптимизатор запросов, который не будет без крайней надобности вытягивать по 10 миллиардов строк это тоже стоит обьяснить Вам подробнее? Это было небольшой провокацией с моей стороны, когда я озвучил цифру 10 миллиардов. Такой объем является привычным для телекомовских компаний, и многие участиники форума работали с этими объемами. Но если мы в моем кубике сделаем не 5, а 6 измерений - тогда объем данных будет не 10 миллиардов, а 1000 миллиардов (триллион). Если в кубе будет 10 измерений, и в каждом не по 100, а побольше мемберов, то плоское представление такого куба не поместится ни на одно средство хранения данных - или если поместится, то будет стоить очень дорого. При этом если кубик лежит в среде MOLAP, он не требует серьезного железа. Таким образом, Ваши рассуждения про оптимизаторы современных СУБД - это в данном случае - научные мысли вслух, не имеющие ничего общего с реальной жизнью. Можно хранить их отдельно, и соединять в запросах. Можно сделать несколько таблиц, которые будут хранить измерения и одну таблицу фактов и через join и union можно получить похожую информацию что и в кубе. Конечно это будет медленее чем куб (там как он хранит ответы) но это реально и не так уж ресурсоемко. Весь вопрос в оптимальном хранении информации, не в одну таблицу а разряженно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.02.2005, 19:37 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
Юрий, насколько я понимаю, дискуссия уже идёт не на тему "возможно ли реализовать сложный алгоритм разнесения с помощью SQL". Выяснили, что возможно. Теперь идёт вопрос о скорости. Таким образом, поскольку вопрос о возможностях SQL решён в положительную сторону, думаю, Вам пора начать выполнять Вашу часть обязательств относительно прекращения дискуссий по поводу SQL с Вашей стороны. Своими рассуждениями по поводу SQL Вы очень сильно смешите публику. Нельзя же в каждом топике устраивать такую клоунаду. С уважением, Константин Лисянский http://lissianski.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.02.2005, 23:32 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
2 Константин Лисянский: насколько я понимаю, дискуссия уже идёт не на тему "возможно ли реализовать сложный алгоритм разнесения с помощью SQL". Выяснили, что возможно. Теперь идёт вопрос о скорости. Вы не правы. Если провести параллель, то планировать ресурсы предприятия можно без ERP-системы, достаточно лишь иметь карандаш и бумагу. Расчеты на бумаге провести будет конечно очень трудоемко, но это другой вопрос - главное что можно все точно посчитать :) Я не считаю жизнеспособным решение этой задачи на SQL. Или Вы готовы при добавлении каждого нового аналитического разреза, при увеличении количества записей на порядки (10 миллиардов -> триллион -> сто триллионов...) расширять вычислительную мощность и дисковое пространство сервера? Таких серверов то не бывает... К тому же, решение на SQL требует добавления нового показателя при появлении каждого нового разреза (базы распределения), что мягко говоря не очень удобно. Таким образом, поскольку вопрос о возможностях SQL решён в положительную сторону Вы хотите притянуть за уши неработающее решение... Своими рассуждениями по поводу SQL Вы очень сильно смешите публику. Видимо Вы слишком много начитались классики по хранилищам данных, и немного отстали от жизни. А такие скромные специалисты как я - вовсю создают хранилища и витрины данных, которые реально работают :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.02.2005, 20:20 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
Jurii А такие скромные специалисты как я - вовсю создают хранилища и витрины данных, которые реально работают :) Сильно сказано ... Jurii Я не считаю жизнеспособным решение этой задачи на SQL. Или Вы готовы при добавлении каждого нового аналитического разреза, при увеличении количества записей на порядки (10 миллиардов -> триллион -> сто триллионов...) расширять вычислительную мощность и дисковое пространство сервера? Таких серверов то не бывает... Такие цитаты нужно сразу в FAQ заносить. Не дай бог затеряются. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.02.2005, 21:28 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
JuriiИли Вы готовы при добавлении каждого нового аналитического разреза, при увеличении количества записей на порядки (10 миллиардов -> триллион -> сто триллионов...) Юрий, не бросайтесь попусту цифрами. Возьмите в руки Ваш любимый калькулятор (или пресловутый не в меру Интеллектуальный построитель выражений) и приведите вычисления откуда у Вас получаются эти записи. А то я что-то (видимо, после большого количества прочитанной классики) не понимаю. JuriiВы хотите притянуть за уши неработающее решение... Да, вы и задачу-то не сформулировали до сих пор, а уже вовсю поносите решение. Нехорошо как-то. JuriiВидимо Вы слишком много начитались классики по хранилищам данных, и немного отстали от жизни Видимо, да. В эксперты не набиваюсь. JuriiА такие скромные специалисты как я Клинический случай На Вас надо бы господина Иванова напустить, он как психолог Вам поможет. С уважением, Константин Лисянский http://lissianski.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 00:16 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
Юра, где вы научились этому мастерству подмены понятий? :) Я уж не говорю о мастерстве "притягивания за уши неработающих решений" :) Тут уж с вами мало кто может тягаться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 00:25 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
Андрей Прохоров Jurii А такие скромные специалисты как я - вовсю создают хранилища и витрины данных, которые реально работают :) Сильно сказано ... Ага если учесть, что Юрий является ярым противником создания хранилищ данных. Он приверженец все делать на виртуальных вьюшках за пять дней. :)) to Jurii А Вы случаем не карточный шулер. Очень уж умело передергиваете и блефуете. Я Вами восхищаюсь - такой талант пропадает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 10:33 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
2 Андрей Прохоров: Я не считаю жизнеспособным решение этой задачи на SQL. Такие цитаты нужно сразу в FAQ заносить. Не дай бог затеряются. Зачем заносить, это и так все знают (из тех кто решает такие задачи - даже пользователи MS AS не пишут виюшки, а создают 2 куба и объединяют их в один виртуальный куб). 2 Константин Лисянский: Юрий, не бросайтесь попусту цифрами. Возьмите в руки Ваш любимый калькулятор (или пресловутый не в меру Интеллектуальный построитель выражений) и приведите вычисления откуда у Вас получаются эти записи. Большие цифры получаются, поскольку я взял произведение количеств элементов каждого измерения друг на друга (100 в 7 степени). OLAP позволяет эффективно не зранить пустые значения. При подходе когда OLAP-куб пледставляется в виде плоской таблицы - такое, как я понял в ходе дискуссии со знатоками SQL - невозможно. Или я не прав? А такие скромные специалисты как я Клинический случай На Вас надо бы господина Иванова напустить, он как психолог Вам поможет. У Вас слабое чувство юмора :) И Вы как мне кажется считаете, что создание хранилища - это всегда очень сложно. Но ведь есть и простые хранилища, считайте что я специализируюсь на них. 2 Birkhoff: Я уж не говорю о мастерстве "притягивания за уши неработающих решений" :) Тут уж с вами мало кто может тягаться. Хотелось бы с Вами как с экспертом согласиться, но увы, опыт моих проектов говорит об обратном - созданные мною решения на практике работают... 2 НЕТ РЕКЛАМЕ: Ага если учесть, что Юрий является ярым противником создания хранилищ данных. Он приверженец все делать на виртуальных вьюшках за пять дней. :)) Я в первую очередь являюсь сторонником здравого смысла. Я являюсь противником создания ХД, когда это неуместно (например, когда источник данных - это система 1С, Аксапта и т.п.). В то же время, когда источник данных - это разнородные файлы Excel, я в таких случаях делаю ХД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 11:28 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
а еще OLAP позволяет выполнить бесконечный цикл за 17 секунд! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 11:40 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
JuriiБольшие цифры получаются, поскольку я взял произведение количеств элементов каждого измерения друг на друга (100 в 7 степени). . Посчитал подобную "цифру" для своего последнего проекта. Она не поместилась в 22 знаках виндового калькулятора. И тем не менее отчеты летают. Наверное это исключительно благодаря MOLAP-функциональности MSTR %))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 11:46 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
Jurii Я в первую очередь являюсь сторонником здравого смысла. Но ведь есть и простые хранилища - это разнородные файлы Excel , считайте что я специализируюсь на них.а не лучше ли в *.txt хранить ? :p ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 11:48 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
2 Jurii Маэстро, мы Вас любим!! Браво, Бис! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 11:48 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
JuriiБольшие цифры получаются, поскольку я взял произведение количеств элементов каждого измерения друг на друга (100 в 7 степени). OLAP позволяет эффективно не зранить пустые значения. При подходе когда OLAP-куб пледставляется в виде плоской таблицы - такое, как я понял в ходе дискуссии со знатоками SQL - невозможно. Или я не прав? Формулу напишите, пожалуйста, применительно к поставленной (точнее, недопоставленной) задаче. И поставьте задачу формально как обещали. С уважением, Константин Лисянский http://lissianski.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 11:52 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
2 No Pasaran: Большие цифры получаются, поскольку я взял произведение количеств элементов каждого измерения друг на друга (100 в 7 степени). Посчитал подобную "цифру" для своего последнего проекта. Она не поместилась в 22 знаках виндового калькулятора. И тем не менее отчеты летают. Наверное это исключительно благодаря MOLAP-функциональности MSTR %))) А в Вашем последнем проекте Вы делали разноску агрегированных значений пропорционально нескольким разным базам распределения? 2 (P)Michael: Я в первую очередь являюсь сторонником здравого смысла. Но ведь есть и простые хранилища - это разнородные файлы Excel, считайте что я специализируюсь на них. Будьте поаккуратнее с цитированием - это не моя цитата, а полный бред. Повторю еще раз - когда источником данных являются разрозненные файлы Excel - я их закачиваю в ХД (обычно в качестве СУБД для ХД я использую MS SQL Server или Oracle). а не лучше ли в *.txt хранить ? Действительно, как то я забыл про прекрасный формат TXT... Это хороший формат для создания ХД. Мне приходилось делать аналитические системы, источником данных для которых были экзотические СУБД (например Progress), и там сначала делался экспорт данных в денормализованные текстовые файлы, а потом эти файлы закачивались в OLAP-кубы Cognos PowerPlay. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 12:14 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
Jurii Будьте поаккуратнее с цитированием - это не моя цитата, а полный бред. Повторю еще раз - когда источником данных являются разрозненные файлы Excel - я их закачиваю в ХД (обычно в качестве СУБД для ХД я использую MS SQL Server или Oracle). Jurii - А можно вопрос (думаю с Вашим опытом Вы ответите без труда ). А с помощью какого инструмента или технологии Вы перекачиваете данные из Excel в Oracle. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 12:22 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
авторА в Вашем последнем проекте Вы делали разноску агрегированных значений пропорционально нескольким разным базам распределения? Во всех наших проектах мы осуществляем произвольную разноску произвольных агрегированных значений пропорционально нескольким произвольным измерениям распределения произвольных баз данных MOLAP, ROLAP,HOLAP, в том числе использующие в качестве формата хранения произвольные файлы txt, xls, pdf, doc, jpg и т.д. P.S. Юрий, похоже, я наконец-то вычислил ту траву, которую Вы курите. Она действительно ничего. P.P.S. 2all: Извините за флуд, не удержался... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 12:53 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
Поддерживаю тему Что лучше иметь несколько кубов (MOLAP) индексированных по разным временным измерениям (День, Месяц, Год) и просуммированных формул по этим измерениям. Либо Иметь один куб где задаётся временная иерархия и соответственно формула проссумированна на всем уровням иерархии. Данный вопрос относиться к OES , версии не раньше 6.3.x? Если вы прдпочитаете второй вариант то намекните как сделать нормальную временную иерархию. Я так же предпочитаю второй вариант так как моему начальнику важно показать заказчикам временную гибкость, а с первым вариантом кроме тупого — иметь несколько отдельных юзерских графиков ничего хорошего придумать немогу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 13:38 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
Jurii2 Константин Лисянский: насколько я понимаю, дискуссия уже идёт не на тему "возможно ли реализовать сложный алгоритм разнесения с помощью SQL". Выяснили, что возможно. Теперь идёт вопрос о скорости. Вы не правы. Если провести параллель, то планировать ресурсы предприятия можно без ERP-системы, достаточно лишь иметь карандаш и бумагу. Расчеты на бумаге провести будет конечно очень трудоемко, но это другой вопрос - главное что можно все точно посчитать :) Я не считаю жизнеспособным решение этой задачи на SQL. Или Вы готовы при добавлении каждого нового аналитического разреза, при увеличении количества записей на порядки (10 миллиардов -> триллион -> сто триллионов...) расширять вычислительную мощность и дисковое пространство сервера? Таких серверов то не бывает... К тому же, решение на SQL требует добавления нового показателя при появлении каждого нового разреза (базы распределения), что мягко говоря не очень удобно. Таким образом, поскольку вопрос о возможностях SQL решён в положительную сторону Вы хотите притянуть за уши неработающее решение... Своими рассуждениями по поводу SQL Вы очень сильно смешите публику. Видимо Вы слишком много начитались классики по хранилищам данных, и немного отстали от жизни. А такие скромные специалисты как я - вовсю создают хранилища и витрины данных, которые реально работают :) Еще раз повторю что для каждого аналитического разреза не надо увеличивать кол-во записей, хранить данные можно разряженно, и если есть задача то можно и ответы хранить в СУБД и использовать все фитчи для быстрого извлечения их оттуда. То что данные лежат в файлах txt или еще лучше Excel это вообще немыслемо, какой это промышленный стандарт??? Где оптимазация поиска по txt может кто то знает как построить индекс по txt файлу???? Что за бред я вообще не понимаю, что Cognos это решение для владельца палатки на Митинском рынке где в день не более 1000 покупок??? А если сеть где покупки могут достига 1 000 000 и какой Excel вместит в себя столько записей??? И txt вы устанете читать который содержет столько инфо. И что хранилище данных у вас в txt файлах??? и источники данных для кубов тоже файлы??? вообще приплыли...... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 13:46 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
2 OLAPMASTER: То что данные лежат в файлах txt или еще лучше Excel это вообще немыслемо, какой это промышленный стандарт??? Где оптимазация поиска по txt может кто то знает как построить индекс по txt файлу???? Важно чтобы аналитическое решение работало быстро. Если решение базируется на технологии MOLAP - индексы в ХД не требуются. Что за бред я вообще не понимаю, что Cognos это решение для владельца палатки на Митинском рынке где в день не более 1000 покупок??? А если сеть где покупки могут достига 1 000 000 и какой Excel вместит в себя столько записей??? И txt вы устанете читать который содержет столько инфо. То, что Вы не понимаете - это излечимо :) Для владельца палатки Cognos актуален, тем более что OLAP-сервер Cognos стоит всего от 1000 убитых енотов. Лично мне больше приходилось общаться с крупными компаниями. В торговых сетях супермаркетов-гипермаркетов я настраивал Cognos на ХД Oracle, но были и локальные задачи - типа взять кусочки порезанной базы супермаркета в формате Paradox (порядка 15 миллионов записей в год), сделать ряд вычисляемых показателей и закачать эти данные в куб. Я делал для Paradox виртуальную вьюшку, конвертировал данные в формат TXT, и со скоростью 10 тысяч записей в секунду текстовые данные закачивались в OLAP-куб Cognos PowerPlay. И что хранилище данных у вас в txt файлах??? и источники данных для кубов тоже файлы??? вообще приплыли...... В проекте для одной из серьезных гос. структур в качестве ХД/источника данных для кубов выступал текстовый файл размером около 5 гигабайт. Видимо Вы привыкли работать с аналитическими системами класса ROLAP, которые не дружат с большими текстовыми файлами, поскольку нуждаются в индексах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 16:15 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
Jurii В проекте для одной из серьезных гос. структур в качестве ХД/источника данных для кубов выступал текстовый файл размером около 5 гигабайт. Видимо Вы привыкли работать с аналитическими системами класса ROLAP, которые не дружат с большими текстовыми файлами, поскольку нуждаются в индексах. Мда... и вот пришел когнос и текстовые файлы начили приносить пользу аналитикам. Мда.... Без коментариев..... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 16:20 |
|
||
|
один куб или два
|
|||
|---|---|---|---|
|
#18+
2 OLAPMASTER: Мда... и вот пришел когнос и текстовые файлы начили приносить пользу аналитикам. Мда.... Без коментариев..... Вы наверное когда видите текстовые файлы - сразу их удаляете не читая? :) Текстовые файлы - это лишь источник данных, а пользу аналитикам приносит аналитическая модель, созданная в аналитической системе. Если система умеет читать текстовые файлы - это хорошо, если нет - то это проблема аналитической системы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2005, 16:28 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=32932210&tid=1871743]: |
0ms |
get settings: |
6ms |
get forum list: |
10ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
56ms |
get topic data: |
6ms |
get forum data: |
2ms |
get page messages: |
40ms |
get tp. blocked users: |
1ms |
| others: | 249ms |
| total: | 374ms |

| 0 / 0 |
