Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
pkarklinДа легко, берем Ваш полседний пост и чуть-чуть подправляем: Берем любую огромную БД любой СУБД, на базе которой нужно проводить аналитические запросы. Создаем в MS OLAP сервер (через свои средства моделирования) кубы. Загружаем данные с этой СУБД в MS OLAP сервер (через текстовые, удаленные - как угодно). Начинаем работать - пишем любые SQL запросы стандарта MDX, плюс используем специализированные OLAP функции в них. А еще проще, используем Excel как клиента с его сводными таблицами - и писать ничего не надо. Любой мало-мальский пользователь секселя сможет анализировать по всем возможным измерениям. Таким образом легко перегнать 30 гиговую БД MSSQL на MS OLAP сервер с доброй сотней миллионов записей и погонять разные аггрегаты по всем таблицам - среднее время отклика будет держаться < 1-2 секунды. В итоге за минимальное время можно получил максимальную отдачу и возможность проведения любой аналитики по данным первичной БД. То есть правильно ли я понял, что в отличие от моего примера придет ься еще потратить усилия и время, чтобы граммотно спроектировать кубы ? И еще возникает вопрос ежедневного обновления кубов - они каждый раз будут пересчитываться или же как в IQ можно просто быстро доливать новые записи в таблицы и не заморачиваться ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:40 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
ASCRUS pkarklin ASCRUSПо моему разница между РСУБД и OLAP кубами просто преогромнейшая. Уважаемый ASCRUS. Я прекрасно понимаю разницу между первым и вторым. И под тоже, под что заточем Ваш IQ за 40 тонн, заточен и MS OLAP Server. Но вот в отличаи от IQ, он идет ВМЕСТЕ с поставкой РСУБД совершенно бесплатно. Т.е. за гараздо меньшие бабки можно получить и OLTP и OLAP решения. MS OLAP - это кубы (сам я с ним не работал) ? Если это кубы, то отсюда надо думать множество вытекающих последствий, главное из которых - постоянные затраты на их обновление, сопровождение и перепостроение при изменении измерений.если вы говорите про затраты ресурсов то, в любом случае, такие вещи лучше выносить из OLTP системы с целью снижения нагрузки. Другие же ресурсы (время разработки, периодичность обновления и т.д.) либо конечны, либо полностью автоматизируются. На мой взгляд, на разницу в стоимости продуктов (а она немаленькая) лучше купить железку по-мощнее и выдать участникам проекта премию за скорейшее успешное выполнение проекта. ASCRUSТо есть правильно ли я понял, что в отличие от моего примера придет ься еще потратить усилия и время, чтобы грамотно спроектировать кубы ? И еще возникает вопрос ежедневного обновления кубов - они каждый раз будут пересчитываться или же как в IQ можно просто быстро доливать новые записи в таблицы и не заморачиваться ?есть такая штука как частичное обновление куба. Рекомендую ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:45 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
ASCRUSТо есть правильно ли я понял, что в отличие от моего примера придет ься еще потратить усилия и время, чтобы граммотно спроектировать кубы ? Вы правильно поняли, кубы надо спроетировать, а это равнятеся создание всех возможных измерений и значений. ASCRUSИ еще возникает вопрос ежедневного обновления кубов - они каждый раз будут пересчитываться или же как в IQ можно просто быстро доливать новые записи в таблицы и не заморачиваться ? Как угодно, можно делать: There are three ways to process a cube. If you are modifying the structure of the cube, you may be required to process the cube with the Full Process option. If you are adding new data to the cube, you can process the cube with the Incremental update option. To clear out and replace a cube's source data, you can use the Refresh data processing option. Кроме того есть поддержка: Real-Time Cubes A real-time cube is a regular cube that employs relational OLAP (ROLAP) partitions or dimensions that support the real-time OLAP feature of Microsoft® SQL Server™ 2000 Analysis Services. Остальные подробности в BOL. Ну, правда, не стоит ее здесь всю цитировать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:46 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Спасибо за подробные ответы. Просто у меня перед глазами был пример работающего MS OLAP, где была довольно сложная и быстро изменяющаяся первичная БД (MSSQL 2000), полная неизвестность в измерениях и что завтра потребуется в аналитике и группа специалистов, не шибко граммотных, которая умучалась все это сопровождать. В данном случае для "нерегламентированной аналитики" лично для меня все таки IQ выглядит предпочтительней, фактически и думать особо ни о чем не надо - поставил и поехал :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:52 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
авторне шибко граммотных Ну и я не шибко грамотный в русском, что же поделаешь, вот вдалась мне вторая "м" :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:55 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
ASCRUSСпасибо за подробные ответы. Просто у меня перед глазами был пример работающего MS OLAP, где была довольно сложная и быстро изменяющаяся первичная БД (MSSQL 2000), полная неизвестность в измерениях и что завтра потребуется в аналитике и группа специалистов, не шибко грамотных , которая умучалась все это сопровождать. В данном случае для "нерегламентированной аналитики" лично для меня все таки IQ выглядит предпочтительней, фактически и думать особо ни о чем не надо - поставил и поехал :)Интересное кино получается. С одной стороны эти "специалисты" а с другой вы, который знает свой продукт и умеет с ним работать. Как-то это нечестно ;). Я это к тому что такие спецы какой угодно продукт завалят. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 19:03 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
авторИнтересное кино получается. С одной стороны эти "специалисты" а с другой вы, который знает свой продукт и умеет с ним работать. Как-то это нечестно ;). Да я в те года про Sybase даже ничего не слышал, не то, что видел :) Сидел себе тихо, мирно на MSSQL. Но все это я сказал к тому, что на IQ любой, кто знает РСУБД перегонит и спокойно через любую систему, поддерживающую SQL начнет аналитику лепить (и в том же Excel), в случае же с OLAP нужны действительно специалисты. А те ребята грамотные были в MSSQL, просто им пришлось многому учиться, чтобы MS OLAP осваивать. Я вот тоже не могу сказать, что я специалист в аналитике - у меня другие задачи. Однако зная прекрасно РСУБД (тот же MSSQL/ASA) я спокойно поставил IQ и в привычном для себя ключе смог спокойно организовать работу с большой БД, не особо задумываясь о каких то измерениях, распределении нагрузок, параметрах тонких настроек и прочему, чему нужно учиться не один месяц и возможно даже не один год. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 19:12 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
BunnyПосоветуйте базу данных. Приблизительный объем записей за сутки 60 милионов. И чтоб с ней потом можно было хоть как нибуть работать. Вы породили своим вопросом грандиозный флейм. Все будут сейчас до бесконечности спорить о том, какая база неподходит для решения задачи. Но профессионального совета о том, какая подходит наилучшим образом в этом споре не будет. Поскольку на основе столь незначительной информации о самой задаче и условиях эксплуатации системы явно невозможно дать разумный совет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 19:21 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
ASCRUS Однако зная прекрасно РСУБД (тот же MSSQL/ASA) я спокойно поставил IQ и в привычном для себя ключе смог спокойно организовать работу с большой БД, не особо задумываясь о каких то измерениях, распределении нагрузок, параметрах тонких настроек и прочему, чему нужно учиться не один месяц и возможно даже не один год.согласен, для ряда задач вас спасет аналитичеческий функционал в РСУБД, но, ИМХО, это не панацея при больших объемах информации и, особенно, при большой OLTP-нагрузке на систему. Alexey Rovdo BunnyПосоветуйте базу данных. Приблизительный объем записей за сутки 60 милионов. И чтоб с ней потом можно было хоть как нибуть работать. Вы породили своим вопросом грандиозный флейм. Все будут сейчас до бесконечности спорить о том, какая база неподходит для решения задачи. Но профессионального совета о том, какая подходит наилучшим образом в этом споре не будет. Поскольку на основе столь незначительной информации о самой задаче и условиях эксплуатации системы явно невозможно дать разумный совет.хм.. дело в том что все 4 СУБД о которых шла речь выше подходят для решения этой задачи в техническом плане. Другое дело в их стоимости (для простоты стоимость разработчиков и время разработки предполагаются одинаковыми). Какая же подходит наилучшим образом, вы правы, сказать нельзя. Явно недостаточно информации. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 19:44 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
segunхм.. дело в том что все 4 СУБД о которых шла речь выше подходят для решения этой задачи в техническом плане. Другое дело в их стоимости (для простоты стоимость разработчиков и время разработки предполагаются одинаковыми). Какая же подходит наилучшим образом, вы правы, сказать нельзя. Явно недостаточно информации. Еще раз, обратите внимание на нагрузку и объемы, На каком железе MSSQL будет работать с такими объемами, ссылку на сайте какого либо призводителя пожалуста ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 20:32 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
segunсогласен, для ряда задач вас спасет аналитичеческий функционал в РСУБД, но, ИМХО, это не панацея при больших объемах информации и, особенно, при большой OLTP-нагрузке на систему. Не путайте - Sybase IQ это не РСУБД с аналитическим функционалом. Это аналитический сервер с РСУБД функционалом, заточенный под большие обьемы данных и это большая разница. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 21:38 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
2ASCRUS > Это аналитический сервер с РСУБД функционалом, заточенный под большие обьемы данных и это большая разница. а Сайбез как нибудь объясняет невыразительное выступление в tpc-h ? как я понял именно там IQ должен был блистать ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 21:47 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
автора Сайбез как нибудь объясняет невыразительное выступление в tpc-h ? как я понял именно там IQ должен был блистать ? Спросите их разработчиков на форумах, они вроде как открыты :) Меня больше интересует практическое применение, чем участие в тестах, вполне возможно их тоже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 23:10 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
DimaR segunхм.. дело в том что все 4 СУБД о которых шла речь выше подходят для решения этой задачи в техническом плане. Другое дело в их стоимости (для простоты стоимость разработчиков и время разработки предполагаются одинаковыми). Какая же подходит наилучшим образом, вы правы, сказать нельзя. Явно недостаточно информации. Еще раз, обратите внимание на нагрузку и объемы, На каком железе MSSQL будет работать с такими объемами, ссылку на сайте какого либо призводителя пожалуста Вот Вам ссылка на технологическое решение одного из известных сайтов: TerraServer Cluster and SAN Experience ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 09:10 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Спасибо всем за ответы. Теперь надо это все переворить и выбрать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 09:27 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Хм... А вот все-таки интересно, на счет объемов: 1. Каков объем (а еще лучше структура) 1 записи? 2. Скока времени нужно держать данные в "атомарном виде"? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 09:41 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
pkarklin Вот Вам ссылка на технологическое решение одного из известных сайтов: TerraServer Cluster and SAN Experience Очень итересное решение :) Поставили 4 компьютера каждый с кучей дисков, на каждом компютере хранится своя информация, еще сервер приложений который распихивает запрсы по временным зонам и типу карт, на заранее определенный компютер и заранее определенное место хранения, и еще это все в 2х экземплярах (на всякий случай). Только вот если я захочу написать запрс к этому всему типа select "кратчайший путь с востока на запад" from "все сервера" ??? и захочу ежеминутно, обновлять информацию о направлении ветра в каждом городе? И при этом все будут запрашивать "розу ветров". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 10:12 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
DimaR pkarklin Вот Вам ссылка на технологическое решение одного из известных сайтов: TerraServer Cluster and SAN Experience Очень итересное решение :) Поставили 4 компьютера каждый с кучей дисков, на каждом компютере хранится своя информация, еще сервер приложений который распихивает запрсы по временным зонам и типу карт, на заранее определенный компютер и заранее определенное место хранения, и еще это все в 2х экземплярах (на всякий случай). Только вот если я захочу написать запрс к этому всему типа select "кратчайший путь с востока на запад" from "все сервера" ??? и захочу ежеминутно, обновлять информацию о направлении ветра в каждом городе? И при этом все будут запрашивать "розу ветров". Хм... Обос..ть можно что-угодно. ;) А вот если Вы чего-то захотите, то тогда под Ваше хотение и надо будет решение подбирать, а про хотения автора топика окромя 30 лимонов записей в сутки и не известно ничего. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 10:16 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
pkarklin Хм... Обос..ть можно что-угодно. ;) Само сабой :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 10:24 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Уважаемый pkarklin - MS OLAP не подходит под эту задачу - Вы можете себе представить кубы на 60 миллионов записей в сутки ? У Sybase IQ БД будет как минимум в 2 раза сжиматься физически на диске, у MS OLAP наоборот раздуваться. О чем тут дальше можно говорить ? О том, что Sybase IQ подходит под условия поставленной задачи, а MS OLAP нет - а не о том, что лучше, что хуже. Я не понимаю, зачем человека вводить в заблуждение, если Вы и сами это прекрасно знаете. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 10:34 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Так... Продолжаем разговор... ASCRUSУважаемый pkarklin - MS OLAP не подходит под эту задачу - Вы можете себе представить кубы на 60 миллионов записей в сутки ? С чего Вы это решили? Уважаемый ASCRUS Вы можете себе представить, что есть куб? Ведь речь идет о построении аналитических запросов, т.е. куб будет иметь в себе все возможные измерения с заранее предрасчитанными всеми возможными значениями. При использовании HOLAP модели хранилища (когда непосредственно на OLAP сервере хранятся только расчитанные агрегаты, а исходные транзакционные данные будут лежать в OLTP базе) запросы, которые будут обращаться только за агрегированными данными будут выполняться очень быстро (так как уже все расчитано) и не будут нагружать транзакционную базу. Если же понадобяться атомарные данные (drilldown до атомарной ячейки куба), то при такой модели хранилища за ними будет произведено обращение к OLTP базе. ASCRUSSybase IQ БД будет как минимум в 2 раза сжиматься физически на диске, у MS OLAP наоборот раздуваться. Господи, да почему же оно будет то раздуваться!? ASCRUSО чем тут дальше можно говорить ? О том, что Sybase IQ подходит под условия поставленной задачи, а MS OLAP нет - а не о том, что лучше, что хуже. Я не понимаю, зачем человека вводить в заблуждение, если Вы и сами это прекрасно знаете. И действительно, о чем тут можно говорить, если Вы, как и большинство в этом топике пытаетесь делать выводы о продукте, с возможностями которого Вы не знакомы. Ну ведь не делаю я выводы о том, что Sybase IQ не подойдет для этой задачи, ибо не знаком с его возможностями. Я стараюсь предложить варианты, о которых я имею представление. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 10:59 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Я не буду вдаваться что лучше, что хуже, в Oracle Внешние таблицы (текстовый файл, струтктурированный) обявляется и SQL запросы делаются прямо к файлу (с условиями) немного тормозит, так как нет возможности использовать индексы. Возможность коннекта к другим источникам информации (Oracle Stream). Использовать MSSQL я бы не рекомендовал, с начала, возможно все будет работать, но со временем возникнут проблемы, которые решить неудасться, а переделать все будет невозможно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 12:29 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
2 alexey_tm1: Вы MCDBA или просто очень хороший знаток MSSQL? Подтвердите свои слова хоть чем-нибудь, пож-ста. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 12:35 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
alexey_tm1Внешние таблицы (текстовый файл, струтктурированный) обявляется и SQL запросы делаются прямо к файлу (с условиями) немного тормозит, так как нет возможности использовать индексы. Индексы у текстовых файлов?! 8) Вау... alexey_tm1Возможность коннекта к другим источникам информации (Oracle Stream). MS SQL имеет возможность коннекта ко всему, для чего существует ODBC драйвер или OLEDB провайдер. Плюс имеются возможности (DTS, bcp) для массовой быстрой и нелоггируемой закачки данных из этих источников. alexey_tm1Использовать MSSQL я бы не рекомендовал, с начала, возможно все будет работать, но со временем возникнут проблемы, которые решить неудасться, а переделать все будет невозможно. Для таких рекомендаций требуются обоснования!!! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 13:21 |
|
||
|
|

start [/forum/topic.php?fid=35&msg=32900745&tid=1553953]: |
0ms |
get settings: |
8ms |
get forum list: |
19ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
51ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
66ms |
get tp. blocked users: |
1ms |
| others: | 254ms |
| total: | 423ms |

| 0 / 0 |
