powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Посоветуйте базу данных (Большой объем)
24 сообщений из 74, страница 3 из 3
Посоветуйте базу данных (Большой объем)
    #32900119
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinДа легко, берем Ваш полседний пост и чуть-чуть подправляем:

Берем любую огромную БД любой СУБД, на базе которой нужно проводить аналитические запросы. Создаем в MS OLAP сервер (через свои средства моделирования) кубы. Загружаем данные с этой СУБД в MS OLAP сервер (через текстовые, удаленные - как угодно). Начинаем работать - пишем любые SQL запросы стандарта MDX, плюс используем специализированные OLAP функции в них. А еще проще, используем Excel как клиента с его сводными таблицами - и писать ничего не надо. Любой мало-мальский пользователь секселя сможет анализировать по всем возможным измерениям. Таким образом легко перегнать 30 гиговую БД MSSQL на MS OLAP сервер с доброй сотней миллионов записей и погонять разные аггрегаты по всем таблицам - среднее время отклика будет держаться < 1-2 секунды. В итоге за минимальное время можно получил максимальную отдачу и возможность проведения любой аналитики по данным первичной БД.
То есть правильно ли я понял, что в отличие от моего примера придет ься еще потратить усилия и время, чтобы граммотно спроектировать кубы ? И еще возникает вопрос ежедневного обновления кубов - они каждый раз будут пересчитываться или же как в IQ можно просто быстро доливать новые записи в таблицы и не заморачиваться ?
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900129
Фотография segun
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUS pkarklin ASCRUSПо моему разница между РСУБД и OLAP кубами просто преогромнейшая.

Уважаемый ASCRUS. Я прекрасно понимаю разницу между первым и вторым. И под тоже, под что заточем Ваш IQ за 40 тонн, заточен и MS OLAP Server. Но вот в отличаи от IQ, он идет ВМЕСТЕ с поставкой РСУБД совершенно бесплатно. Т.е. за гараздо меньшие бабки можно получить и OLTP и OLAP решения.
MS OLAP - это кубы (сам я с ним не работал) ? Если это кубы, то отсюда надо думать множество вытекающих последствий, главное из которых - постоянные затраты на их обновление, сопровождение и перепостроение при изменении измерений.если вы говорите про затраты ресурсов то, в любом случае, такие вещи лучше выносить из OLTP системы с целью снижения нагрузки. Другие же ресурсы (время разработки, периодичность обновления и т.д.) либо конечны, либо полностью автоматизируются. На мой взгляд, на разницу в стоимости продуктов (а она немаленькая) лучше купить железку по-мощнее и выдать участникам проекта премию за скорейшее успешное выполнение проекта.
ASCRUSТо есть правильно ли я понял, что в отличие от моего примера придет ься еще потратить усилия и время, чтобы грамотно спроектировать кубы ? И еще возникает вопрос ежедневного обновления кубов - они каждый раз будут пересчитываться или же как в IQ можно просто быстро доливать новые записи в таблицы и не заморачиваться ?есть такая штука как частичное обновление куба. Рекомендую
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900131
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSТо есть правильно ли я понял, что в отличие от моего примера придет ься еще потратить усилия и время, чтобы граммотно спроектировать кубы ?

Вы правильно поняли, кубы надо спроетировать, а это равнятеся создание всех возможных измерений и значений.

ASCRUSИ еще возникает вопрос ежедневного обновления кубов - они каждый раз будут пересчитываться или же как в IQ можно просто быстро доливать новые записи в таблицы и не заморачиваться ?

Как угодно, можно делать:

There are three ways to process a cube. If you are modifying the structure of the cube, you may be required to process the cube with the Full Process option. If you are adding new data to the cube, you can process the cube with the Incremental update option. To clear out and replace a cube's source data, you can use the Refresh data processing option.

Кроме того есть поддержка: Real-Time Cubes
A real-time cube is a regular cube that employs relational OLAP (ROLAP) partitions or dimensions that support the real-time OLAP feature of Microsoft® SQL Server™ 2000 Analysis Services.

Остальные подробности в BOL. Ну, правда, не стоит ее здесь всю цитировать.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900147
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо за подробные ответы. Просто у меня перед глазами был пример работающего MS OLAP, где была довольно сложная и быстро изменяющаяся первичная БД (MSSQL 2000), полная неизвестность в измерениях и что завтра потребуется в аналитике и группа специалистов, не шибко граммотных, которая умучалась все это сопровождать. В данном случае для "нерегламентированной аналитики" лично для меня все таки IQ выглядит предпочтительней, фактически и думать особо ни о чем не надо - поставил и поехал :)
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900152
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторне шибко граммотных
Ну и я не шибко грамотный в русском, что же поделаешь, вот вдалась мне вторая "м" :)
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900164
Фотография segun
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSСпасибо за подробные ответы. Просто у меня перед глазами был пример работающего MS OLAP, где была довольно сложная и быстро изменяющаяся первичная БД (MSSQL 2000), полная неизвестность в измерениях и что завтра потребуется в аналитике и группа специалистов, не шибко грамотных , которая умучалась все это сопровождать. В данном случае для "нерегламентированной аналитики" лично для меня все таки IQ выглядит предпочтительней, фактически и думать особо ни о чем не надо - поставил и поехал :)Интересное кино получается. С одной стороны эти "специалисты" а с другой вы, который знает свой продукт и умеет с ним работать. Как-то это нечестно ;).
Я это к тому что такие спецы какой угодно продукт завалят.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900171
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторИнтересное кино получается. С одной стороны эти "специалисты" а с другой вы, который знает свой продукт и умеет с ним работать. Как-то это нечестно ;).
Да я в те года про Sybase даже ничего не слышал, не то, что видел :) Сидел себе тихо, мирно на MSSQL. Но все это я сказал к тому, что на IQ любой, кто знает РСУБД перегонит и спокойно через любую систему, поддерживающую SQL начнет аналитику лепить (и в том же Excel), в случае же с OLAP нужны действительно специалисты. А те ребята грамотные были в MSSQL, просто им пришлось многому учиться, чтобы MS OLAP осваивать. Я вот тоже не могу сказать, что я специалист в аналитике - у меня другие задачи. Однако зная прекрасно РСУБД (тот же MSSQL/ASA) я спокойно поставил IQ и в привычном для себя ключе смог спокойно организовать работу с большой БД, не особо задумываясь о каких то измерениях, распределении нагрузок, параметрах тонких настроек и прочему, чему нужно учиться не один месяц и возможно даже не один год.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900186
Alexey Rovdo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
BunnyПосоветуйте базу данных.
Приблизительный объем записей за сутки 60 милионов.
И чтоб с ней потом можно было хоть как нибуть работать.

Вы породили своим вопросом грандиозный флейм. Все будут сейчас до бесконечности спорить о том, какая база неподходит для решения задачи. Но профессионального совета о том, какая подходит наилучшим образом в этом споре не будет. Поскольку на основе столь незначительной информации о самой задаче и условиях эксплуатации системы явно невозможно дать разумный совет.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900209
Фотография segun
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUS Однако зная прекрасно РСУБД (тот же MSSQL/ASA) я спокойно поставил IQ и в привычном для себя ключе смог спокойно организовать работу с большой БД, не особо задумываясь о каких то измерениях, распределении нагрузок, параметрах тонких настроек и прочему, чему нужно учиться не один месяц и возможно даже не один год.согласен, для ряда задач вас спасет аналитичеческий функционал в РСУБД, но, ИМХО, это не панацея при больших объемах информации и, особенно, при большой OLTP-нагрузке на систему.

Alexey Rovdo BunnyПосоветуйте базу данных.
Приблизительный объем записей за сутки 60 милионов.
И чтоб с ней потом можно было хоть как нибуть работать.

Вы породили своим вопросом грандиозный флейм. Все будут сейчас до бесконечности спорить о том, какая база неподходит для решения задачи. Но профессионального совета о том, какая подходит наилучшим образом в этом споре не будет. Поскольку на основе столь незначительной информации о самой задаче и условиях эксплуатации системы явно невозможно дать разумный совет.хм.. дело в том что все 4 СУБД о которых шла речь выше подходят для решения этой задачи в техническом плане.
Другое дело в их стоимости (для простоты стоимость разработчиков и время разработки предполагаются одинаковыми). Какая же подходит наилучшим образом, вы правы, сказать нельзя. Явно недостаточно информации.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900262
DimaR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
segunхм.. дело в том что все 4 СУБД о которых шла речь выше подходят для решения этой задачи в техническом плане.
Другое дело в их стоимости (для простоты стоимость разработчиков и время разработки предполагаются одинаковыми). Какая же подходит наилучшим образом, вы правы, сказать нельзя. Явно недостаточно информации.

Еще раз, обратите внимание на нагрузку и объемы,

На каком железе MSSQL будет работать с такими объемами,

ссылку на сайте какого либо призводителя пожалуста
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900305
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
segunсогласен, для ряда задач вас спасет аналитичеческий функционал в РСУБД, но, ИМХО, это не панацея при больших объемах информации и, особенно, при большой OLTP-нагрузке на систему.
Не путайте - Sybase IQ это не РСУБД с аналитическим функционалом. Это аналитический сервер с РСУБД функционалом, заточенный под большие обьемы данных и это большая разница.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900311
Yo!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo!
Гость
2ASCRUS
> Это аналитический сервер с РСУБД функционалом, заточенный под большие обьемы данных и это большая разница.

а Сайбез как нибудь объясняет невыразительное выступление в tpc-h ? как я понял именно там IQ должен был блистать ?
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900345
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
автора Сайбез как нибудь объясняет невыразительное выступление в tpc-h ? как я понял именно там IQ должен был блистать ?
Спросите их разработчиков на форумах, они вроде как открыты :) Меня больше интересует практическое применение, чем участие в тестах, вполне возможно их тоже.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900597
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DimaR segunхм.. дело в том что все 4 СУБД о которых шла речь выше подходят для решения этой задачи в техническом плане.
Другое дело в их стоимости (для простоты стоимость разработчиков и время разработки предполагаются одинаковыми). Какая же подходит наилучшим образом, вы правы, сказать нельзя. Явно недостаточно информации.

Еще раз, обратите внимание на нагрузку и объемы,

На каком железе MSSQL будет работать с такими объемами,

ссылку на сайте какого либо призводителя пожалуста

Вот Вам ссылка на технологическое решение одного из известных сайтов:

TerraServer Cluster and SAN Experience
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900615
Bunny
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо всем за ответы.
Теперь надо это все переворить и выбрать.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900641
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хм... А вот все-таки интересно, на счет объемов:

1. Каков объем (а еще лучше структура) 1 записи?
2. Скока времени нужно держать данные в "атомарном виде"?
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900691
DimaR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklin
Вот Вам ссылка на технологическое решение одного из известных сайтов:

TerraServer Cluster and SAN Experience

Очень итересное решение :)

Поставили 4 компьютера каждый с кучей дисков,
на каждом компютере хранится своя информация,

еще сервер приложений который распихивает запрсы по временным зонам и типу карт, на заранее определенный компютер и заранее определенное место хранения,

и еще это все в 2х экземплярах (на всякий случай).

Только вот если я захочу написать запрс к этому всему типа
select
"кратчайший путь с востока на запад"
from
"все сервера"
???

и захочу ежеминутно, обновлять информацию о направлении ветра в каждом городе?

И при этом все будут запрашивать "розу ветров".
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900699
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DimaR pkarklin
Вот Вам ссылка на технологическое решение одного из известных сайтов:

TerraServer Cluster and SAN Experience

Очень итересное решение :)

Поставили 4 компьютера каждый с кучей дисков,
на каждом компютере хранится своя информация,

еще сервер приложений который распихивает запрсы по временным зонам и типу карт, на заранее определенный компютер и заранее определенное место хранения,

и еще это все в 2х экземплярах (на всякий случай).

Только вот если я захочу написать запрс к этому всему типа
select
"кратчайший путь с востока на запад"
from
"все сервера"
???

и захочу ежеминутно, обновлять информацию о направлении ветра в каждом городе?

И при этом все будут запрашивать "розу ветров".

Хм... Обос..ть можно что-угодно. ;)

А вот если Вы чего-то захотите, то тогда под Ваше хотение и надо будет решение подбирать, а про хотения автора топика окромя 30 лимонов записей в сутки и не известно ничего.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900719
DimaR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklin
Хм... Обос..ть можно что-угодно. ;)


Само сабой :)
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900745
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Уважаемый pkarklin - MS OLAP не подходит под эту задачу - Вы можете себе представить кубы на 60 миллионов записей в сутки ? У Sybase IQ БД будет как минимум в 2 раза сжиматься физически на диске, у MS OLAP наоборот раздуваться. О чем тут дальше можно говорить ? О том, что Sybase IQ подходит под условия поставленной задачи, а MS OLAP нет - а не о том, что лучше, что хуже. Я не понимаю, зачем человека вводить в заблуждение, если Вы и сами это прекрасно знаете.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900790
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Так... Продолжаем разговор...

ASCRUSУважаемый pkarklin - MS OLAP не подходит под эту задачу - Вы можете себе представить кубы на 60 миллионов записей в сутки ?

С чего Вы это решили? Уважаемый ASCRUS Вы можете себе представить, что есть куб? Ведь речь идет о построении аналитических запросов, т.е. куб будет иметь в себе все возможные измерения с заранее предрасчитанными всеми возможными значениями. При использовании HOLAP модели хранилища (когда непосредственно на OLAP сервере хранятся только расчитанные агрегаты, а исходные транзакционные данные будут лежать в OLTP базе) запросы, которые будут обращаться только за агрегированными данными будут выполняться очень быстро (так как уже все расчитано) и не будут нагружать транзакционную базу. Если же понадобяться атомарные данные (drilldown до атомарной ячейки куба), то при такой модели хранилища за ними будет произведено обращение к OLTP базе.

ASCRUSSybase IQ БД будет как минимум в 2 раза сжиматься физически на диске, у MS OLAP наоборот раздуваться.

Господи, да почему же оно будет то раздуваться!?

ASCRUSО чем тут дальше можно говорить ? О том, что Sybase IQ подходит под условия поставленной задачи, а MS OLAP нет - а не о том, что лучше, что хуже. Я не понимаю, зачем человека вводить в заблуждение, если Вы и сами это прекрасно знаете.

И действительно, о чем тут можно говорить, если Вы, как и большинство в этом топике пытаетесь делать выводы о продукте, с возможностями которого Вы не знакомы. Ну ведь не делаю я выводы о том, что Sybase IQ не подойдет для этой задачи, ибо не знаком с его возможностями. Я стараюсь предложить варианты, о которых я имею представление.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32901047
alexey_tm1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я не буду вдаваться что лучше, что хуже, в Oracle
Внешние таблицы (текстовый файл, струтктурированный) обявляется и SQL запросы делаются прямо к файлу (с условиями) немного тормозит, так как нет возможности использовать индексы.
Возможность коннекта к другим источникам информации (Oracle Stream).
Использовать MSSQL я бы не рекомендовал, с начала, возможно все будет работать, но со временем возникнут проблемы, которые решить неудасться, а переделать все будет невозможно.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32901064
Фотография segun
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 alexey_tm1:
Вы MCDBA или просто очень хороший знаток MSSQL?
Подтвердите свои слова хоть чем-нибудь, пож-ста.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32901198
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexey_tm1Внешние таблицы (текстовый файл, струтктурированный) обявляется и SQL запросы делаются прямо к файлу (с условиями) немного тормозит, так как нет возможности использовать индексы.

Индексы у текстовых файлов?! 8) Вау...

alexey_tm1Возможность коннекта к другим источникам информации (Oracle Stream).

MS SQL имеет возможность коннекта ко всему, для чего существует ODBC драйвер или OLEDB провайдер. Плюс имеются возможности (DTS, bcp) для массовой быстрой и нелоггируемой закачки данных из этих источников.

alexey_tm1Использовать MSSQL я бы не рекомендовал, с начала, возможно все будет работать, но со временем возникнут проблемы, которые решить неудасться, а переделать все будет невозможно.

Для таких рекомендаций требуются обоснования!!!
...
Рейтинг: 0 / 0
24 сообщений из 74, страница 3 из 3
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Посоветуйте базу данных (Большой объем)
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]