powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Посоветуйте базу данных (Большой объем)
74 сообщений из 74, показаны все 3 страниц
Посоветуйте базу данных (Большой объем)
    #32899625
Bunny
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Посоветуйте базу данных.
Приблизительный объем записей за сутки 60 милионов.
И чтоб с ней потом можно было хоть как нибуть работать.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899628
saasa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
бюджет ?
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899632
NO__NAME
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Щас тут начнется...
придет ровдо, лисянский, прочие товарищи, и начнется мочилово...
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899639
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BunnyИ чтоб с ней потом можно было хоть как нибуть работать.
Ключевой вопрос - как именно Вы хотите работать с этой базой.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899672
Bunny
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Бюджет до 30 000 $
Анализ количества сеансов.
Тоесть брать периуд скажем недель и смотреть кто выходил больше 100 раз кто всего один раз вышел. Вот такого плана запросы.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899780
saasa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ИМХО Этих денег хватит только на винты для сервака ;))
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899803
Bunny
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
saasa
Ну вообще деньги не вопрос нужно чтоб работоло :)
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899811
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BunnyБюджет до 30 000 $
Анализ количества сеансов.
Тогда существенный момент - количество пользователей.

Но единственный imho способ вписаться в этот бюджет - "обсчитал и забыл". О произвольных многокритериальных запросах к миллиарду первички - можно забыть сразу.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899821
Фотография Vadim_Maximov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Bunnysaasa
Ну вообще деньги не вопрос нужно чтоб работоло :)
Тогда Oracle :)

PS: ну понеслась...
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899844
Bunny
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Vadim_Maximov Bunnysaasa
Ну вообще деньги не вопрос нужно чтоб работоло :)
Тогда Oracle :)

PS: ну понеслась...

Ну а почему Oracle а не MS SQL Server ?
Хотя я тоже думал об Oracle но неплохо былобы хоть как то обосновать...
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899852
Yo!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo!
Гость
>Ну вообще деньги не вопрос нужно чтоб работоло :)

ну тогда добавляем нолик получаем 300 000 $
берем oracle + IBM eServer p5 590 8-way POWER5 и какое-то время живем спокойно :)
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899855
Yo!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo!
Гость
>Ну а почему Oracle а не MS SQL Server ?

у MS нет partioning.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899859
Фотография Vadim_Maximov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А также кластеров и много еще чего.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899870
Bunny
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Yo!>Ну вообще деньги не вопрос нужно чтоб работоло :)

ну тогда добавляем нолик получаем 300 000 $
берем oracle + IBM eServer p5 590 8-way POWER5 и какое-то время живем спокойно :)

И сколько живем мы спокойно ?

Кстати там есть один ньюанс этот масив должен будет загружатся из текстового файла. Желательно чтоб это грузилось не целый день.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899883
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yo!у MS нет partioning.

Ну, секционированные предствления есть.

Vadim_MaximovА также кластеров и много еще чего.

Эт, точно, что понеслось... Прям ну никак без RAC тут не обойтись. А ведь и алтернативные варианты существуют: Oracle Real Application Clusters and Industry Trends in Cluster Parallelism and Availability
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899886
Crip
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
автору MS нет partioning
На вью есть, чего как правило хватает...
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899890
Фотография segun
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Yo!, Vadim_Maximov:
ну вот, снова проснулись, лучше попросите Ларри снизить цены..

2 Bunny:
выбирать СУБД лучше из тройки. Из них MSSQL наиболее дешевая и легкая в освоении. По функционалу в ней тоже все нормально.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899893
Фотография ну я
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Vadim_MaximovТогда Oracle :)

PS: ну понеслась...

Cache.

Точна, понеслась.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899894
Yo!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo!
Гость
>И сколько живем мы спокойно ?

понятия не имею :)

>Кстати там есть один ньюанс этот масив должен будет загружатся из текстового файла. Желательно чтоб это грузилось не целый день.

oracle loader умеет пихать прямо в дата-файлы минуя всякие констрейны, тиригеры и т.п. получается охеренно быстро ...
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899896
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yo!
oracle loader умеет пихать прямо в дата-файлы минуя всякие констрейны, тиригеры и т.п. получается охеренно быстро ...

Ха... сиквельный bcp делает это с неменьшим успехом.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899898
gardenman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yo!>И сколько живем мы спокойно ?

понятия не имею :)

>Кстати там есть один ньюанс этот масив должен будет загружатся из текстового файла. Желательно чтоб это грузилось не целый день.

oracle loader умеет пихать прямо в дата-файлы минуя всякие констрейны, тиригеры и т.п. получается охеренно быстро ...
разве только Oracle это у меет делать? (забыли добавить - еще и без логгирования
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899909
Yo!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo!
Гость
>разве только Oracle это у меет делать?
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899911
Bunny
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ну почти убедили за ORACLE :)
Вот только машина уж слишком крутая :)
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899913
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Bunny Yo!>Ну вообще деньги не вопрос нужно чтоб работоло :)

ну тогда добавляем нолик получаем 300 000 $
берем oracle + IBM eServer p5 590 8-way POWER5 и какое-то время живем спокойно :)

И сколько живем мы спокойно ?

Кстати там есть один ньюанс этот масив должен будет загружатся из текстового файла. Желательно чтоб это грузилось не целый день.
Посмотрите еще в сторону аналитического сервера Sybase IQ. Данные он как раз с текстовиков грузит очень быстро, БД держит в сжатом виде, заточен в первую очередь под скоростное выполнение аггрегатных запросов по первичной информации, физически данные хранятся не как записи на страницах, а как поля на страницах, поэтому реально читаются только те страницы, которые содержат необходимую для запросов информацию, что обеспечивает приличные скорости на запросах, но тормозит, если его использовать как OLTP. На нагрузках с большим кол-вом юзеров не проседает, имеет множество оптимизированных под аналитику индексов, нулевое администрирование, внешне выглядит как обычная РСУБД с диалектом WatcomSQL (тот же, что и у ASA). Стоимость 40 тонн. Ну а далее, если интересно в FAQ sybase.sql.ru есть информация по техническим характеристикам и информация в представительстве Sybase.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899914
Yo!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo!
Гость
>разве только Oracle это у меет делать?

понятия не имею, я говорил о oracle loader
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899926
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSПосмотрите еще в сторону аналитического сервера Sybase IQ. ... Стоимость 40 тонн. Ну а далее...

Во-во, и получаем тока OLAP, а с сиквелом OLAP абсолютно бесплатно.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899928
Yo!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo!
Гость
>Посмотрите еще в сторону аналитического сервера Sybase IQ.

какова sybaseIQ максимальная база (в записях)
60M*30=1.800M записей в месяц ... не знаю как IQ но оракл на p5 врядле год вытянет :)
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899929
Bunny
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Да кстати пользователей будет человек десять небольше.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899931
gardenman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 ASCRUS, а как там у IQ с кластеризацией?
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899938
Yo!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo!
Гость
>Во-во, и получаем тока OLAP, а с сиквелом OLAP абсолютно бесплатно.

у сиквела нехватает partioning, bitmap indexes, materialized view чтоб рассматривать ее как конкурента на таких объемах.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899939
Фотография segun
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 ораклоидам и сиквелистам (но больше к первым, так как их громче слышно ):

Проблема большинства оппонентов в том что они знают только свой продукт.
Как правило это видно сразу и сильно. Быть может, хотя бы ради интереса, пощупать и тот, который вы засуживаете?
Я думаю, прыти бы у вас бы значительно поубавилось.

2 Bunny:
конечно берите Oracle, ведь круче него только горы! А то что он в 4 раза дороже, так это фигня, главное что там есть RAC.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899946
gardenman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а $30000 - это только на софт? или на железо или на все вместе?
че-та бютжет какой-то нереальный для такой системы.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899948
Yo!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo!
Гость
>А то что он в 4 раза дороже, так это фигня, главное что там есть RAC

фигня в виде RAC/standby позволит человеку держать одну машину для загрузки файликов, другую для изготовления отчетов.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899964
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot Yoу сиквела нехватает ... materialized view чтоб рассматривать ее как конкурента на таких объемах.[/quot]

Да ну... А мож все-таки BOL хоть мельком пролистаем...
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899965
Bunny
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
gardenmanа $30000 - это только на софт? или на железо или на все вместе?
че-та бютжет какой-то нереальный для такой системы.
Ну эту сумму я примерно написал все зависит как обосновать. Может и больше только конечно без фанатизма :)
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899967
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторВо-во, и получаем тока OLAP, а с сиквелом OLAP абсолютно бесплатно.
По моему разница между РСУБД и OLAP кубами просто преогромнейшая. IQ заточен под то, чтобы всасывать первичку в любых обьемах, ничего не придумывая и не проектируя лишнего, и обеспечивать нормальное время отклика системы вне зависимости от обьема данных, сложности запроса и кол-ва подключаемых сессий без вмешательства администратора и установки квот на обьемы выполняемых в системе запросов. Этого его заточка и он вполне нормально с этим справляется, на большее и не претендует.

gardenman2 ASCRUS, а как там у IQ с кластеризацией?
http://sybase.sql.ru/asa9/ASE-ASA-IQ.pdf
Читайте последнюю колоночку (IQ). Этот документ правда не маркетинговый и не полный - он сделан самим Sybase для разработчиков Sybase, чтобы могли ориентироваться во всех линейках СУБД.

P.S. Самый простой способ пощупать IQ - приехать в представительство Sybase со своим массивом данных и попросить организовать на их основе БД тестовую демонстрацию.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899982
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSПо моему разница между РСУБД и OLAP кубами просто преогромнейшая.

Уважаемый ASCRUS. Я прекрасно понимаю разницу между первым и вторым. И под тоже, под что заточем Ваш IQ за 40 тонн, заточен и MS OLAP Server. Но вот в отличаи от IQ, он идет ВМЕСТЕ с поставкой РСУБД совершенно бесплатно. Т.е. за гараздо меньшие бабки можно получить и OLTP и OLAP решения.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899987
gardenman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тут все ясно про ДБ2: http://www.db2.ru/1.1.3.html где-нить есть такая же страничка по Oracle и MSSQL?
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899994
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gardenmanТут все ясно про ДБ2: http://www.db2.ru/1.1.3.html где-нить есть такая же страничка по Oracle и MSSQL?

Что Вас конретно интересует по сиквелу, чтоб не перечитывать все это?
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32899999
gardenman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklin gardenmanТут все ясно про ДБ2: http://www.db2.ru/1.1.3.html где-нить есть такая же страничка по Oracle и MSSQL?

Что Вас конретно интересует по сиквелу, чтоб не перечитывать все это?
цены
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900007
DimaR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yo!>Посмотрите еще в сторону аналитического сервера Sybase IQ.

какова sybaseIQ максимальная база (в записях)
60M*30=1.800M записей в месяц ... не знаю как IQ но оракл на p5 врядле год вытянет :)

продолжим расчет 256 байт строчка * 1.8G=
460G
за месяц
(я нигде в арифметике ни ошибся?)

460П*12=5529G
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900010
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklin ASCRUSПо моему разница между РСУБД и OLAP кубами просто преогромнейшая.

Уважаемый ASCRUS. Я прекрасно понимаю разницу между первым и вторым. И под тоже, под что заточем Ваш IQ за 40 тонн, заточен и MS OLAP Server. Но вот в отличаи от IQ, он идет ВМЕСТЕ с поставкой РСУБД совершенно бесплатно. Т.е. за гараздо меньшие бабки можно получить и OLTP и OLAP решения.
MS OLAP - это кубы (сам я с ним не работал) ? Если это кубы, то отсюда надо думать множество вытекающих последствий, главное из которых - постоянные затраты на их обновление, сопровождение и перепостроение при изменении измерений. Ну а насчет использования самого MSSQL как аналитического сервера по сравнению с IQ даже не обсуждаемо, хотя бы по той простой причине, что при физическом чтении данных для аналитических запросов затраты будут в многие разы меньше (плюс верно обратное утверждение - для простых запросов "SELECT *" затраты будут в столько же раз больше).
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900018
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSMS OLAP - это кубы (сам я с ним не работал) ? Если это кубы, то отсюда надо думать множество вытекающих последствий, главное из которых - постоянные затраты на их обновление, сопровождение и перепостроение при изменении измерений. Ну а насчет использования самого MSSQL как аналитического сервера по сравнению с IQ даже не обсуждаемо, хотя бы по той простой причине, что при физическом чтении данных для аналитических запросов затраты будут в многие разы меньше (плюс верно обратное утверждение - для простых запросов "SELECT *" затраты будут в столько же раз больше).

Робяты.... Эййййй.... Ну не надо городить то, о чем Вы не знаете. Ну не ляпаю же я такие глупости, что в Оракле нет триггеров, а в Сайбейсе внешних ключей.

gardenmanцены

Тока недавно ссылку приводил:

MS SQL > Oracle = True?
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900039
gardenman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Интересно, почему на www.tpc.org MSSQL отсутствует в рейтингах на 3,000 и 10,000 GB Results?
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900053
Фотография segun
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ладно, раз пошла такая пьянка..

Слушал я как-то месяц назад одного дядку-аналитика по БД из Gartner Group и вот что он говорил:
Sybase - в области мобильных решений, ему не будет равных года 2 точно. Про остальные области применения Sybase он говорил что как-то не очень.
DB2 - классная СУБД, классные разработчики. Но 3 базы кода, причем UDB из них далеко не самая лучшая.
MSSQL - крепкий и надежный, но давно нет новых версий. Предсказывал значительный рывок на рынке в конце года при выходе SQL2k5.
Oracle - хороший продукт, но неоправданно дорогой и все еще чересчур сложный в управлении.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900056
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinРобяты.... Эййййй.... Ну не надо городить то, о чем Вы не знаете.
Я так и не получил внятного ответа про MS OLAP. Пойдем другим путем - берем любую огромную БД любой СУБД, на базе которой нужно проводить аналитические запросы. Загружаем схему этой БД в IQ (скриптами, через CASE - как угодно). Загружаем данные с этой СУБД в IQ (через текстовые, удаленные - опять же как угодно). Начинаем работать - пишем любые SQL запросы стандарта 92-99, плюс используем специализированные OLAP функции в них. Таким образом я быстренько перегнал 30 гиговую БД MSSQL на IQ с доброй сотней миллионов записей и погонял разные аггрегаты по всем таблицам - среднее время отклика сервера держалось 1-2 секунды, нагрузка шла не сколько на винты, сколько на процессор (расжатие БД по ходу выполнения). БД на диске получилась гораздо меньше оригинальной (16 гб). Естественно на таких обьемах у MSSQL даже "SELECT Count(*) FROM Table" работало явно не 2 секунды (да и вообще COUNT в MSSQL не самая быстрая аггрегатная операция по моему мнению). В итоге за минимальное время я получил максимальную отдачу и возможность проведения любой аналитики по данным первичной БД. Не могли бы Вы рассказать, как все это будет в таком же ракурсе выглядеть применительно к MS OLAP ?
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900061
DimaR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А oracle в TPC-H 3,000 GB Results
есть на интеловском железе
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900062
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
segunSybase - в области мобильных решений, ему не будет равных года 2 точно.
Это он про Sybase ASA :)
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900087
gardenman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DimaRА oracle в TPC-H 3,000 GB Results
есть на интеловском железе
Особенно в этом моменте прикольна цена Storage Area Network
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900109
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 ASCRUS

авторЯ так и не получил внятного ответа про MS OLAP. ... Не могли бы Вы рассказать, как все это будет в таком же ракурсе выглядеть применительно к MS OLAP ?

Да легко, берем Ваш полседний пост и чуть-чуть подправляем:

Берем любую огромную БД любой СУБД, на базе которой нужно проводить аналитические запросы. Создаем в MS OLAP сервер (через свои средства моделирования) кубы. Загружаем данные с этой СУБД в MS OLAP сервер (через текстовые, удаленные - как угодно). Начинаем работать - пишем любые SQL запросы стандарта MDX, плюс используем специализированные OLAP функции в них. А еще проще, используем Excel как клиента с его сводными таблицами - и писать ничего не надо. Любой мало-мальский пользователь секселя сможет анализировать по всем возможным измерениям. Таким образом легко перегнать 30 гиговую БД MSSQL на MS OLAP сервер с доброй сотней миллионов записей и погонять разные аггрегаты по всем таблицам - среднее время отклика будет держаться < 1-2 секунды. В итоге за минимальное время можно получил максимальную отдачу и возможность проведения любой аналитики по данным первичной БД.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900119
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinДа легко, берем Ваш полседний пост и чуть-чуть подправляем:

Берем любую огромную БД любой СУБД, на базе которой нужно проводить аналитические запросы. Создаем в MS OLAP сервер (через свои средства моделирования) кубы. Загружаем данные с этой СУБД в MS OLAP сервер (через текстовые, удаленные - как угодно). Начинаем работать - пишем любые SQL запросы стандарта MDX, плюс используем специализированные OLAP функции в них. А еще проще, используем Excel как клиента с его сводными таблицами - и писать ничего не надо. Любой мало-мальский пользователь секселя сможет анализировать по всем возможным измерениям. Таким образом легко перегнать 30 гиговую БД MSSQL на MS OLAP сервер с доброй сотней миллионов записей и погонять разные аггрегаты по всем таблицам - среднее время отклика будет держаться < 1-2 секунды. В итоге за минимальное время можно получил максимальную отдачу и возможность проведения любой аналитики по данным первичной БД.
То есть правильно ли я понял, что в отличие от моего примера придет ься еще потратить усилия и время, чтобы граммотно спроектировать кубы ? И еще возникает вопрос ежедневного обновления кубов - они каждый раз будут пересчитываться или же как в IQ можно просто быстро доливать новые записи в таблицы и не заморачиваться ?
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900129
Фотография segun
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUS pkarklin ASCRUSПо моему разница между РСУБД и OLAP кубами просто преогромнейшая.

Уважаемый ASCRUS. Я прекрасно понимаю разницу между первым и вторым. И под тоже, под что заточем Ваш IQ за 40 тонн, заточен и MS OLAP Server. Но вот в отличаи от IQ, он идет ВМЕСТЕ с поставкой РСУБД совершенно бесплатно. Т.е. за гараздо меньшие бабки можно получить и OLTP и OLAP решения.
MS OLAP - это кубы (сам я с ним не работал) ? Если это кубы, то отсюда надо думать множество вытекающих последствий, главное из которых - постоянные затраты на их обновление, сопровождение и перепостроение при изменении измерений.если вы говорите про затраты ресурсов то, в любом случае, такие вещи лучше выносить из OLTP системы с целью снижения нагрузки. Другие же ресурсы (время разработки, периодичность обновления и т.д.) либо конечны, либо полностью автоматизируются. На мой взгляд, на разницу в стоимости продуктов (а она немаленькая) лучше купить железку по-мощнее и выдать участникам проекта премию за скорейшее успешное выполнение проекта.
ASCRUSТо есть правильно ли я понял, что в отличие от моего примера придет ься еще потратить усилия и время, чтобы грамотно спроектировать кубы ? И еще возникает вопрос ежедневного обновления кубов - они каждый раз будут пересчитываться или же как в IQ можно просто быстро доливать новые записи в таблицы и не заморачиваться ?есть такая штука как частичное обновление куба. Рекомендую
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900131
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSТо есть правильно ли я понял, что в отличие от моего примера придет ься еще потратить усилия и время, чтобы граммотно спроектировать кубы ?

Вы правильно поняли, кубы надо спроетировать, а это равнятеся создание всех возможных измерений и значений.

ASCRUSИ еще возникает вопрос ежедневного обновления кубов - они каждый раз будут пересчитываться или же как в IQ можно просто быстро доливать новые записи в таблицы и не заморачиваться ?

Как угодно, можно делать:

There are three ways to process a cube. If you are modifying the structure of the cube, you may be required to process the cube with the Full Process option. If you are adding new data to the cube, you can process the cube with the Incremental update option. To clear out and replace a cube's source data, you can use the Refresh data processing option.

Кроме того есть поддержка: Real-Time Cubes
A real-time cube is a regular cube that employs relational OLAP (ROLAP) partitions or dimensions that support the real-time OLAP feature of Microsoft® SQL Server™ 2000 Analysis Services.

Остальные подробности в BOL. Ну, правда, не стоит ее здесь всю цитировать.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900147
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо за подробные ответы. Просто у меня перед глазами был пример работающего MS OLAP, где была довольно сложная и быстро изменяющаяся первичная БД (MSSQL 2000), полная неизвестность в измерениях и что завтра потребуется в аналитике и группа специалистов, не шибко граммотных, которая умучалась все это сопровождать. В данном случае для "нерегламентированной аналитики" лично для меня все таки IQ выглядит предпочтительней, фактически и думать особо ни о чем не надо - поставил и поехал :)
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900152
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторне шибко граммотных
Ну и я не шибко грамотный в русском, что же поделаешь, вот вдалась мне вторая "м" :)
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900164
Фотография segun
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSСпасибо за подробные ответы. Просто у меня перед глазами был пример работающего MS OLAP, где была довольно сложная и быстро изменяющаяся первичная БД (MSSQL 2000), полная неизвестность в измерениях и что завтра потребуется в аналитике и группа специалистов, не шибко грамотных , которая умучалась все это сопровождать. В данном случае для "нерегламентированной аналитики" лично для меня все таки IQ выглядит предпочтительней, фактически и думать особо ни о чем не надо - поставил и поехал :)Интересное кино получается. С одной стороны эти "специалисты" а с другой вы, который знает свой продукт и умеет с ним работать. Как-то это нечестно ;).
Я это к тому что такие спецы какой угодно продукт завалят.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900171
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторИнтересное кино получается. С одной стороны эти "специалисты" а с другой вы, который знает свой продукт и умеет с ним работать. Как-то это нечестно ;).
Да я в те года про Sybase даже ничего не слышал, не то, что видел :) Сидел себе тихо, мирно на MSSQL. Но все это я сказал к тому, что на IQ любой, кто знает РСУБД перегонит и спокойно через любую систему, поддерживающую SQL начнет аналитику лепить (и в том же Excel), в случае же с OLAP нужны действительно специалисты. А те ребята грамотные были в MSSQL, просто им пришлось многому учиться, чтобы MS OLAP осваивать. Я вот тоже не могу сказать, что я специалист в аналитике - у меня другие задачи. Однако зная прекрасно РСУБД (тот же MSSQL/ASA) я спокойно поставил IQ и в привычном для себя ключе смог спокойно организовать работу с большой БД, не особо задумываясь о каких то измерениях, распределении нагрузок, параметрах тонких настроек и прочему, чему нужно учиться не один месяц и возможно даже не один год.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900186
Alexey Rovdo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
BunnyПосоветуйте базу данных.
Приблизительный объем записей за сутки 60 милионов.
И чтоб с ней потом можно было хоть как нибуть работать.

Вы породили своим вопросом грандиозный флейм. Все будут сейчас до бесконечности спорить о том, какая база неподходит для решения задачи. Но профессионального совета о том, какая подходит наилучшим образом в этом споре не будет. Поскольку на основе столь незначительной информации о самой задаче и условиях эксплуатации системы явно невозможно дать разумный совет.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900209
Фотография segun
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUS Однако зная прекрасно РСУБД (тот же MSSQL/ASA) я спокойно поставил IQ и в привычном для себя ключе смог спокойно организовать работу с большой БД, не особо задумываясь о каких то измерениях, распределении нагрузок, параметрах тонких настроек и прочему, чему нужно учиться не один месяц и возможно даже не один год.согласен, для ряда задач вас спасет аналитичеческий функционал в РСУБД, но, ИМХО, это не панацея при больших объемах информации и, особенно, при большой OLTP-нагрузке на систему.

Alexey Rovdo BunnyПосоветуйте базу данных.
Приблизительный объем записей за сутки 60 милионов.
И чтоб с ней потом можно было хоть как нибуть работать.

Вы породили своим вопросом грандиозный флейм. Все будут сейчас до бесконечности спорить о том, какая база неподходит для решения задачи. Но профессионального совета о том, какая подходит наилучшим образом в этом споре не будет. Поскольку на основе столь незначительной информации о самой задаче и условиях эксплуатации системы явно невозможно дать разумный совет.хм.. дело в том что все 4 СУБД о которых шла речь выше подходят для решения этой задачи в техническом плане.
Другое дело в их стоимости (для простоты стоимость разработчиков и время разработки предполагаются одинаковыми). Какая же подходит наилучшим образом, вы правы, сказать нельзя. Явно недостаточно информации.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900262
DimaR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
segunхм.. дело в том что все 4 СУБД о которых шла речь выше подходят для решения этой задачи в техническом плане.
Другое дело в их стоимости (для простоты стоимость разработчиков и время разработки предполагаются одинаковыми). Какая же подходит наилучшим образом, вы правы, сказать нельзя. Явно недостаточно информации.

Еще раз, обратите внимание на нагрузку и объемы,

На каком железе MSSQL будет работать с такими объемами,

ссылку на сайте какого либо призводителя пожалуста
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900305
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
segunсогласен, для ряда задач вас спасет аналитичеческий функционал в РСУБД, но, ИМХО, это не панацея при больших объемах информации и, особенно, при большой OLTP-нагрузке на систему.
Не путайте - Sybase IQ это не РСУБД с аналитическим функционалом. Это аналитический сервер с РСУБД функционалом, заточенный под большие обьемы данных и это большая разница.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900311
Yo!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo!
Гость
2ASCRUS
> Это аналитический сервер с РСУБД функционалом, заточенный под большие обьемы данных и это большая разница.

а Сайбез как нибудь объясняет невыразительное выступление в tpc-h ? как я понял именно там IQ должен был блистать ?
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900345
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
автора Сайбез как нибудь объясняет невыразительное выступление в tpc-h ? как я понял именно там IQ должен был блистать ?
Спросите их разработчиков на форумах, они вроде как открыты :) Меня больше интересует практическое применение, чем участие в тестах, вполне возможно их тоже.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900597
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DimaR segunхм.. дело в том что все 4 СУБД о которых шла речь выше подходят для решения этой задачи в техническом плане.
Другое дело в их стоимости (для простоты стоимость разработчиков и время разработки предполагаются одинаковыми). Какая же подходит наилучшим образом, вы правы, сказать нельзя. Явно недостаточно информации.

Еще раз, обратите внимание на нагрузку и объемы,

На каком железе MSSQL будет работать с такими объемами,

ссылку на сайте какого либо призводителя пожалуста

Вот Вам ссылка на технологическое решение одного из известных сайтов:

TerraServer Cluster and SAN Experience
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900615
Bunny
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо всем за ответы.
Теперь надо это все переворить и выбрать.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900641
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хм... А вот все-таки интересно, на счет объемов:

1. Каков объем (а еще лучше структура) 1 записи?
2. Скока времени нужно держать данные в "атомарном виде"?
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900691
DimaR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklin
Вот Вам ссылка на технологическое решение одного из известных сайтов:

TerraServer Cluster and SAN Experience

Очень итересное решение :)

Поставили 4 компьютера каждый с кучей дисков,
на каждом компютере хранится своя информация,

еще сервер приложений который распихивает запрсы по временным зонам и типу карт, на заранее определенный компютер и заранее определенное место хранения,

и еще это все в 2х экземплярах (на всякий случай).

Только вот если я захочу написать запрс к этому всему типа
select
"кратчайший путь с востока на запад"
from
"все сервера"
???

и захочу ежеминутно, обновлять информацию о направлении ветра в каждом городе?

И при этом все будут запрашивать "розу ветров".
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900699
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DimaR pkarklin
Вот Вам ссылка на технологическое решение одного из известных сайтов:

TerraServer Cluster and SAN Experience

Очень итересное решение :)

Поставили 4 компьютера каждый с кучей дисков,
на каждом компютере хранится своя информация,

еще сервер приложений который распихивает запрсы по временным зонам и типу карт, на заранее определенный компютер и заранее определенное место хранения,

и еще это все в 2х экземплярах (на всякий случай).

Только вот если я захочу написать запрс к этому всему типа
select
"кратчайший путь с востока на запад"
from
"все сервера"
???

и захочу ежеминутно, обновлять информацию о направлении ветра в каждом городе?

И при этом все будут запрашивать "розу ветров".

Хм... Обос..ть можно что-угодно. ;)

А вот если Вы чего-то захотите, то тогда под Ваше хотение и надо будет решение подбирать, а про хотения автора топика окромя 30 лимонов записей в сутки и не известно ничего.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900719
DimaR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklin
Хм... Обос..ть можно что-угодно. ;)


Само сабой :)
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900745
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Уважаемый pkarklin - MS OLAP не подходит под эту задачу - Вы можете себе представить кубы на 60 миллионов записей в сутки ? У Sybase IQ БД будет как минимум в 2 раза сжиматься физически на диске, у MS OLAP наоборот раздуваться. О чем тут дальше можно говорить ? О том, что Sybase IQ подходит под условия поставленной задачи, а MS OLAP нет - а не о том, что лучше, что хуже. Я не понимаю, зачем человека вводить в заблуждение, если Вы и сами это прекрасно знаете.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32900790
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Так... Продолжаем разговор...

ASCRUSУважаемый pkarklin - MS OLAP не подходит под эту задачу - Вы можете себе представить кубы на 60 миллионов записей в сутки ?

С чего Вы это решили? Уважаемый ASCRUS Вы можете себе представить, что есть куб? Ведь речь идет о построении аналитических запросов, т.е. куб будет иметь в себе все возможные измерения с заранее предрасчитанными всеми возможными значениями. При использовании HOLAP модели хранилища (когда непосредственно на OLAP сервере хранятся только расчитанные агрегаты, а исходные транзакционные данные будут лежать в OLTP базе) запросы, которые будут обращаться только за агрегированными данными будут выполняться очень быстро (так как уже все расчитано) и не будут нагружать транзакционную базу. Если же понадобяться атомарные данные (drilldown до атомарной ячейки куба), то при такой модели хранилища за ними будет произведено обращение к OLTP базе.

ASCRUSSybase IQ БД будет как минимум в 2 раза сжиматься физически на диске, у MS OLAP наоборот раздуваться.

Господи, да почему же оно будет то раздуваться!?

ASCRUSО чем тут дальше можно говорить ? О том, что Sybase IQ подходит под условия поставленной задачи, а MS OLAP нет - а не о том, что лучше, что хуже. Я не понимаю, зачем человека вводить в заблуждение, если Вы и сами это прекрасно знаете.

И действительно, о чем тут можно говорить, если Вы, как и большинство в этом топике пытаетесь делать выводы о продукте, с возможностями которого Вы не знакомы. Ну ведь не делаю я выводы о том, что Sybase IQ не подойдет для этой задачи, ибо не знаком с его возможностями. Я стараюсь предложить варианты, о которых я имею представление.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32901047
alexey_tm1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я не буду вдаваться что лучше, что хуже, в Oracle
Внешние таблицы (текстовый файл, струтктурированный) обявляется и SQL запросы делаются прямо к файлу (с условиями) немного тормозит, так как нет возможности использовать индексы.
Возможность коннекта к другим источникам информации (Oracle Stream).
Использовать MSSQL я бы не рекомендовал, с начала, возможно все будет работать, но со временем возникнут проблемы, которые решить неудасться, а переделать все будет невозможно.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32901064
Фотография segun
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 alexey_tm1:
Вы MCDBA или просто очень хороший знаток MSSQL?
Подтвердите свои слова хоть чем-нибудь, пож-ста.
...
Рейтинг: 0 / 0
Посоветуйте базу данных (Большой объем)
    #32901198
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexey_tm1Внешние таблицы (текстовый файл, струтктурированный) обявляется и SQL запросы делаются прямо к файлу (с условиями) немного тормозит, так как нет возможности использовать индексы.

Индексы у текстовых файлов?! 8) Вау...

alexey_tm1Возможность коннекта к другим источникам информации (Oracle Stream).

MS SQL имеет возможность коннекта ко всему, для чего существует ODBC драйвер или OLEDB провайдер. Плюс имеются возможности (DTS, bcp) для массовой быстрой и нелоггируемой закачки данных из этих источников.

alexey_tm1Использовать MSSQL я бы не рекомендовал, с начала, возможно все будет работать, но со временем возникнут проблемы, которые решить неудасться, а переделать все будет невозможно.

Для таких рекомендаций требуются обоснования!!!
...
Рейтинг: 0 / 0
74 сообщений из 74, показаны все 3 страниц
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Посоветуйте базу данных (Большой объем)
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]