Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Проект построения большой БД - давайте пообсуждаем / 25 сообщений из 307, страница 1 из 13
06.08.2004, 11:38
    #32638247
Сергей Тихонов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
Всем привет.

Итак, условия задачи следующие: нужно построить VLDB. Объем - терабайты.
Кто чего думает? В принципе вариантов два:

MSSQL

Oracle

Вот и давайте пообсуждаем плюсы и минусы каждого варианта ;-) .

ЗЫ
В случае c Oracle вопрос выбора ОС также открыт...
...
Рейтинг: 0 / 0
06.08.2004, 11:39
    #32638253
alex_k
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
а что db2?
тоже, говорят, солидная система.

а еше я про terradata что-то слышал...
...
Рейтинг: 0 / 0
06.08.2004, 11:42
    #32638259
Сергей Тихонов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
Народ, давайте обсуждать с аргументами: есть и слышал - не аргументы ;-) ...
...
Рейтинг: 0 / 0
06.08.2004, 11:53
    #32638292
zass
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
Уважаемый Сергей. То что вы выносите на форум может иметь разные ответы.
Мое мнение такое: как у кого и под что подточены руки. Я уже три года работаю с MS SQL Server - система очень нравится. Работает стабильно. Но что бы вы знали я ее "родил" с самого начала, вылизывал каждую табличку, триггер, референсы и т.д. Знаю несколько фирм, которые работаю на оракле. Кленут его на чем свет стоит, а когда я посмотрел их БД - плакать хочется...
...
Рейтинг: 0 / 0
06.08.2004, 11:54
    #32638296
zass
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
В родая я имел в виду БД.
...
Рейтинг: 0 / 0
06.08.2004, 11:56
    #32638306
Yo!
Yo!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
ну как бы с mssql действительно тяжело сравнивать - у него нет значительной часть фич для VLDB. тут соревнуются db2, terradata & oracle
крупнейшие можно посмотреть сдесь:
http://www.wintercorp.com/vldb/2003_TopTen_Survey/TopTenWinners.asp

ЗЫ. а ос зависит от железа, ораклу по большому счету все равно что за ось.
...
Рейтинг: 0 / 0
06.08.2004, 12:02
    #32638322
Сергей Тихонов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
> zass
Для меня MSSQL - как первая любовь со всеми вытекающими... ;-)

Но тем не менее, давайте подойдем к обсуждению с холодной головой.
Я сформулирую еще ряд критериев. Помимо поддержки больших объемов данных СУБД должна:

быть надежной

быть распространенной и известной

должна быть поддержка импорта/экспорта данных из/в другие СУБД

на рынке труда должно существовать достаточное количество грамотных специалистов, способных администрировать и поддерживать эту СУБД

эта СУБД должна поддерживаться ведущими разработчиками RAD-инструментов
Пока что все...
...
Рейтинг: 0 / 0
06.08.2004, 12:07
    #32638339
Yo!
Yo!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
Terradata - лидер, а долго был вообще недосигаемым лидером в DSS и VLDB.

- не распространенная и большинству известная
- на российском рынке труда практически не существует достаточное количество грамотных специалистов, способных администрировать и поддерживать эту СУБД
- эта СУБД должна не поддерживаться ведущими разработчиками RAD-инструментов

;)
...
Рейтинг: 0 / 0
06.08.2004, 12:11
    #32638353
EugeneS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
Сергей Тихонов> zass
Но тем не менее, давайте подойдем к обсуждению с холодной головой.
Я сформулирую еще ряд критериев. Помимо поддержки больших объемов данных СУБД должна:

быть надежной

быть распространенной и известной

должна быть поддержка импорта/экспорта данных из/в другие СУБД

на рынке труда должно существовать достаточное количество грамотных специалистов, способных администрировать и поддерживать эту СУБД

эта СУБД должна поддерживаться ведущими разработчиками RAD-инструментов
Пока что все...


Я бы все же прошелся по функционалу необходимому для подержки больших объемов.
Так же давайте определимся , что вы подразумеваете под VLDB кроме большого объема?
То есть речь идет о OLTP cистеме или о DSS.
После чего давайте сформулируем какие функциональные возможности необходимы для VLDB.
Например:
- Партицирование таблиц
- Возможности конкретной СУБД по настройке ввода-вывода.
- Возможности СУБД по подержанию больших объемов памяти и больших файлов.
- Если речь идет о DSS системах , то например рассмотреть функционал индексов .

и т.д. и т.п.
...
Рейтинг: 0 / 0
06.08.2004, 12:12
    #32638360
zass
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
Я еще добавлю, что по данной СУБД имеется очень много литературы и как админ легко подготовил себе нескольких замов.
По надежности: веду 2-х часовой учет состояния БД, отслеживаю (программно) все ресурсы с среду БД. Но работа по автоматизации ведется и по сей день. Конца пока не видно. За все время работы БД ни разу не упала. А ее хотят поиметь сразу 55 человек.
О распространенности и известности: оракл и MS SQL Server - самы распростаненные (можно посмотреть главную страничку www.sql.ru)

Все остальное также очевидно.
...
Рейтинг: 0 / 0
06.08.2004, 12:24
    #32638391
viper
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
Убедительных технических аргументов не приведу, но большинство (не скажу все), известных мне, больших баз (налоговая, ГАИ и т.д.) оракуловые (нк по крайней мере на Украине), возможно не последнюю роль играют такие аспекты как исторические традиции орг. структур, не желание/ не имениие возможности работать с виндовыми серверами и т.д. но факт остается фактом...
В принципе нужно решить обсуждаем мы гипотетическую ситуацию (тоесть обсуждаем только тех. аспекты СУБД) или реальную где стоит учитывать дополнительные аспекты (стабильность серверных ОС, надежность инструментов разработчиков работающих с БД и прочее)
Может я не в те ворота лезу... тогда поправте меня.
_________________________________________________
Легче написать не правильную программу чем понять правильную (С) Alan Perlis
...
Рейтинг: 0 / 0
06.08.2004, 12:35
    #32638413
Сергей Тихонов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
EugeneSЯ бы все же прошелся по функционалу необходимому для подержки больших объемов.
Так же давайте определимся , что вы подразумеваете под VLDB кроме большого объема?
То есть речь идет о OLTP cистеме или о DSS.
После чего давайте сформулируем какие функциональные возможности необходимы для VLDB.
Например:
- Партицирование таблиц
- Возможности конкретной СУБД по настройке ввода-вывода.
- Возможности СУБД по подержанию больших объемов памяти и больших файлов.
- Если речь идет о DSS системах , то например рассмотреть функционал индексов .

и т.д. и т.п.
1. Система будет гибридной, больше с уклоном в OLTP, чем в DSS
2. Партицирование таблиц - угу, обязательно.
3. Настройке ввода-вывода - конечно обсуждаем.
4. Объемы памяти - обсуждаем.
5. Серверные ОС - обсуждаем.
...
Рейтинг: 0 / 0
06.08.2004, 12:36
    #32638418
Сергей Тихонов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
Хотя нет: OLTP/DSS - 50/50
...
Рейтинг: 0 / 0
06.08.2004, 12:40
    #32638432
vadiminfo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
viper
дополнительные аспекты (стабильность серверных ОС

ОС для надежности всей системы в целом имеет значение. А про надежность первый пункт. Поэтому было бы интересно и про надежность ОС сервера БД.
У нас на фирме есть разные точки зрения про это. Поэтому скажите, пожалуйста, что думаете про ОС.
...
Рейтинг: 0 / 0
06.08.2004, 12:48
    #32638458
zass
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
Считаю, что Win 2000 SP4 или Win 2003 - подойдет.
Хотите круто - Linux. Но тогда вам необходимо владеть многими промежуточными программами типа Samba и т.д.
...
Рейтинг: 0 / 0
06.08.2004, 12:54
    #32638471
ASCRUS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
Ну до кучки в сравнению Sybase IQ, который вроде как не требует администрирования, хранит данные вертикально по полям, а не страничкам позаписно, держит БД в сжатом виде, довольно шустро подгружает данные с удаленных серверов и текстовых файлов, имеет в арсенале ASA-шный диалект WatcomSQL, который много чего умеет и поддерживает кучу всяких специализированных индексов. Так как он изначально ведет себя как полноценная РСУБД (кстати он версионник), то с ним может работать любой инструмент. Основная его задача - это аналитика, как OLTP его использовать нельзя (слишком медленно будут идти операции изменения данных), основное его предназначение - периодически закачивать большие обьемы данных и за максимально короткое время производить выборки. Специальных знаний особо не требуется, так как снаружи это обычный РСУБД с 2 диалектами: WatcomSQL (чем то похож на PL/SQL) и TSQL (совместим с MSSQL и Sybase ASE). Ограничений на кол-во колонок и записей в таблицах особо нет, из за того, что способ физического хранения данных заточен под такие задачи. По словам Sybase-совцев у них вроде как в Монреале успешно крутиться на IQ БД на 26 террабайт (в расжатом виде данные занимают порядка 45 террабайт), однако это любой конкурент может заявить то же самое. Насколько я знаю IQ неплохо крутиться на Украине в банках (по моему и в Первом национальном, я плохо знаю название их банков). В России то же есть успешные внедрения, однако информацией где они были я не располагаю, это наверное нужно спрашивать у Sybase CIS .

P.S. Чуть чуть характеристик по Sybase IQ можно посмотреть в этом документе. В нем правда не сколько рассматривается отдельно IQ, а сравниваются между собой все СУБД от Sybase, но кое какая там информация есть.
...
Рейтинг: 0 / 0
06.08.2004, 13:02
    #32638483
EugeneS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
Сергей ТихоновХотя нет: OLTP/DSS - 50/50

Оп ля!
Ну если так и все это будет крутиться на одной железке, то того возникает вопрос "Управления ресурсами СУБД".
Для чего имеется Resource Manager в СУБД Oracle.

Пока из-того, что я знаю о конкурентах такой функциональности нет.
Хотя конечно возможен вариант разнесения БД но тогда остро встает вопрос подержания адекватности данных во второй СУБД.
Конечно это сильно связано с условиями задачи, но такое может иметь место.
...
Рейтинг: 0 / 0
06.08.2004, 13:05
    #32638493
Ggg_old
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
...Итак, условия задачи следующие: нужно построить VLDB. Объем - терабайты.
Кто чего думает? В принципе вариантов два:
MSSQL
Oracle
...
есть две отправные точки.
1. Самая важная- сколько дают денег? (ведь вы же терабайты не на пиратской БД будете разворачивать).
2. Какой объем данных из терабайтов будет активно использоваться в транзакциях?
По п.2.
Есть эмпирическое правило: рекомендумый объем кэша как минимум 5-10% от объма "активных" данных. Если нужный объем ОЗУ переползает за 3Гб, то вам нужна 64бит ОС. Если это так, то вам дорога в ORACLE, SYBASE, DB2, INFORMIX на Solaris, AIX, и.т.п. Если нет, то включаем в рассмотрение MSSQL на Windows.
Вариант 64bit Windows+64bit MSSQL/Sybase/DB2 лично я бы еще пару тройку лет не рассматривал бы (технология должна "осесть", отладится, ведь вы же не хотите хранить терабайты на относительно "незрелой" системе).
ПРисоединяюсь к мнению о том, что для больших БД нужны такие фичи
как: партиционирование таблиц, именованные кэши для таблиц и индексов, возможность управлять ресурсами под IO, блокировки, кэши процедур, стратегией эскалации блокировок и пр. и др.
...
Рейтинг: 0 / 0
06.08.2004, 13:08
    #32638506
Yo!
Yo!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
авторХотя конечно возможен вариант разнесения БД но тогда остро встает вопрос подержания адекватности данных во второй СУБД.

для терабайтной субд имхо это практически не реально.

гибридная система на блокировочнике mssql не реально, тут DSS будет мешать OLPT задаче или грязное чтение ...

авторХотите круто - Linux. Но тогда вам необходимо владеть многими промежуточными программами типа Samba и т.д.

да без самбы ораклу никак :) еще прокси и квак, тоже очень полезны.
...
Рейтинг: 0 / 0
06.08.2004, 13:13
    #32638519
_Dog
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
Kesariu - kesarevo. Esli govorit o VLDB, to OLTP/DSS v odnom ne vsegda optimalno. Deneg budet stoit ocen' mnogo.

DSS - Sybase IQ. Dlia menia pocti odnoznachno.

OLTP+DSS v odnom flakone... Terradata. No budet stoit stolko, skolko stoili by 2-3 sistemy tipa: Sybase ASE+IQ ili Oracle+IQ ili MS+IQ.
...
Рейтинг: 0 / 0
06.08.2004, 13:21
    #32638549
_Dog
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
Yo!ну как бы с mssql действительно тяжело сравнивать - у него нет значительной часть фич для VLDB. тут соревнуются db2, terradata & oracle
крупнейшие можно посмотреть сдесь:
http://www.wintercorp.com/vldb/2003_TopTen_Survey/TopTenWinners.asp

ЗЫ. а ос зависит от железа, ораклу по большому счету все равно что за ось.

O Winter'e :
"Sybase IQ won Grand Prize in Windows category comScore #1, #2, #3 largest data warehouses

Sybase IQ won 22 out of 80 awards in Decision Support Systems (DSS) categories – on UNIX & Windows.
More wins than Teradata, DB2, Oracle & Microsoft

Sybase IQ won over Teradata in every category – except the “obesity contest”
Real-world customers need efficiency, not obesity"

O VLDB: 155TB dumaju hvatit? 1 Trillion rows representing 155TB of input(raw) data was loaded in IQ on Solaris platform.

This DW is 15x larger than AMEX DW, 10x larger than Nielsen DW, 15x larger than Teradata at SBC, 3x larger than Teradata at Walmart and is ~15x larger than the largest TPC-H (10TB).

IQ compressed 155TB of input data in 55TB of storage: competition would need 400-1,000TB of storage. Storage savings alone are $30M-$100M.

I eche: http://www.sybase.ru/Syb/corporate/events/iq_30-03-2004.htm
--------------------------
Sorry za takuju kirillicu :)
...
Рейтинг: 0 / 0
06.08.2004, 13:26
    #32638566
Yo!
Yo!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
так Sybase IQ бесполезен в гибридной системе, только в DSS. значит к нему нужет ну допустим mssql для OLPT. представляете скока железа надо для двух терабайтный субд ... + данные синхронизировать а это ж небойсь гигабайты. сложно и не понятно зачем если можно эфективно решать задачу на одном сервере.
...
Рейтинг: 0 / 0
06.08.2004, 13:46
    #32638618
EugeneS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
_Dog
O Winter'e :
"Sybase IQ won Grand Prize in Windows category comScore #1, #2, #3 largest data warehouses

Sybase IQ won 22 out of 80 awards in Decision Support Systems (DSS) categories – on UNIX & Windows.
More wins than Teradata, DB2, Oracle & Microsoft

Sybase IQ won over Teradata in every category – except the “obesity contest”
Real-world customers need efficiency, not obesity"

O VLDB: 155TB dumaju hvatit? 1 Trillion rows representing 155TB of input(raw) data was loaded in IQ on Solaris platform.

This DW is 15x larger than AMEX DW, 10x larger than Nielsen DW, 15x larger than Teradata at SBC, 3x larger than Teradata at Walmart and is ~15x larger than the largest TPC-H (10TB).

IQ compressed 155TB of input data in 55TB of storage: competition would need 400-1,000TB of storage. Storage savings alone are $30M-$100M.

Производитель СУБД может рассказывать, что хочет ( у него цель продать продукт ) - нужны доказательства.



Остается только найти подтверждение ваших мыслей на
http://www.tpc.org/tpch/results/tpch_perf_results.asp?resulttype=noncluster&version=2%&currencyID=0

И что мы там видим?
На объемах свыше терабайта только MSSQL и Oracle и то на чистом DSS.

А что будет когда 50:50 DSS/OLTP ?
...
Рейтинг: 0 / 0
06.08.2004, 13:56
    #32638650
_Dog
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
1. V takoj sheme, mozet otpast trebovanie imet terabaity v OLTP.
2. IQ pozvoliaet s'ekonomit na zeleze stolko i supporte, cto v nekotorych slucajach delaet MSSQL/Oracle dlia OLTP 'besplatnym'.
VLDB dlia OLTP/DSS v odnom flakone mozet stoit dopustim 1-2-3-4M$. OLTP+DW: OLTP- 0.2-0.5M$ plius DW - 0.5-1M$ = 1-1.5M$.
Da i ne slysal, chtoby naprimer Terradau , libo voobce warehouse delali vmeste (na tom ze zeleze) cto i OLTP.
Naprimer: http://www.sybase.com/detail?id=1027607
...
Рейтинг: 0 / 0
06.08.2004, 13:59
    #32638659
vadiminfo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проект построения большой БД - давайте пообсуждаем
EugeneS
http://www.tpc.org/tpch/results/tpch_perf_results.asp?resulttype=noncluster&version=2%¤cyID=0

Вы не в курсе почему Оракла нет в 10 меньше 1000Гб? Он не участвовал? Или участвовали не лучшие проекты? Наверное последнее.
...
Рейтинг: 0 / 0
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Проект построения большой БД - давайте пообсуждаем / 25 сообщений из 307, страница 1 из 13
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]