Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
Всем привет. Итак, условия задачи следующие: нужно построить VLDB. Объем - терабайты. Кто чего думает? В принципе вариантов два: MSSQL Oracle Вот и давайте пообсуждаем плюсы и минусы каждого варианта ;-) . ЗЫ В случае c Oracle вопрос выбора ОС также открыт... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 11:38 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
а что db2? тоже, говорят, солидная система. а еше я про terradata что-то слышал... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 11:39 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
Народ, давайте обсуждать с аргументами: есть и слышал - не аргументы ;-) ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 11:42 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
Уважаемый Сергей. То что вы выносите на форум может иметь разные ответы. Мое мнение такое: как у кого и под что подточены руки. Я уже три года работаю с MS SQL Server - система очень нравится. Работает стабильно. Но что бы вы знали я ее "родил" с самого начала, вылизывал каждую табличку, триггер, референсы и т.д. Знаю несколько фирм, которые работаю на оракле. Кленут его на чем свет стоит, а когда я посмотрел их БД - плакать хочется... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 11:53 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
В родая я имел в виду БД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 11:54 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
ну как бы с mssql действительно тяжело сравнивать - у него нет значительной часть фич для VLDB. тут соревнуются db2, terradata & oracle крупнейшие можно посмотреть сдесь: http://www.wintercorp.com/vldb/2003_TopTen_Survey/TopTenWinners.asp ЗЫ. а ос зависит от железа, ораклу по большому счету все равно что за ось. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 11:56 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
> zass Для меня MSSQL - как первая любовь со всеми вытекающими... ;-) Но тем не менее, давайте подойдем к обсуждению с холодной головой. Я сформулирую еще ряд критериев. Помимо поддержки больших объемов данных СУБД должна: быть надежной быть распространенной и известной должна быть поддержка импорта/экспорта данных из/в другие СУБД на рынке труда должно существовать достаточное количество грамотных специалистов, способных администрировать и поддерживать эту СУБД эта СУБД должна поддерживаться ведущими разработчиками RAD-инструментов Пока что все... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 12:02 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
Terradata - лидер, а долго был вообще недосигаемым лидером в DSS и VLDB. - не распространенная и большинству известная - на российском рынке труда практически не существует достаточное количество грамотных специалистов, способных администрировать и поддерживать эту СУБД - эта СУБД должна не поддерживаться ведущими разработчиками RAD-инструментов ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 12:07 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
Сергей Тихонов> zass Но тем не менее, давайте подойдем к обсуждению с холодной головой. Я сформулирую еще ряд критериев. Помимо поддержки больших объемов данных СУБД должна: быть надежной быть распространенной и известной должна быть поддержка импорта/экспорта данных из/в другие СУБД на рынке труда должно существовать достаточное количество грамотных специалистов, способных администрировать и поддерживать эту СУБД эта СУБД должна поддерживаться ведущими разработчиками RAD-инструментов Пока что все... Я бы все же прошелся по функционалу необходимому для подержки больших объемов. Так же давайте определимся , что вы подразумеваете под VLDB кроме большого объема? То есть речь идет о OLTP cистеме или о DSS. После чего давайте сформулируем какие функциональные возможности необходимы для VLDB. Например: - Партицирование таблиц - Возможности конкретной СУБД по настройке ввода-вывода. - Возможности СУБД по подержанию больших объемов памяти и больших файлов. - Если речь идет о DSS системах , то например рассмотреть функционал индексов . и т.д. и т.п. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 12:11 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
Я еще добавлю, что по данной СУБД имеется очень много литературы и как админ легко подготовил себе нескольких замов. По надежности: веду 2-х часовой учет состояния БД, отслеживаю (программно) все ресурсы с среду БД. Но работа по автоматизации ведется и по сей день. Конца пока не видно. За все время работы БД ни разу не упала. А ее хотят поиметь сразу 55 человек. О распространенности и известности: оракл и MS SQL Server - самы распростаненные (можно посмотреть главную страничку www.sql.ru) Все остальное также очевидно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 12:12 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
Убедительных технических аргументов не приведу, но большинство (не скажу все), известных мне, больших баз (налоговая, ГАИ и т.д.) оракуловые (нк по крайней мере на Украине), возможно не последнюю роль играют такие аспекты как исторические традиции орг. структур, не желание/ не имениие возможности работать с виндовыми серверами и т.д. но факт остается фактом... В принципе нужно решить обсуждаем мы гипотетическую ситуацию (тоесть обсуждаем только тех. аспекты СУБД) или реальную где стоит учитывать дополнительные аспекты (стабильность серверных ОС, надежность инструментов разработчиков работающих с БД и прочее) Может я не в те ворота лезу... тогда поправте меня. _________________________________________________ Легче написать не правильную программу чем понять правильную (С) Alan Perlis ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 12:24 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
EugeneSЯ бы все же прошелся по функционалу необходимому для подержки больших объемов. Так же давайте определимся , что вы подразумеваете под VLDB кроме большого объема? То есть речь идет о OLTP cистеме или о DSS. После чего давайте сформулируем какие функциональные возможности необходимы для VLDB. Например: - Партицирование таблиц - Возможности конкретной СУБД по настройке ввода-вывода. - Возможности СУБД по подержанию больших объемов памяти и больших файлов. - Если речь идет о DSS системах , то например рассмотреть функционал индексов . и т.д. и т.п. 1. Система будет гибридной, больше с уклоном в OLTP, чем в DSS 2. Партицирование таблиц - угу, обязательно. 3. Настройке ввода-вывода - конечно обсуждаем. 4. Объемы памяти - обсуждаем. 5. Серверные ОС - обсуждаем. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 12:35 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
Хотя нет: OLTP/DSS - 50/50 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 12:36 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
viper дополнительные аспекты (стабильность серверных ОС ОС для надежности всей системы в целом имеет значение. А про надежность первый пункт. Поэтому было бы интересно и про надежность ОС сервера БД. У нас на фирме есть разные точки зрения про это. Поэтому скажите, пожалуйста, что думаете про ОС. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 12:40 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
Считаю, что Win 2000 SP4 или Win 2003 - подойдет. Хотите круто - Linux. Но тогда вам необходимо владеть многими промежуточными программами типа Samba и т.д. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 12:48 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
Ну до кучки в сравнению Sybase IQ, который вроде как не требует администрирования, хранит данные вертикально по полям, а не страничкам позаписно, держит БД в сжатом виде, довольно шустро подгружает данные с удаленных серверов и текстовых файлов, имеет в арсенале ASA-шный диалект WatcomSQL, который много чего умеет и поддерживает кучу всяких специализированных индексов. Так как он изначально ведет себя как полноценная РСУБД (кстати он версионник), то с ним может работать любой инструмент. Основная его задача - это аналитика, как OLTP его использовать нельзя (слишком медленно будут идти операции изменения данных), основное его предназначение - периодически закачивать большие обьемы данных и за максимально короткое время производить выборки. Специальных знаний особо не требуется, так как снаружи это обычный РСУБД с 2 диалектами: WatcomSQL (чем то похож на PL/SQL) и TSQL (совместим с MSSQL и Sybase ASE). Ограничений на кол-во колонок и записей в таблицах особо нет, из за того, что способ физического хранения данных заточен под такие задачи. По словам Sybase-совцев у них вроде как в Монреале успешно крутиться на IQ БД на 26 террабайт (в расжатом виде данные занимают порядка 45 террабайт), однако это любой конкурент может заявить то же самое. Насколько я знаю IQ неплохо крутиться на Украине в банках (по моему и в Первом национальном, я плохо знаю название их банков). В России то же есть успешные внедрения, однако информацией где они были я не располагаю, это наверное нужно спрашивать у Sybase CIS . P.S. Чуть чуть характеристик по Sybase IQ можно посмотреть в этом документе. В нем правда не сколько рассматривается отдельно IQ, а сравниваются между собой все СУБД от Sybase, но кое какая там информация есть. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 12:54 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
Сергей ТихоновХотя нет: OLTP/DSS - 50/50 Оп ля! Ну если так и все это будет крутиться на одной железке, то того возникает вопрос "Управления ресурсами СУБД". Для чего имеется Resource Manager в СУБД Oracle. Пока из-того, что я знаю о конкурентах такой функциональности нет. Хотя конечно возможен вариант разнесения БД но тогда остро встает вопрос подержания адекватности данных во второй СУБД. Конечно это сильно связано с условиями задачи, но такое может иметь место. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 13:02 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
...Итак, условия задачи следующие: нужно построить VLDB. Объем - терабайты. Кто чего думает? В принципе вариантов два: MSSQL Oracle ... есть две отправные точки. 1. Самая важная- сколько дают денег? (ведь вы же терабайты не на пиратской БД будете разворачивать). 2. Какой объем данных из терабайтов будет активно использоваться в транзакциях? По п.2. Есть эмпирическое правило: рекомендумый объем кэша как минимум 5-10% от объма "активных" данных. Если нужный объем ОЗУ переползает за 3Гб, то вам нужна 64бит ОС. Если это так, то вам дорога в ORACLE, SYBASE, DB2, INFORMIX на Solaris, AIX, и.т.п. Если нет, то включаем в рассмотрение MSSQL на Windows. Вариант 64bit Windows+64bit MSSQL/Sybase/DB2 лично я бы еще пару тройку лет не рассматривал бы (технология должна "осесть", отладится, ведь вы же не хотите хранить терабайты на относительно "незрелой" системе). ПРисоединяюсь к мнению о том, что для больших БД нужны такие фичи как: партиционирование таблиц, именованные кэши для таблиц и индексов, возможность управлять ресурсами под IO, блокировки, кэши процедур, стратегией эскалации блокировок и пр. и др. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 13:05 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
авторХотя конечно возможен вариант разнесения БД но тогда остро встает вопрос подержания адекватности данных во второй СУБД. для терабайтной субд имхо это практически не реально. гибридная система на блокировочнике mssql не реально, тут DSS будет мешать OLPT задаче или грязное чтение ... авторХотите круто - Linux. Но тогда вам необходимо владеть многими промежуточными программами типа Samba и т.д. да без самбы ораклу никак :) еще прокси и квак, тоже очень полезны. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 13:08 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
Kesariu - kesarevo. Esli govorit o VLDB, to OLTP/DSS v odnom ne vsegda optimalno. Deneg budet stoit ocen' mnogo. DSS - Sybase IQ. Dlia menia pocti odnoznachno. OLTP+DSS v odnom flakone... Terradata. No budet stoit stolko, skolko stoili by 2-3 sistemy tipa: Sybase ASE+IQ ili Oracle+IQ ili MS+IQ. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 13:13 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
Yo!ну как бы с mssql действительно тяжело сравнивать - у него нет значительной часть фич для VLDB. тут соревнуются db2, terradata & oracle крупнейшие можно посмотреть сдесь: http://www.wintercorp.com/vldb/2003_TopTen_Survey/TopTenWinners.asp ЗЫ. а ос зависит от железа, ораклу по большому счету все равно что за ось. O Winter'e : "Sybase IQ won Grand Prize in Windows category comScore #1, #2, #3 largest data warehouses Sybase IQ won 22 out of 80 awards in Decision Support Systems (DSS) categories – on UNIX & Windows. More wins than Teradata, DB2, Oracle & Microsoft Sybase IQ won over Teradata in every category – except the “obesity contest” Real-world customers need efficiency, not obesity" O VLDB: 155TB dumaju hvatit? 1 Trillion rows representing 155TB of input(raw) data was loaded in IQ on Solaris platform. This DW is 15x larger than AMEX DW, 10x larger than Nielsen DW, 15x larger than Teradata at SBC, 3x larger than Teradata at Walmart and is ~15x larger than the largest TPC-H (10TB). IQ compressed 155TB of input data in 55TB of storage: competition would need 400-1,000TB of storage. Storage savings alone are $30M-$100M. I eche: http://www.sybase.ru/Syb/corporate/events/iq_30-03-2004.htm -------------------------- Sorry za takuju kirillicu :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 13:21 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
так Sybase IQ бесполезен в гибридной системе, только в DSS. значит к нему нужет ну допустим mssql для OLPT. представляете скока железа надо для двух терабайтный субд ... + данные синхронизировать а это ж небойсь гигабайты. сложно и не понятно зачем если можно эфективно решать задачу на одном сервере. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 13:26 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
_Dog O Winter'e : "Sybase IQ won Grand Prize in Windows category comScore #1, #2, #3 largest data warehouses Sybase IQ won 22 out of 80 awards in Decision Support Systems (DSS) categories – on UNIX & Windows. More wins than Teradata, DB2, Oracle & Microsoft Sybase IQ won over Teradata in every category – except the “obesity contest” Real-world customers need efficiency, not obesity" O VLDB: 155TB dumaju hvatit? 1 Trillion rows representing 155TB of input(raw) data was loaded in IQ on Solaris platform. This DW is 15x larger than AMEX DW, 10x larger than Nielsen DW, 15x larger than Teradata at SBC, 3x larger than Teradata at Walmart and is ~15x larger than the largest TPC-H (10TB). IQ compressed 155TB of input data in 55TB of storage: competition would need 400-1,000TB of storage. Storage savings alone are $30M-$100M. Производитель СУБД может рассказывать, что хочет ( у него цель продать продукт ) - нужны доказательства. Остается только найти подтверждение ваших мыслей на http://www.tpc.org/tpch/results/tpch_perf_results.asp?resulttype=noncluster&version=2%¤cyID=0 И что мы там видим? На объемах свыше терабайта только MSSQL и Oracle и то на чистом DSS. А что будет когда 50:50 DSS/OLTP ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 13:46 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
1. V takoj sheme, mozet otpast trebovanie imet terabaity v OLTP. 2. IQ pozvoliaet s'ekonomit na zeleze stolko i supporte, cto v nekotorych slucajach delaet MSSQL/Oracle dlia OLTP 'besplatnym'. VLDB dlia OLTP/DSS v odnom flakone mozet stoit dopustim 1-2-3-4M$. OLTP+DW: OLTP- 0.2-0.5M$ plius DW - 0.5-1M$ = 1-1.5M$. Da i ne slysal, chtoby naprimer Terradau , libo voobce warehouse delali vmeste (na tom ze zeleze) cto i OLTP. Naprimer: http://www.sybase.com/detail?id=1027607 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 13:56 |
|
||
|
Проект построения большой БД - давайте пообсуждаем
|
|||
|---|---|---|---|
|
#18+
EugeneS http://www.tpc.org/tpch/results/tpch_perf_results.asp?resulttype=noncluster&version=2%¤cyID=0 Вы не в курсе почему Оракла нет в 10 меньше 1000Гб? Он не участвовал? Или участвовали не лучшие проекты? Наверное последнее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 13:59 |
|
||
|
|

start [/forum/topic.php?fid=35&msg=32638391&tid=1553923]: |
0ms |
get settings: |
7ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
27ms |
get topic data: |
9ms |
get forum data: |
3ms |
get page messages: |
78ms |
get tp. blocked users: |
2ms |
| others: | 168ms |
| total: | 314ms |

| 0 / 0 |
