|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
Нужно по убыванию важности: - объемы до 16 ТБ - высокая надежность (транзакции и журналы транзакий и их различные уровни) - многофайловые базы и журналы транзакций - высокая скорость чтения/записи - noSQL (SQL не нужен, соединения таблиц не нужен, PL/SQL, PgPL/SQL и T-SQL не нужны) Какие СУБД наиболее подойдут? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2011, 20:23 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
надежностьНужно по убыванию важности: - объемы до 16 ТБ - высокая надежность (транзакции и журналы транзакий и их различные уровни) - многофайловые базы и журналы транзакций - высокая скорость чтения/записи - noSQL (SQL не нужен, соединения таблиц не нужен, PL/SQL, PgPL/SQL и T-SQL не нужны) Какие СУБД наиболее подойдут?Ну как вариант Oracle+TimesTen Cache ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2011, 21:07 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
Ext3. Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2011, 22:29 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovExt3. А какие там возможны уровни изоляции транзакций? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2011, 02:28 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
надежностьА какие там возможны уровни изоляции транзакций? Dirty Read. В noSQL больше и не бывает. Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2011, 10:46 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovнадежностьА какие там возможны уровни изоляции транзакций? Dirty Read. В noSQL больше и не бывает. Думаю, что документация по BDB тебя сильно удивит ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2011, 13:09 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovнадежностьА какие там возможны уровни изоляции транзакций? Dirty Read. В noSQL больше и не бывает. noSQL и noTransact все таки разные вещи. noSQL убирает только сложные выборки. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2011, 13:57 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
А что значит "высокая скорость чтения/записи"? Какие порядки? Какие операции? И какой уровень надежности интересует, для каких случаев (допустима ли потеря транзакции при сбое сервера, необходимо ли разнесение данных на разные датацентры или можно все в одном и т.п.)? Выборки - по первичному ключу только, да? P.S. И, наверно, раз уж речь о уровнях транзакции, то интересна не только надежность, сколько консистентность? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2011, 17:15 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
надежность, а я бы сразу спрашивал о бюджете ;) а то может это бесплатно нужно ;)) ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2011, 17:35 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
DPH3А что значит "высокая скорость чтения/записи"? Какие порядки? Какие операции? И какой уровень надежности интересует, для каких случаев (допустима ли потеря транзакции при сбое сервера, необходимо ли разнесение данных на разные датацентры или можно все в одном и т.п.)? Выборки - по первичному ключу только, да? P.S. И, наверно, раз уж речь о уровнях транзакции, то интересна не только надежность, сколько консистентность? Операции 70% чтение, 30% запись. Скорость от софта требуется чем больше тем лучше, исходя из того софта, что существует в природе :) Остальное будет добиваться до нужного уровня количеством дисков/размером массива. Потеря транзакции при сбое сервера не допустима. В принципе весь ACID интересует. Консистентность при записи в 2 и более таблиц так же необходима. Выборки только по PK. Очень редко фул сканы по значению других полей. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2011, 18:35 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
Alexander Ryndinнадежность, а я бы сразу спрашивал о бюджете ;) а то может это бесплатно нужно ;)) Если бесплатно то неплохо :) Если платно тоже вариант. Предложение о размере бюджета будет инициировано с нашей стороны. Вот тут ext3/4 предлагают :) У неё даже 3 уровня журналирования есть. Вроде как и транзакционность есть, но только 1 уровня. Желательно бы хотя бы уровни: Read Uncommited, Read Commited, Snapshot. А у Oracle+TimesTen Cache как с надежностью? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2011, 18:40 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
надежность, noSQL нужны в том числе для того, чтобы уйти от ограничений ACID. Там другие способы и принципы обеспечения надежности. noSQL СУБД бывают Key-value (Berkeley), иерархическиe (Cache, IMS), объектные... Нужно выбирать на вкус. А чтобы появился вкус - почитать матчасть и попробовать несколько. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2011, 18:54 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
надежностьОперации 70% чтение, 30% запись. Скорость от софта требуется чем больше тем лучше, исходя из того софта, что существует в природе :) Остальное будет добиваться до нужного уровня количеством дисков/размером массива. 1. Запись - insert/update? Какой размер БД? Какая задача-то? А то число диско не всегда спасает - зависит от задачи. Потеря транзакции при сбое сервера не допустима. Э, если транзакция еще не закоммичена - то в рамках ACID ее потеря не страшна. Если страшна,то задачу нужно решать не на уровне хранилища. Далее, что значит "недопустима"? Сколько девяток нужно, какая стоимость потери данных, сколько копий будете хранить, нужно ли переживать падение атомной бомбы в ДЦ и сколько времени после этого можно потратить на восстановление, где собираетесь ДЦ размещать (РФ или весь мир)? И сколько денег есть? В принципе весь ACID интересует. Консистентность при записи в 2 и более таблиц так же необходима. Хм, тогда, подозреваю, вам нужна промышленная реляционная БД. Собственно, вариантов вообще только два - или DB2 или Oracle. Ну, еще можно посмотреть на всякие хитрые иерархические системы типа IBM IMS (это если есть несколько лишних миллионов долларов). И стоимость решения - многие сотни тысяч долларов (а если так, то почему вы задаете вопросы в форуме, а не ищете специалиста с соответствующим опытом?) noSQL из популярных бесплатных тут точно не пройдет. Ну или вы слишком завышаете требования и все гораздо проще. И, да, почему обязательно noSQL? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2011, 19:12 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
DPH3И, да, почему обязательно noSQL? Возможно, аффтар просто ниасилил SQL... Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2011, 19:36 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
надежностьAlexander Ryndinнадежность, а я бы сразу спрашивал о бюджете ;) а то может это бесплатно нужно ;)) Если бесплатно то неплохо :) Если платно тоже вариант. Предложение о размере бюджета будет инициировано с нашей стороны. Вот тут ext3/4 предлагают :) У неё даже 3 уровня журналирования есть. Вроде как и транзакционность есть, но только 1 уровня. Желательно бы хотя бы уровни: Read Uncommited, Read Commited, Snapshot. А у Oracle+TimesTen Cache как с надежностью?С надежностью такого решения все нормально . Times Ten - это кэш, который обеспечивает производительность, а у СУБД Oracle, которая лежит внизу - никогда не было проблем с надежностью. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2011, 02:10 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
solidDB+DB2 Тоже хорошо будет. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2011, 07:12 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
Alexander Ryndin а у СУБД Oracle, которая лежит внизу - никогда не было проблем с надежностью. s/никогда/обычно на хорошем железе и при толковом админе/ ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2011, 07:46 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
2 Топикстартер В любой системе человек - слабое звено. О какой надежности можно говорить, если вы не определились с СУБД (у вас нет админа которому вы доверяете). Ну посоветуют вам продукт XXX от фирмы YYYY, уже внедренной в ZZZ, а ваш админ (новичок в XXX) поставит систему колом. И вы его можете хоть уволить хоть расстрелять, но новый админ тоже будет новичком в XXX. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2011, 09:40 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
DPH3И, да, почему обязательно noSQL? Не обязательно. Просто не нужен. Так же как не нужен прицеп к мерсу. Но если продадите его дешевле чем без прицепа, то куплю. SQL не нужен, но транзакции нужны. К слову одно с другим никак не связано. Админа по нужной технологии найдем. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2011, 16:42 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
DPH3Какая задача-то?Хрустальный шар показывает роботов писателей событий(aka датчики) и клиенты разбиратели с одним запросом - дай мне последние после прочитанного. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2011, 17:30 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
надежностьНе обязательно. Просто не нужен. Так же как не нужен прицеп к мерсу. Но если продадите его дешевле чем без прицепа, то куплю. SQL не нужен, но транзакции нужны. К слову одно с другим никак не связано. Ну, в теории, конечно, не связано - а вот на практике обычно связь есть. Админа по нужной технологии найдем. Тогда IBM DB2 UDB. И дальше смотреть по требованиям и выбирать лицензию. Но, вообще, без понимания, а какие нужны запросы и какой профиль нагрузки, любой совет - это гадание по кофейной гуще... ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2011, 18:31 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
надежностьОперации 70% чтение, 30% запись. Скорость от софта требуется чем больше тем лучше, исходя из того софта, что существует в природе :) Выборки только по PK. Очень редко фул сканы по значению других полей.В DB2 LUW 9.7 появились range index'ы - фактически, прямая адресация, как в key-value. Если РК числовой и его диапазон заранее известен - скорость будет максимально возможной для железа. Если использовать static SQL - overhead от SQL по сравнению с noSQL будет сремится к 0 (собственно разборки SQL'я на сервере и не будет). Если юзеров и денег немного, можно попробовать и на бесплатном DB2, вложившись в быстрые (PCIe ?) SSD под логи (пишутся синхронно) и м.б. под основные таблицы. М.б. и с "view" партиционированием. А если многа денег - то и с настоящим, что всегда успеется :) Я бы писателей, если их много, обрабатывал отдельным сервисом (типа примитивной трехзвенки). Инсерты пакетами записей заметно ускорят работу, если это возможно на Вашей задаче. надежностьОчень редко фул сканы по значению других полей.Fullscan по 16 Тб - это сильный ход. Может, не надо? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.06.2011, 10:12 |
|
Высокая надежность и noSQL
|
|||
---|---|---|---|
#18+
судя по вашим условиям, посмотрите http://en.wikipedia.org/wiki/Mnesia лично я дать отзыва не могу, но частенько в высоконогруженных проектах с большим параллелизмом используется платформа erlang, а mnesia как раз key-valued c поддержкой ACID. И при этом не наколеночная поделка, а делалась для нужд интерпрайзов. Purpose of Mnesia As with Erlang, Mnesia was developed by Ericsson for soft real-time distributed and high-availability computing work related to telecoms. It was not intended as a general office-based data processing DBMS, nor to replace SQL-based systems. Instead Mnesia exists to support Erlang, where DBMS-like persistence is required[2]. It has more in common with embeddable DBMS such as Berkeley DB than with a SQL database server. ... Transactions Erlang is a functional language. Mnesia builds on this to obtain ACID transaction support . ... |
|||
:
Нравится:
Не нравится:
|
|||
08.06.2011, 10:25 |
|
|
start [/forum/topic.php?fid=35&msg=37296252&tid=1552675]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
38ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
56ms |
get tp. blocked users: |
1ms |
others: | 240ms |
total: | 380ms |
0 / 0 |