Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Около 10 млрд записей это утопия? / 25 сообщений из 28, страница 1 из 2
  1  все
18.04.2006, 15:38
    #33673914
Divog
Divog
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
Если прикинуть... таблицу в которой каждая запись (всего 10 млрд) это так сказать некий объект.., поля - основные свойства. Свойства эти разных типов. Плюс ссылка на доп. таблицу в которой горизонтально хранятся остальные свойства.
Ну и соответсвенно все что можно делать с объектами будет делаться... преимущественно выборка нескольких объектов со свойствами.. массовых выборок, делитов или апдейтов не будет.
Одновременных клиентов штук 20.
Поток запросов... ну.. надеюсь что не большой... ну для примера пусть будет 100 в сек.

Это утопия ? :)

Оборудование стандартное.. ну там.. двухпроцовый Xeon.. гига 4-8 оперативки.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 15:44
    #33673934
Jimmy
Jimmy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
1. Вопрос не совсем понятен
2. Если "утопия"="приемлемая производительность", то скорее всего это действительно утопия на таком железе. Для более адекватной оценки помогло бы хотя-бы упоминание о том, что за СУБД используется, какая подсистема хранения (основным узким местом здесь будут именно диски, при таких-то объемах), какая ОС используется, какие задачи решает система (OLTP, OLAP, reporting etc)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 15:45
    #33673937
Andron
Andron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
Размер записи какой? Например возьмем 4 кб:

10 млрд записей х 4 кб 1 запись = почти 38 Терабайт (это только данные, без всякой там метаинформации, которая сопровождает их в СУБД).
Даже если размер записи 1 кб, тогда данных будет на 9 Терабайт плюс метаинформация.

У тебя есть столько дисков (стандартного оборудования) ? Если цифры взял с потолка, то неплохо посчитать сначала было бы.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 15:51
    #33673956
gardenman
gardenman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
DivogЕсли прикинуть... таблицу в которой каждая запись (всего 10 млрд) это так сказать некий объект.., поля - основные свойства. Свойства эти разных типов. Плюс ссылка на доп. таблицу в которой горизонтально хранятся остальные свойства.
Ну и соответсвенно все что можно делать с объектами будет делаться... преимущественно выборка нескольких объектов со свойствами.. массовых выборок, делитов или апдейтов не будет.
Одновременных клиентов штук 20.
Поток запросов... ну.. надеюсь что не большой... ну для примера пусть будет 100 в сек.

Это утопия ? :)

Оборудование стандартное.. ну там.. двухпроцовый Xeon.. гига 4-8 оперативки.

> массовых выборок, делитов или апдейтов не будет.
Системы всегда создаются для анализа. Поэтому агрегатные функции (аналитические тоже) так или иначе будут применяться.

Нужно научиться умножать. если миллиард записей, и примерно по килобайту на каждую, то получается всего лишь терабайт. В приличный сервак это все влезет. Но возникнут проблемы куда девать бэкап, куда девать архивные логи.
Такое ощущение что задачка не для простой писюковой платформы. Хотя если поставить 4 писюка, которые вы описали штуки и DB2 ESE DPF - то задача не очень крупная. Даже SAN не нужен.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 15:59
    #33673987
Andron
Andron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
Он написал что записей 10 млрд. Кроме того не забывайте про метаинформацию, а также индексы. Итого размер таблицы будет раза в полтора выше.
Придется использовать явно не стандартное оборудование. Например что нибудь от ibm :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 16:05
    #33674009
gardenman
gardenman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
AndronОн написал что записей 10 млрд. Кроме того не забывайте про метаинформацию, а также индексы. Итого размер таблицы будет раза в полтора выше.
Придется использовать явно не стандартное оборудование. Например что нибудь от ibm :)
Ну пускай десять писюков поставит и DB2 с DPF - какраз по миллиарду на процессор. Все равно обработка в параллель идет. Лог на каждом узле - свой.
Память - своя. Блокировки - тоже свои. Справится. Индексы тоже - свои на каждом узле. А работать с таблицей будет все прозрачно.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 16:09
    #33674019
Divog
Divog
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
to Jimmy
Я в разделе, где советуют СУБД для задачи :) Что значит сказать, какая СУБД? :) Эт вы мне скажите... будет ли это все работать на MySQL или надо DB2 :)

to Andron
Каких 4 кб? Вы что? Пару полей int, пару char-ов коротеньких. Все. Выходит до 50 байт данных точно. А то и 20.

to gardenmann
Нет :) Агрегатных функций совсем не будет... в худшем случае по нескольким сотням записей.



Задача не то чтобы из головы и не то, чтобы прям уж светит. У меня есть альтернативное решение того что мне необходимо... просто решил прикинуть какое будет более сложное.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 16:38
    #33674099
pgres
pgres
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
Divog Эт вы мне скажите... будет ли это все работать на MySQL или надо DB2 :)

to Andron
Каких 4 кб? Вы что? Пару полей int, пару char-ов коротеньких. Все. Выходит до 50 байт данных точно. А то и 20.


c MySQL это ты конечно съюморил.
тебе полюбому нужна субд с возможностью партишонинга таблиц

а так по объемам получается полтерабайта вполне справится твой сервак

датабейс Oracle, DB2, SQL Server 2005
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 16:57
    #33674162
Divog
Divog
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
to pgres
Хорошо, что юмор был понят :) А то читаю соседнюю ветку, смотрю тут у многих с ним туго :)

to Jimmy
Забыл добавить. Задачи - OLTP.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 17:02
    #33674174
Divog
Divog
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
to pgres
Кстати, в MySQL "партишонинг" вот-вот обещает появиться. :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 17:06
    #33674193
Журавлев Денис
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
я правильно понял что объектов будет 10e+9, т.е. в соседней таблице со св-ми будет 10e+10 ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 17:08
    #33674200
Мимопроходящий
Мимопроходящий
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
Привет, Divog!
Ты пишешь:

DivogD> Кстати, в MySQL "партишонинг" вот-вот обещает появиться. :)
И как все нововведения в MySQL, обещает быть "чуть-чуть" неполноценным...
Со временем, конечно, доведут до ума. Потом. Когда-нибудь. Наверное.

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 17:10
    #33674206
Alexey Rovdo
Alexey Rovdo
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
DB2, Oracle.
Подумайте о целесообразности использования объектных СУБД. Судя по вашей задаче здесь можно получить большие преимущества. Из известных мне ООСУБД с указанным объемом справится Versant.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 17:11
    #33674209
Журавлев Денис
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
DivogПоток запросов... ну.. надеюсь что не большой... ну для примера пусть будет 100 в сек.

И при скорости 100 инсертов/секунда, понадобится ~31 год чтобы наполнить табличку
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 17:14
    #33674223
Журавлев Денис
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
тьфу ошибся в 10 раз, 317 лет.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 17:15
    #33674230
Журавлев Денис
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
Журавлев Денистьфу ошибся в 10 раз, 317 лет.блин 3 года
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 17:19
    #33674250
MGR
MGR
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
Журавлев Денис Журавлев Денистьфу ошибся в 10 раз, 317 лет.блин 3 года

Если чуть-чуть подождать, может быть дождемся вполне приемлемых 3х месяцев? :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 17:21
    #33674259
gardenman
gardenman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
Alexey RovdoDB2, Oracle.
Подумайте о целесообразности использования объектных СУБД. Судя по вашей задаче здесь можно получить большие преимущества. Из известных мне ООСУБД с указанным объемом справится Versant.
Можно подумать о целесообразности использования объектных расширений реляционных СУБД.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 17:22
    #33674263
pgres
pgres
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
Вобще то сначала неплохо задуматься а нужны ли все 10000000000 записей одновременно.
Может имеет смысл предусмотреть архивирование, какой нить Data Warehousing Interface, чтобы старые транзакции не мешали OLTP.

--
Кто - еще до сражения - побеждает предварительным расчетом , у того шансов много (Сунь Цзы)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 17:24
    #33674275
jvv
jvv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
Где же столько информации то нужно обрабатывать?
Неужели ещё один биллинг для мобильных телефонов собрались сделать? :))
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 17:30
    #33674297
Divog
Divog
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
to Журавлев Денис
автор правильно понял что объектов будет 10e+9, т.е. в соседней таблице со св-ми будет 10e+10 ?
Нет. Основные свойства (два-четыре) в этой таблице. В соседней лишь доп. свойства, которые будут у малого кол-ва "объектов".

И кто сказал, что заполнять начальными данными будут те самые "100 в секунду"?

to Мимопроходящий
Ну.. везде пролемы есть при внедрении чего-то нового. Но это тема другой ветки :)

to All.
В общем... всем спасибо за ответы... примерно во что это выливается я понял.. поэтому такое решение явно мне не подходит (знал что будет не просто, но чтобы "10 писюков", да "DB2 ESE DPF" , или SAN-ы какие.. чесслово, не ожидал :)

P.S.
Но сколько лет понадобится, все же заинтересовался ;)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 17:46
    #33674373
jvv
jvv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
Да что Вы раньше времени расстраиваетесь то?
Что то подобное на доступном железе делается на технологии InterSystems Http://www.intersystems.ru

В прошлом году мне пришлось разговаривать с разработчиками биллинга для мобильной связи.. вот они на продукте InterSystems соорудили эту систему
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.04.2006, 18:42
    #33674552
shuklin
shuklin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
Divog
Это утопия ? :)


Вовсе нет. Тут главное определить, какие запросы к этому делу надо выполнять. Очень может быть, что ОБД окажуться самое то. Учитывая 20 одновременных коннектов - моя пролетает. Так что поглядите в сторону GOODS, Versant, db4o, ...

А еще можно рассмотреть файловую систему в качестве БД. Там уже скорость работы будет ограничена DMA
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.04.2006, 04:45
    #33675108
Joker_Ya
Joker_Ya
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
jvvДа что Вы раньше времени расстраиваетесь то?
Что то подобное на доступном железе делается на технологии InterSystems Http://www.intersystems.ru

В прошлом году мне пришлось разговаривать с разработчиками биллинга для мобильной связи.. вот они на продукте InterSystems соорудили эту систему

Естественно как же без рекламы InterSystems. Не секрет что в Каше данные хранятся в глобалах в виде текстовых строк. Это значительно увеличивает кол-во необходимого места для хранения данных по сравнению с другими СУБД. Пускай каждая запись имеет размер 1 кб. Тогда легко посчитать что объем базы будет = 10 000 000 000 кб = 9 765 625 мб = 9537 гб = 9,31 Тб. Это без учета индексов и прочей информации. Не морочте людям голову что данную задачу можно решить на обычном железе с использованием технологий InterSystems.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.04.2006, 10:44
    #33678401
mv
mv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Около 10 млрд записей это утопия?
"shuklin" <nospam@sql.ru>; сообщил/сообщила в новостях следующее:
news:2576622@sql.ru...
>
> Вовсе нет. Тут главное определить, какие запросы к этому делу надо
выполнять. Очень может быть, что ОБД окажуться самое то. Учитывая 20
одновременных коннектов - моя пролетает. Так что поглядите в сторону GOODS,
Versant, db4o, ...
>
db4o для 10 000 000 000 объектов?
ню-ню...

Учитывая, что макс. размер файла базы 256 Гб.
А уж с удаленными коннектами эта штука работает просто "замечательно": в
режиме "запись объект + подтверждение транзакции" - 10..100 раз в секунду.
В режиме "MySQL" (без явного управления транзакциями) - 10 000..100 000 раз
в сек. (есть системы - до 200 000).

Так что Шуклин шутит. К сожалению.

Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
  1  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Около 10 млрд записей это утопия? / 25 сообщений из 28, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]