ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Около 10 млрд записей это утопия?
28 сообщений из 28, показаны все 2 страниц
  все  
Около 10 млрд записей это утопия?
    #33673914
Divog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Divog
Гость
Если прикинуть... таблицу в которой каждая запись (всего 10 млрд) это так сказать некий объект.., поля - основные свойства. Свойства эти разных типов. Плюс ссылка на доп. таблицу в которой горизонтально хранятся остальные свойства.
Ну и соответсвенно все что можно делать с объектами будет делаться... преимущественно выборка нескольких объектов со свойствами.. массовых выборок, делитов или апдейтов не будет.
Одновременных клиентов штук 20.
Поток запросов... ну.. надеюсь что не большой... ну для примера пусть будет 100 в сек.

Это утопия ? :)

Оборудование стандартное.. ну там.. двухпроцовый Xeon.. гига 4-8 оперативки.
...
Рейтинг: 0 / 0
18.04.2006, 15:38
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33673934
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jimmy
Участник
1. Вопрос не совсем понятен
2. Если "утопия"="приемлемая производительность", то скорее всего это действительно утопия на таком железе. Для более адекватной оценки помогло бы хотя-бы упоминание о том, что за СУБД используется, какая подсистема хранения (основным узким местом здесь будут именно диски, при таких-то объемах), какая ОС используется, какие задачи решает система (OLTP, OLAP, reporting etc)
...
Рейтинг: 0 / 0
18.04.2006, 15:44
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33673937
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andron
Участник
Размер записи какой? Например возьмем 4 кб:

10 млрд записей х 4 кб 1 запись = почти 38 Терабайт (это только данные, без всякой там метаинформации, которая сопровождает их в СУБД).
Даже если размер записи 1 кб, тогда данных будет на 9 Терабайт плюс метаинформация.

У тебя есть столько дисков (стандартного оборудования) ? Если цифры взял с потолка, то неплохо посчитать сначала было бы.
...
Рейтинг: 0 / 0
18.04.2006, 15:45
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33673956
gardenman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
gardenman
Участник
DivogЕсли прикинуть... таблицу в которой каждая запись (всего 10 млрд) это так сказать некий объект.., поля - основные свойства. Свойства эти разных типов. Плюс ссылка на доп. таблицу в которой горизонтально хранятся остальные свойства.
Ну и соответсвенно все что можно делать с объектами будет делаться... преимущественно выборка нескольких объектов со свойствами.. массовых выборок, делитов или апдейтов не будет.
Одновременных клиентов штук 20.
Поток запросов... ну.. надеюсь что не большой... ну для примера пусть будет 100 в сек.

Это утопия ? :)

Оборудование стандартное.. ну там.. двухпроцовый Xeon.. гига 4-8 оперативки.

> массовых выборок, делитов или апдейтов не будет.
Системы всегда создаются для анализа. Поэтому агрегатные функции (аналитические тоже) так или иначе будут применяться.

Нужно научиться умножать. если миллиард записей, и примерно по килобайту на каждую, то получается всего лишь терабайт. В приличный сервак это все влезет. Но возникнут проблемы куда девать бэкап, куда девать архивные логи.
Такое ощущение что задачка не для простой писюковой платформы. Хотя если поставить 4 писюка, которые вы описали штуки и DB2 ESE DPF - то задача не очень крупная. Даже SAN не нужен.
...
Рейтинг: 0 / 0
18.04.2006, 15:51
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33673987
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andron
Участник
Он написал что записей 10 млрд. Кроме того не забывайте про метаинформацию, а также индексы. Итого размер таблицы будет раза в полтора выше.
Придется использовать явно не стандартное оборудование. Например что нибудь от ibm :)
...
Рейтинг: 0 / 0
18.04.2006, 15:59
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674009
gardenman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
gardenman
Участник
AndronОн написал что записей 10 млрд. Кроме того не забывайте про метаинформацию, а также индексы. Итого размер таблицы будет раза в полтора выше.
Придется использовать явно не стандартное оборудование. Например что нибудь от ibm :)
Ну пускай десять писюков поставит и DB2 с DPF - какраз по миллиарду на процессор. Все равно обработка в параллель идет. Лог на каждом узле - свой.
Память - своя. Блокировки - тоже свои. Справится. Индексы тоже - свои на каждом узле. А работать с таблицей будет все прозрачно.
...
Рейтинг: 0 / 0
18.04.2006, 16:05
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674019
Divog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Divog
Гость
to Jimmy
Я в разделе, где советуют СУБД для задачи :) Что значит сказать, какая СУБД? :) Эт вы мне скажите... будет ли это все работать на MySQL или надо DB2 :)

to Andron
Каких 4 кб? Вы что? Пару полей int, пару char-ов коротеньких. Все. Выходит до 50 байт данных точно. А то и 20.

to gardenmann
Нет :) Агрегатных функций совсем не будет... в худшем случае по нескольким сотням записей.



Задача не то чтобы из головы и не то, чтобы прям уж светит. У меня есть альтернативное решение того что мне необходимо... просто решил прикинуть какое будет более сложное.
...
Рейтинг: 0 / 0
18.04.2006, 16:09
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674099
pgres
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pgres
Участник
Divog Эт вы мне скажите... будет ли это все работать на MySQL или надо DB2 :)

to Andron
Каких 4 кб? Вы что? Пару полей int, пару char-ов коротеньких. Все. Выходит до 50 байт данных точно. А то и 20.


c MySQL это ты конечно съюморил.
тебе полюбому нужна субд с возможностью партишонинга таблиц

а так по объемам получается полтерабайта вполне справится твой сервак

датабейс Oracle, DB2, SQL Server 2005
...
Рейтинг: 0 / 0
18.04.2006, 16:38
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674162
Divog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Divog
Гость
to pgres
Хорошо, что юмор был понят :) А то читаю соседнюю ветку, смотрю тут у многих с ним туго :)

to Jimmy
Забыл добавить. Задачи - OLTP.
...
Рейтинг: 0 / 0
18.04.2006, 16:57
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674174
Divog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Divog
Гость
to pgres
Кстати, в MySQL "партишонинг" вот-вот обещает появиться. :)
...
Рейтинг: 0 / 0
18.04.2006, 17:02
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674193
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
я правильно понял что объектов будет 10e+9, т.е. в соседней таблице со св-ми будет 10e+10 ?
...
Рейтинг: 0 / 0
18.04.2006, 17:06
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674200
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
Привет, Divog!
Ты пишешь:

DivogD> Кстати, в MySQL "партишонинг" вот-вот обещает появиться. :)
И как все нововведения в MySQL, обещает быть "чуть-чуть" неполноценным...
Со временем, конечно, доведут до ума. Потом. Когда-нибудь. Наверное.

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
18.04.2006, 17:08
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674206
Alexey Rovdo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Rovdo
Гость
DB2, Oracle.
Подумайте о целесообразности использования объектных СУБД. Судя по вашей задаче здесь можно получить большие преимущества. Из известных мне ООСУБД с указанным объемом справится Versant.
...
Рейтинг: 0 / 0
18.04.2006, 17:10
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674209
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
DivogПоток запросов... ну.. надеюсь что не большой... ну для примера пусть будет 100 в сек.

И при скорости 100 инсертов/секунда, понадобится ~31 год чтобы наполнить табличку
...
Рейтинг: 0 / 0
18.04.2006, 17:11
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674223
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
тьфу ошибся в 10 раз, 317 лет.
...
Рейтинг: 0 / 0
18.04.2006, 17:14
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674230
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
Журавлев Денистьфу ошибся в 10 раз, 317 лет.блин 3 года
...
Рейтинг: 0 / 0
18.04.2006, 17:15
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674250
MGR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MGR
Участник
Журавлев Денис Журавлев Денистьфу ошибся в 10 раз, 317 лет.блин 3 года

Если чуть-чуть подождать, может быть дождемся вполне приемлемых 3х месяцев? :)
...
Рейтинг: 0 / 0
18.04.2006, 17:19
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674259
gardenman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
gardenman
Участник
Alexey RovdoDB2, Oracle.
Подумайте о целесообразности использования объектных СУБД. Судя по вашей задаче здесь можно получить большие преимущества. Из известных мне ООСУБД с указанным объемом справится Versant.
Можно подумать о целесообразности использования объектных расширений реляционных СУБД.
...
Рейтинг: 0 / 0
18.04.2006, 17:21
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674263
pgres
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pgres
Участник
Вобще то сначала неплохо задуматься а нужны ли все 10000000000 записей одновременно.
Может имеет смысл предусмотреть архивирование, какой нить Data Warehousing Interface, чтобы старые транзакции не мешали OLTP.

--
Кто - еще до сражения - побеждает предварительным расчетом , у того шансов много (Сунь Цзы)
...
Рейтинг: 0 / 0
18.04.2006, 17:22
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674275
jvv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jvv
Участник
Где же столько информации то нужно обрабатывать?
Неужели ещё один биллинг для мобильных телефонов собрались сделать? :))
...
Рейтинг: 0 / 0
18.04.2006, 17:24
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674297
Divog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Divog
Гость
to Журавлев Денис
автор правильно понял что объектов будет 10e+9, т.е. в соседней таблице со св-ми будет 10e+10 ?
Нет. Основные свойства (два-четыре) в этой таблице. В соседней лишь доп. свойства, которые будут у малого кол-ва "объектов".

И кто сказал, что заполнять начальными данными будут те самые "100 в секунду"?

to Мимопроходящий
Ну.. везде пролемы есть при внедрении чего-то нового. Но это тема другой ветки :)

to All.
В общем... всем спасибо за ответы... примерно во что это выливается я понял.. поэтому такое решение явно мне не подходит (знал что будет не просто, но чтобы "10 писюков", да "DB2 ESE DPF" , или SAN-ы какие.. чесслово, не ожидал :)

P.S.
Но сколько лет понадобится, все же заинтересовался ;)
...
Рейтинг: 0 / 0
18.04.2006, 17:30
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674373
jvv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jvv
Участник
Да что Вы раньше времени расстраиваетесь то?
Что то подобное на доступном железе делается на технологии InterSystems Http://www.intersystems.ru

В прошлом году мне пришлось разговаривать с разработчиками биллинга для мобильной связи.. вот они на продукте InterSystems соорудили эту систему
...
Рейтинг: 0 / 0
18.04.2006, 17:46
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33674552
shuklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
shuklin
Участник
Divog
Это утопия ? :)


Вовсе нет. Тут главное определить, какие запросы к этому делу надо выполнять. Очень может быть, что ОБД окажуться самое то. Учитывая 20 одновременных коннектов - моя пролетает. Так что поглядите в сторону GOODS, Versant, db4o, ...

А еще можно рассмотреть файловую систему в качестве БД. Там уже скорость работы будет ограничена DMA
...
Рейтинг: 0 / 0
18.04.2006, 18:42
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33675108
Joker_Ya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Joker_Ya
Участник
jvvДа что Вы раньше времени расстраиваетесь то?
Что то подобное на доступном железе делается на технологии InterSystems Http://www.intersystems.ru

В прошлом году мне пришлось разговаривать с разработчиками биллинга для мобильной связи.. вот они на продукте InterSystems соорудили эту систему

Естественно как же без рекламы InterSystems. Не секрет что в Каше данные хранятся в глобалах в виде текстовых строк. Это значительно увеличивает кол-во необходимого места для хранения данных по сравнению с другими СУБД. Пускай каждая запись имеет размер 1 кб. Тогда легко посчитать что объем базы будет = 10 000 000 000 кб = 9 765 625 мб = 9537 гб = 9,31 Тб. Это без учета индексов и прочей информации. Не морочте людям голову что данную задачу можно решить на обычном железе с использованием технологий InterSystems.
...
Рейтинг: 0 / 0
19.04.2006, 04:45
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33678401
Фотография mv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mv
Участник
"shuklin" <nospam@sql.ru>; сообщил/сообщила в новостях следующее:
news:2576622@sql.ru...
>
> Вовсе нет. Тут главное определить, какие запросы к этому делу надо
выполнять. Очень может быть, что ОБД окажуться самое то. Учитывая 20
одновременных коннектов - моя пролетает. Так что поглядите в сторону GOODS,
Versant, db4o, ...
>
db4o для 10 000 000 000 объектов?
ню-ню...

Учитывая, что макс. размер файла базы 256 Гб.
А уж с удаленными коннектами эта штука работает просто "замечательно": в
режиме "запись объект + подтверждение транзакции" - 10..100 раз в секунду.
В режиме "MySQL" (без явного управления транзакциями) - 10 000..100 000 раз
в сек. (есть системы - до 200 000).

Так что Шуклин шутит. К сожалению.

Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
20.04.2006, 10:44
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33678856
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexeyvg
Участник
DivogЭто утопия ? :)На tpc.org смотрим результаты для двухпроцессорных машин с MSSQL 2005, например, HP ProLiant BL25p

Объём базы - 424 гб, логов - 172 гб, прирост за 8 часов 140 гб

Записей - 2.5 млрд.

Транзакций/сек - 65000

Паралельно раб. пользователей - 52000

Конечно, дисковая система там быстрая, но ведь там не только чтения.
...
Рейтинг: 0 / 0
20.04.2006, 12:18
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33679412
jvv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jvv
Участник
Joker_Ya jvvДа что Вы раньше времени расстраиваетесь то?
Что то подобное на доступном железе делается на технологии InterSystems Http://www.intersystems.ru

В прошлом году мне пришлось разговаривать с разработчиками биллинга для мобильной связи.. вот они на продукте InterSystems соорудили эту систему

Естественно как же без рекламы InterSystems. Не секрет что в Каше данные хранятся в глобалах в виде текстовых строк. Это значительно увеличивает кол-во необходимого места для хранения данных по сравнению с другими СУБД. Пускай каждая запись имеет размер 1 кб. Тогда легко посчитать что объем базы будет = 10 000 000 000 кб = 9 765 625 мб = 9537 гб = 9,31 Тб. Это без учета индексов и прочей информации. Не морочте людям голову что данную задачу можно решить на обычном железе с использованием технологий InterSystems.


ДА ВЫ ЧЕГО?? ТОВАРИШЧ!!

Блин, ну надоело уже.. честное слово..
нифига не зная про М-систему, такой довод приводится..
в М данные хранятся в разреженных массивах.. и ваши расчёты могут быть верны только в том случае, когда ВСЕГДА, вовсе поля, вы будете писать данные. по их максимальной длине.

пипец какой то.. даже злость появляется.. разберитесь уже, что и как то..
или эта демагогия вам нужна для получения клиента?
А оно ему нужно?

повторю - надоели уже
...
Рейтинг: 0 / 0
20.04.2006, 14:27
| Ответить | Цитировать | Написать  
Около 10 млрд записей это утопия?
    #33679535
jvv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jvv
Участник
Вроде бы вот эти про биллинг для мобильников рассказывали
http://www.mobill.ru/csp/komta/index.csp?page=9

Или же вот здесь
http://www.asr.orel.ru/ там в разделе
"ПРЕЗЕНТАЦИЯ" http://www.asr.orel.ru/news/tenmillion.htm

есть такая строчка :
"Начисление всем абонентам повременка 1 286 093 109 (записей) 12 часов 25 мин"

там же есть сведения о железе.
...
Рейтинг: 0 / 0
20.04.2006, 15:01
| Ответить | Цитировать | Написать  
28 сообщений из 28, показаны все 2 страниц
  все  
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Около 10 млрд записей это утопия?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]