ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / База данных для Linux. Сотни миллионов записей.
18 сообщений из 18, страница 1 из 1
База данных для Linux. Сотни миллионов записей.
    #35282363
reality
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
reality
Гость
Выбираю какую базу данных использовать. Предполагается, что количество записей будет более 100 миллионов , скорее всего в районе 500 миллионов, но точно не более 1 миллиарда. Структура базы очень простая, первая таблица ~ 10-50 миллионов записей, вторая ~100-500 миллионов записей. Между записями свзязь many-to-many.

Наиболее частый запрос - выбрать запись (либо набор записей не более чем 10к), либо из первой, либо из второй таблицы, и связанные с ней значения из второй.

Размер записи мал ~10 полей. Нагрузка также невелика, не более 100 запросов в секунду.

Пока склоняюсь в сторону PostgeSQL, но боюсь что может не справиться.
...
Рейтинг: 0 / 0
27.04.2008, 19:50
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35282415
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
структура простая, значит навороченость оптимизатора большой роли не сыграет и скорострельность будет упиратся в i/o. Postgres неплохой кандидат, но постгрес и другие опен соурс субд не умеют многоблочного чтения, что похоже на вашей задаче может сильно помочь. так что смотрите на платный оракл или db2 luw (100 запросов в секунду наверно не оставляет шансов бесплатной редакции db2 express-C)
...
Рейтинг: 0 / 0
27.04.2008, 20:41
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35282570
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
Гм, а что помешает Express C на таких объемах дать 100 запросов в секунду?
Я гонял ExpressC на весьма слабом сервере, пару сотен запросов в секунду без проблем для десятков млн. записей (больше не гонял, увы).

Тут скорее стоит думать о необходимости 24*7 и решать, что проще - купить за 6K$ лицензию с HADR для ExpressC или настраивать Postgress ручками (мне кажется, что купить будет дешевле - но это для каждого конкретного случая нужно решать).

Впрочем, все едино, нужно поставить всех кандидатов (благо ставится легко) и погонять даже на коробочных настройках. Или исходить из того, какой DBA доступнее :)
...
Рейтинг: 0 / 0
28.04.2008, 00:18
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35282589
reality
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
reality
Гость
500 миллионов - 1 миллиард - это цифра, которая вероятнее всего будет достигнута при работе приложения в течении довольно длительного времени. То есть прямо вот сразу держать такое количество записей задача не стоит, но предусмотреть такую ситуацию все таки надо. В начале количество записей будет измеряться десятками миллионов. Завтра буду ставить и тестировать DB2 Express-c.

Насколько я понимаю, в случае нехватки возможностей express-c версии, переход на полноценную выполняется элементарно?
...
Рейтинг: 0 / 0
28.04.2008, 01:08
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35283589
Favn
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Favn
Гость
100 запосов на чтение в секунду - для Express-C (на хорошем железе) совсем немного. Даже на запись - немного. Локальный коннект (напр, через сервер приложений на том же серевре) м.б. быстрее. Есть некоторые ускоряющие обработку хитрости, имеет смысл заглянуть в профильную конфу по соседству.
Ставить имеет смысл Express-C 9.5 и перед тестами прогнать на БД Configuration Advisor (из Control Center, несколько тыков мышом), выдав ему 100% ресурсов - с настройками по умолчанию DB2 скромничает :)
Если база большая и опыт в администрировании есть, можно попробовать Express-C 9.1.2 - ему доступно вдвое больше ресурсов.

На все до Enterprise переход тривиален. Можно сказать, что основные отличия между "младшими" версиями - в файле лицензии :)
...
Рейтинг: 0 / 0
28.04.2008, 14:32
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35283631
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VoDA
Участник
realityПока склоняюсь в сторону PostgeSQL, но боюсь что может не справиться.А вы не бойтесь, а сделайте тест.

Без реальной проверки ничего сказать нельзя. А сколько ориентировочно будут занимать места оперативные данные? Если не много (до 16 Гб), то можно попытаться за счет большого кэша держать все данные в памяти.


Но нужно проверять и тестировать
...
Рейтинг: 0 / 0
28.04.2008, 14:44
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35284259
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
realityМежду записями свзязь many-to-many.И сколько таких связей?
...
Рейтинг: 0 / 0
28.04.2008, 18:14
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35284275
Краем_уха_слышал
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Краем_уха_слышал
Гость
HBase
...
Рейтинг: 0 / 0
28.04.2008, 18:24
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35284868
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
DPH3Гм, а что помешает Express C на таких объемах дать 100 запросов в секунду?
ну, например ограничение в 2Gb RAM которые db2 express-c сумеет использовать. да и ограничение в пол процессора не скажется положительно на перформенс.
...
Рейтинг: 0 / 0
29.04.2008, 09:49
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35286175
ДжекНепотрошитель
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ДжекНепотрошитель
Участник
Кстати, а связочка many-to-many на таких объемах сколько будет записей тянуть, ориентировочно?
...
Рейтинг: 0 / 0
29.04.2008, 15:24
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35293063
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
Yo.! DPH3Гм, а что помешает Express C на таких объемах дать 100 запросов в секунду?
ну, например ограничение в 2Gb RAM которые db2 express-c сумеет использовать. да и ограничение в пол процессора не скажется положительно на перформенс.

Ну, у меня 200 запросов в секунду на паре млн. записей было на ноутбуке с одним ядром и 1 гигом памяти ;) Так что как-нибудь получится :)
...
Рейтинг: 0 / 0
04.05.2008, 21:51
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35581891
al-veliev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
al-veliev
Гость
realityВыбираю какую базу данных использовать. Предполагается, что количество записей будет более 100 миллионов , скорее всего в районе 500 миллионов, но точно не более 1 миллиарда. Структура базы очень простая, первая таблица ~ 10-50 миллионов записей, вторая ~100-500 миллионов записей. Между записями свзязь many-to-many.

Наиболее частый запрос - выбрать запись (либо набор записей не более чем 10к), либо из первой, либо из второй таблицы, и связанные с ней значения из второй.

Размер записи мал ~10 полей. Нагрузка также невелика, не более 100 запросов в секунду.

Пока склоняюсь в сторону PostgeSQL, но боюсь что может не справиться.

Используйте GT.M без сомнений!

На таком объёме я её вчера испытывал.
(Результат можете посмотреть на Google comp.lang.mumps
тема "I am afraid of own routine!")

Как CGI шлюз это просто супер. Исходники смогу Вам переслать по e-mail
...
Рейтинг: 0 / 0
08.10.2008, 00:42
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35582609
Mikle83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mikle83
Участник
попробуйте посмотреть в сторону хранилища данных Sybase IQ... Выборки будут оч. скоростными, а еще если и дерномализуете БД :)... но вот все остальное...
...
Рейтинг: 0 / 0
08.10.2008, 11:51
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35586614
Delphi_coder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Delphi_coder
Гость
Yo.!
ну, например ограничение в 2Gb RAM которые db2 express-c сумеет использовать. да и ограничение в пол процессора не скажется положительно на перформенс.

Разве не 4Gb?
...
Рейтинг: 0 / 0
09.10.2008, 19:22
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35588911
Фотография Абсолют
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Абсолют
Участник
Delphi_coder Yo.!
ну, например ограничение в 2Gb RAM которые db2 express-c сумеет использовать. да и ограничение в пол процессора не скажется положительно на перформенс.

Разве не 4Gb?
Неа.
Db2 одназначно! 200 запросов в секунду - легко.
...
Рейтинг: 0 / 0
10.10.2008, 18:41
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35590307
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
кстати, что-то я пропустил. ну две таблицы - ладно. ну связь много ко многим - ладно. но где третья таблица? которая эту m-m связь обеспечивает? :-)
...
Рейтинг: 0 / 0
13.10.2008, 00:15
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35591335
Favn
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Favn
Гость
Абсолют Delphi_coderРазве не 4Gb?
Неа.
Db2 одназначно! 200 запросов в секунду - легко.4Gb - у 9.1.2, но надо париться с настройками. 2Gb - у 9.5 с автоматическим администрированием. У нас 9.5 легко тянет и 400 в сек. + немного аналитики, причем нагрузка сервера никакая, т.е. явно может куда больше.
...
Рейтинг: 0 / 0
13.10.2008, 14:36
| Ответить | Цитировать | Написать  
База данных для Linux. Сотни миллионов записей.
    #35614481
Serik Akhmetov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Serik Akhmetov
Участник
PostgreSQL,
если правильно приготовить, отлично справляется с хранением астрономических данных
(т.е. БД астрономов, т.е. сотни миллионов)
...
Рейтинг: 0 / 0
24.10.2008, 13:43
| Ответить | Цитировать | Написать  
18 сообщений из 18, страница 1 из 1
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / База данных для Linux. Сотни миллионов записей.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=35286175&tid=1553034]:
 0ms
get settings:
 11ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 42ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 53ms
get tp. blocked users:
 1ms
others: 240ms
total:  378ms
созд. / загр.: 378ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]