Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
PostgreSQL и VLDB
|
|||
|---|---|---|---|
|
#18+
Доброго времени суток, уважаемые. Выбираю субд (open source) под довольно приличную базу. В основную таблицу будет загружаться ~ 1 млн записей в сутки Длина записи ~ 300 байт В общем получается ~ 30 млн. записей в месяц За год все это дело вырастет соответственно на ~ 100Гб (только сырых данных) В запросах планируются агрегаты по большим диапазонам строк :(( Потянет ли такую базу PostgreSQL c учетом партишионинга ? Или это утопия, и при таком диагнозе ни одна open source DB уже не поможет ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.05.2006, 12:21 |
|
||
|
PostgreSQL и VLDB
|
|||
|---|---|---|---|
|
#18+
Потянет. К выбору железа только надо подойти ответственно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.05.2006, 12:35 |
|
||
|
PostgreSQL и VLDB
|
|||
|---|---|---|---|
|
#18+
Есть какие-нибудь рекомендации по сайзингу железа под PostgreSQL ? Или рекомендация одна - чем больше тем лучше ? Понимаю что вопрос бедет несколько наивен, но какая примерно железка понадобится в моем случае, если будет ~ 30 - 50 юзеров, работающих с web-приложением (PHP), выполняющим ~ 80% статических (меняются только значения в предикатах) и ~ 20% ad hoc запросов ? Почитал немного про EnterpriseDB.... Может кто-нибудь прояснить отличия между EntDB и Postgre ? ну кроме того что первый за денежку (денежка в принципе приемлемая). Кто нибудь юзает эту EnterpriseDB на больших объемах ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.05.2006, 12:55 |
|
||
|
PostgreSQL и VLDB
|
|||
|---|---|---|---|
|
#18+
postgre_newbieЕсть какие-нибудь рекомендации по сайзингу железа под PostgreSQL ? Или рекомендация одна - чем больше тем лучше ? Понимаю что вопрос бедет несколько наивен, но какая примерно железка понадобится в моем случае, если будет ~ 30 - 50 юзеров, работающих с web-приложением (PHP), выполняющим ~ 80% статических (меняются только значения в предикатах) и ~ 20% ad hoc запросов ? Почитал немного про EnterpriseDB.... Может кто-нибудь прояснить отличия между EntDB и Postgre ? ну кроме того что первый за денежку (денежка в принципе приемлемая). Кто нибудь юзает эту EnterpriseDB на больших объемах ? Все нижесказанное - ИМХО. 1. Самое критичное - это дисковая и память. Дисковая - чем быстрее - тем лучше. Любит большие аппартаные RAID. Память - чем больше тем лучше, можно прикинуть из объемов которые должны перелопачиваться, но по "суровому минимуму" - никак не меньше 30МБ_на юзверя_*50_юзверей = 1.5Г + shared_mem = 2Г. Итого рекомендуемый объем ну никак не меньше 4-6Г. 2. Для такой нагрузки - винда плохая ОС. 3. По процам - Постгрес не любит HT, поэтому что-то многоголовое будет в самый раз. Вроде как разницы между Intell и AMD не замечено. 4. Самый лучший вариант - сваять тестовую систему как минимум для записи данных в БД (лимон записей в день в общем-то не шутка) и попробовать погонять на реальных запросах. Сам EnterpriseDB не юзаю, но на сколько я читал/понял это приблеженная к Ораклу версия PG. Имеет кучу доп. фич для повышения масштабируемости и расширябельности и похожести на Оракл, кроме того - это тех поддержка от по большому счету разработчиков PG. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.05.2006, 14:04 |
|
||
|
PostgreSQL и VLDB
|
|||
|---|---|---|---|
|
#18+
Еще подумал - если юзвери будут много выполнять SELECT count(*) FROM large_number_of_rows то нужно біть готовым к постоянным полным просмотрам - и соответсвенно тормозам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.05.2006, 14:10 |
|
||
|
PostgreSQL и VLDB
|
|||
|---|---|---|---|
|
#18+
авторВроде как разницы между Intell и AMD не замечено. Да ладно :-) Пока не вышли новые Intel процы, opteron-ы рвут xeon-ы как тузик грелку. Новые будут возможно шустрее, но вроде как выход серверных вариантов еще не скоро, так что ближайшие месяца 3-4 быстрее будут Opterons :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.05.2006, 14:32 |
|
||
|
PostgreSQL и VLDB
|
|||
|---|---|---|---|
|
#18+
Funny_Falcon авторВроде как разницы между Intell и AMD не замечено. Да ладно :-) Пока не вышли новые Intel процы, opteron-ы рвут xeon-ы как тузик грелку. Новые будут возможно шустрее, но вроде как выход серверных вариантов еще не скоро, так что ближайшие месяца 3-4 быстрее будут Opterons :-) Я не про это. Есть, например, ПО заточенное под intellовские процы, и работающее на них адназначна лучше. Делается - специальной компиляцией и ассемблерной оптимизацией. Вот в ПГ такого нет. :) А то, что AMD в принципе рулят - ну дык, ничего нового, еще бы с серверными матерями было попрощее - вообще хорошо было бы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.05.2006, 15:00 |
|
||
|
PostgreSQL и VLDB
|
|||
|---|---|---|---|
|
#18+
> еще бы с серверными матерями было попрощее - вообще хорошо было бы Просыпайтесь. Уже давно все очень хорошо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.05.2006, 15:20 |
|
||
|
PostgreSQL и VLDB
|
|||
|---|---|---|---|
|
#18+
> ~ 1 млн записей в сутки Нагрузка равномерная? > Потянет ли такую базу PostgreSQL c учетом партишионинга? Дело не в PostgreSQL, а в аппаратном конфиге. 100 Гб - это серьезный размер. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.05.2006, 15:31 |
|
||
|
PostgreSQL и VLDB
|
|||
|---|---|---|---|
|
#18+
PostgreSQL начинающий> еще бы с серверными матерями было попрощее - вообще хорошо было бы Просыпайтесь. Уже давно все очень хорошо. Это смотря где и как именно хорошо. Не далее как на прошлой неделе БЫЛА проблема купить толковую серверную мать в г. Киеве. В прайсах их небыло. Нашли на фирме которая занимается сборкой серверов. Естественно, что в Москве оно получше будет :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.05.2006, 15:49 |
|
||
|
PostgreSQL и VLDB
|
|||
|---|---|---|---|
|
#18+
> БЫЛА проблема купить толковую серверную мать в г. Киеве. ;))) Если сервера на коленках собирать - оно конечно. Насколько я знаю по отзывам ряда товарищей, проблем с SM в Киеве нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.05.2006, 16:59 |
|
||
|
PostgreSQL и VLDB
|
|||
|---|---|---|---|
|
#18+
Andrey Daeron 1. Самое критичное - это дисковая и память. Дисковая - чем быстрее - тем лучше. Любит большие аппартаные RAID. Память - чем больше тем лучше, можно прикинуть из объемов которые должны перелопачиваться, но по "суровому минимуму" - никак не меньше 30МБ_на юзверя_*50_юзверей = 1.5Г + shared_mem = 2Г. Итого рекомендуемый объем ну никак не меньше 4-6Г. на меньше 4-х я и не надеялся, повидимому не меньше 8-ми нужно будет... для начала Andrey Daeron 2. Для такой нагрузки - винда плохая ОС. тренировки пока на Win, в отладке под линукс будет Andrey Daeron 3. По процам - Постгрес не любит HT, поэтому что-то многоголовое будет в самый раз. Вроде как разницы между Intell и AMD не замечено. Ок. Будем смотреть в сторону оптеронов. Andrey Daeron 4. Самый лучший вариант - сваять тестовую систему как минимум для записи данных в БД (лимон записей в день в общем-то не шутка) и попробовать погонять на реальных запросах. записи будут вливаться батчем ночью, так что тут думаю проскочим. больше волнуют запросы, ну да ладно, тут только эксперименты дадут более менее четкое представление. кстати, как правильно запустить батч ? пытаюсь psql.exe -d testpg -f testpg.sql -U testuser -W testpass но PG постоянно спрашивает пароль где нокосячил ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.05.2006, 09:11 |
|
||
|
|

start [/forum/search_topic.php?author=zeroku&author_mode=last_posts&do_search=1]: |
0ms |
get settings: |
10ms |
get forum list: |
15ms |
get settings: |
9ms |
get forum list: |
19ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
41ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
61ms |
get tp. blocked users: |
2ms |
| others: | 660ms |
| total: | 838ms |

| 0 / 0 |
