powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Надежность PostgreSQL
20 сообщений из 20, страница 1 из 1
Надежность PostgreSQL
    #34321103
Dmitry Zhukov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день всем!
Мне бы хотелось узнать Ваши мнения по поводу надежности PostgreSQL.
Задача примерно такая, имеется сайт с большим кол-вом пользователей в сутки, ну, например, 1000000. Пользователи могут на свои аккаунты перечислять финансовые средства, например, через PayPal и производить некоторые операции со средствами, например, оплачивать услуги сайта.
Вопрос в том, на сколько надежен Postgre для работы в таких условиях, т.е. можно ли хранить такой объем данных, какова будет производительность (по сравнению с MySQL или MaxDB или другими бесплатнымы БД), а самое главное - надежно ли хранить данные о финансовых операциях, или лучше для таких целей посмотреть в сторону коммерческих БД, например, Oracle.

Заранее благодарю всех за ответы.
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34321215
Jelis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dmitry ZhukovДобрый день всем!
Мне бы хотелось узнать Ваши мнения по поводу надежности PostgreSQL.
Задача примерно такая, имеется сайт с большим кол-вом пользователей в сутки, ну, например, 1000000. Пользователи могут на свои аккаунты перечислять финансовые средства, например, через PayPal и производить некоторые операции со средствами, например, оплачивать услуги сайта.
Вопрос в том, на сколько надежен Postgre для работы в таких условиях, т.е. можно ли хранить такой объем данных, какова будет производительность (по сравнению с MySQL или MaxDB или другими бесплатнымы БД), а самое главное - надежно ли хранить данные о финансовых операциях, или лучше для таких целей посмотреть в сторону коммерческих БД, например, Oracle.

Заранее благодарю всех за ответы.

Вполне надежен. Имхо, тут все дело упираеться в железо. Если у вас каждый час будет сервер падать по питанию, например, а через месяц умрет единственный хард - то тут ни какой оракл не поможет! Так что хорошее серверное железо, мощный упс, райд, регулярные бекапы, и можно в сторону кластера (БД) посмотреть, ну ко всему к этому адекватный админ. Короче, работаете с деньгами, так и вкладывайте их сначала :-) (Хотя, если деньги вкладывают - то вопросов обычно не возникает, нужен ли оракл, или можно его мускулом заменить).
Непосредственно про надежность постгреса - у меня далеко не самый обширный опыт работы с ним, но за 4 года, данные по вине постгреса не терялись. Даже намека не было :-)
А нагрузку постгрес держит лучше чем мускул. Судя по тестам.... Хотя я тестам не верю - все от приложения зависит (от программистов)! А рафинированные запросы ... они и есть рафинированные :-) По моемму опыту, если вы уперлись в производетельность БД, то сменой СУБД делу не поможеш - кривые запросы и ущербная архитектура приложения не будет работать ни где!
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34321263
> Пользователи могут на свои аккаунты перечислять финансовые средства,
> например, через PayPal и производить некоторые операции со средствами,
> например, оплачивать услуги сайта.

Странная задача. Вы хотите сервис запустить или просто PostgreSQL попользовать? Выбор компонентов программно-аппаратного комплекса определяется требованиями к этому комплексу. Надежность, производительность, масштабируемость, стоимость обслуживания и пр. Вы хотите начать выбор компонентов с конца. Так не бывает.
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34321395
Dmitry Zhukov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Jelis Dmitry ZhukovДобрый день всем!
Мне бы хотелось узнать Ваши мнения по поводу надежности PostgreSQL.
Задача примерно такая, имеется сайт с большим кол-вом пользователей в сутки, ну, например, 1000000. Пользователи могут на свои аккаунты перечислять финансовые средства, например, через PayPal и производить некоторые операции со средствами, например, оплачивать услуги сайта.
Вопрос в том, на сколько надежен Postgre для работы в таких условиях, т.е. можно ли хранить такой объем данных, какова будет производительность (по сравнению с MySQL или MaxDB или другими бесплатнымы БД), а самое главное - надежно ли хранить данные о финансовых операциях, или лучше для таких целей посмотреть в сторону коммерческих БД, например, Oracle.

Заранее благодарю всех за ответы.

Вполне надежен. Имхо, тут все дело упираеться в железо. Если у вас каждый час будет сервер падать по питанию, например, а через месяц умрет единственный хард - то тут ни какой оракл не поможет! Так что хорошее серверное железо, мощный упс, райд, регулярные бекапы, и можно в сторону кластера (БД) посмотреть, ну ко всему к этому адекватный админ. Короче, работаете с деньгами, так и вкладывайте их сначала :-) (Хотя, если деньги вкладывают - то вопросов обычно не возникает, нужен ли оракл, или можно его мускулом заменить).
Непосредственно про надежность постгреса - у меня далеко не самый обширный опыт работы с ним, но за 4 года, данные по вине постгреса не терялись. Даже намека не было :-)
А нагрузку постгрес держит лучше чем мускул. Судя по тестам.... Хотя я тестам не верю - все от приложения зависит (от программистов)! А рафинированные запросы ... они и есть рафинированные :-) По моемму опыту, если вы уперлись в производетельность БД, то сменой СУБД делу не поможеш - кривые запросы и ущербная архитектура приложения не будет работать ни где!
ну деньги пока вкладывать не хочется, т.к. это просто идея, и не ясно, заработает она когда-либо или нет. А за то, что поделилсь опытом - спасибо! Ваша информация для меня почти бесценна :)
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34321402
Dmitry Zhukov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PostgreSQL начинающий>
Странная задача. Вы хотите сервис запустить или просто PostgreSQL попользовать? Выбор компонентов программно-аппаратного комплекса определяется требованиями к этому комплексу. Надежность, производительность, масштабируемость, стоимость обслуживания и пр. Вы хотите начать выбор компонентов с конца. Так не бывает.
Я хочу сделать сервис, мне нужны простые, мощные и надежные средства для этого.
Пока что выбрал Ruby (и Ruby on Rails) как технологию для создания сайта. Осталось выбрать БД и ОС (из Unix-овых).
Причем, сам имею дело по долгу службы с Oracle и PL/SQL. И поэтому присматриваюсь, можно ли найти достойную (во всех смыслах) замену дорого Oracle ПО с открытым кодом. Ну из MySQL и PostgreSQL ближе всего по производительности и надежности, а так же структурой организации к Oracle всех ближе PostgreSQL. Поэтому и спрашиваю про него. Хотя есть еще MaxDB от MySQL, но что это за зверек, пока что не знаю. Может кто знает? (В смысле его сравнение с PostgreSQL).
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34321449
> Пока что выбрал Ruby (и Ruby on Rails) как технологию для создания сайта.
> Осталось выбрать БД и ОС

Дмитрий, не обижайтесь, пожалуйста, но для меня результат очевиден; напрасно потратите время в лучшем случае.
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34321629
Dmitry Zhukov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PostgreSQL начинающий> Пока что выбрал Ruby (и Ruby on Rails) как технологию для создания сайта.
> Осталось выбрать БД и ОС

Дмитрий, не обижайтесь, пожалуйста, но для меня результат очевиден; напрасно потратите время в лучшем случае.

А не могли бы Вы более аргументированно объяснить свою мысль?
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34321894
> А не могли бы Вы более аргументированно объяснить свою мысль?

Миллион пользователей в день - это высоконагруженный ресурс. Посчитайте пиковое количество транзакций в секунду, допустимое время простоя и сформулируйте требования к серверу приложений, СУБД и hardware.

Я активно использую PostgreSQL, но для такого сервиса ни ROR, ни PostgreSQL использовать не стал бы. ROR хорошо подходит для прототипирования, но imho никак не для продакшн. Насколько кластер PostgreSQL готов к промышленной эксплуатации - сложно сказать, но эксперименты на себе я бы не ставил.
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34321937
Dmitry Zhukov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PostgreSQL начинающий> А не могли бы Вы более аргументированно объяснить свою мысль?

Миллион пользователей в день - это высоконагруженный ресурс. Посчитайте пиковое количество транзакций в секунду, допустимое время простоя и сформулируйте требования к серверу приложений, СУБД и hardware.

Я активно использую PostgreSQL, но для такого сервиса ни ROR, ни PostgreSQL использовать не стал бы. ROR хорошо подходит для прототипирования, но imho никак не для продакшн. Насколько кластер PostgreSQL готов к промышленной эксплуатации - сложно сказать, но эксперименты на себе я бы не ставил.

Спасибо за Ваше мнение, но тогда, возможно, Вы сможете подсказать, какую конфигурацию выбрать для решения столь не простой задачи. (Ведь работают же и Yandex, и MailRu, и Google).
Вопрос с железом остро не стоит, т.к. это относительно дешевый вопрос. А вот с технологиями все намного хуже.
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34322002
MBG
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MBG
Гость
Для решения задачи подойдут Постгрес, веб-сервер и движок на erlang, запущенные на кластере. Возможно, удастся обойтись линуксом с реал-тайм патчами на ядро. Учтите, что работа с финансами требует высокой надежности системы, с яндексом или гуглом сравнивать бессмысленно, им такой уровень надежности не нужен. Смотрите на ИТ-системы крупных банков или билинг сотовых компаний.
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34322010
> с технологиями все намного хуже

Я бы разбил задачу на три части. Первая: общая архитектура, включая требования к аппаратной части. На самом деле это не такая простая задача, как может показаться; возможно, проще будет сразу строить распределенное приложение (с учетом геотаргетинга, например). Критерий: прогнозируемая нагрузка + 50% (на стоимость глобально это не повлияет, но некоторый запас в случае успеха будет). Из ответа на первый вопрос будет следовать ответ на второй вопрос: масштабируемый сервер приложений (вариант: балансирование нагрузки для сервера приложений). Решения могут быть как аппаратные, так и программные. И из ответов на первые два вопроса сложатся требования к СУБД.

К сожалению, у меня не было задач такого масштаба, но imho мой примерный план был бы таким.

По поводу google: по-моему, общее описание архитектуры было на labs.google.com.
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34322035
Dmitry Zhukov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Чувствую, меня не очень понимают.
Я бы хотел построить этот сервис на ОС plan 9 (к стати, google работает на нечто подобном).
Опыта работы с этой ОС пока у меня крайне мало, но есть огромное желание и довольно много времени.
Если использовать ее, то вопросы с архитектурой железа в принципе отпадают сами собой (уж так хорошо эта система продумана).
На счет производительности ROR в связке с БД не знаю (если кто посоветует нечто лучшее и столь же простое для изучения и использования - ОГРОМНОЕ СПАСИБО!!!).
Только вот портировать Oracle на plan 9 не представляется возможным, т.к. нужно перекомпилить все программы в среде этой системы. Если кто с ней работал, может подскажет, какой софт для нее есть (в смысле БД).
Поэтому выбор падает на Postgre, как наиболее близкую по возможностям к Oracle. В банке, где я тружусь, используется тоже Oracle на Solaris. Веременем проверено, что он надежен.
Будет ли так же надежен Postgre в описаных жестких условиях - это и пытаюсь выяснить.
И как понял из обсуждения, то он будет вполне надежен.
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34322037
Dmitry Zhukov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PostgreSQL начинающий> с технологиями все намного хуже

Я бы разбил задачу на три части. Первая: общая архитектура, включая требования к аппаратной части. На самом деле это не такая простая задача, как может показаться; возможно, проще будет сразу строить распределенное приложение (с учетом геотаргетинга, например). Критерий: прогнозируемая нагрузка + 50% (на стоимость глобально это не повлияет, но некоторый запас в случае успеха будет). Из ответа на первый вопрос будет следовать ответ на второй вопрос: масштабируемый сервер приложений (вариант: балансирование нагрузки для сервера приложений). Решения могут быть как аппаратные, так и программные. И из ответов на первые два вопроса сложатся требования к СУБД.

К сожалению, у меня не было задач такого масштаба, но imho мой примерный план был бы таким.

По поводу google: по-моему, общее описание архитектуры было на labs.google.com.

Вы сказали, что ни ROR, ни Postgre использовать не стали бы. А что бы Вы использовали для такой задачи?
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34322142
> использовали для такой задачи?

Я бы не стал использовать экзотические операционные системы. Не уверен, что у Plan 9 все хорошо с технической поддержкой. Не уверен, что у Plan 9 все хорошо с драйверами (ни разу не встречал упоминание о Plan 9 у изготовителей серверов, контроллеров и пр.). Не уверен, что существуют поддерживаемые вендорами серверы приложений для Plan 9. Не уверен, что Plan 9 вообще не прекратит существование завтра.

В качестве операционной системы я бы рассматривал либо FC, либо CentOS, либо RHEL (в зависимости от бюджета и задач проекта). Сервер приложений - скорее всего JBoss. СУБД - также в зависимости от архитектуры, задач и бюджета проекта. Если бюджет позволяет - Oracle. Если нет... сложно сказать; возможно, начал бы с EnterpriseDB.
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34322407
235
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
235
Гость
Dmitry ZhukovЧувствую, меня не очень понимают.
Я бы хотел построить этот сервис на ОС plan 9 (к стати, google работает на нечто подобном).

нет, гугл работает на линукс - у них собственная файловая система для работы с блоками, и по сути в ядро вшита функциональность поддержки ихнего кластера. Слухи о plan9 на гугле пошли после того, как Роб Пайк ушел к ним на роботу, но этот миф уже пытались развенчать несколько раз.

Dmitry Zhukov
Опыта работы с этой ОС пока у меня крайне мало, но есть огромное желание и довольно много времени.

прекрасно - она поддерживает Xen и при желании возможно с ней играться и работать сколько угодно. Если из-под Xen в гостевом режиме, то и думать про драйвера не нужно особо.

если бы... а так жизнь сурова и поэтому нужно работать и я сижу на Debian.

Dmitry Zhukov
Если использовать ее, то вопросы с архитектурой железа в принципе отпадают сами собой (уж так хорошо эта система продумана).

миф. драйвера все равно надо. Или тогда уж железо под нее искать. Или немного попортировать самому.

Dmitry Zhukov
На счет производительности ROR в связке с БД не знаю (если кто посоветует нечто лучшее и столь же простое для изучения и использования - ОГРОМНОЕ СПАСИБО!!!).

стоит обратить внимание в таком случае на python - самое оно для всех применений. Postgres его встаивает как язык, на связке Postgres+Python стоит весь Skype из 8млн подключений одновременно.

Dmitry Zhukov
И как понял из обсуждения, то он будет вполне надежен.
вполне. чего бы не сказал полностью о руби (но даже он очень хорош по сравнению с пхп)
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34322502
.gc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.gc
Гость
1_000_000 млн. пользователей - цифра ни о чем.
К примеру (огрубленные цифры из практики), за сутки из N зарегистрированных пользователей сайт посещают ~ N/10, одновременно ~ N/50, при этом запросов к некешируемым страницам ~ N/200.

По RoR + PostgreSQL -- на страницах, где преобладают данные из БД, соотношение времени rendering/SQL ~ 2/1 (за исключением хитрозакрученных агрегатно-статистических), кроме того, в RoR (если не плясать с бубнами) сначала вся страница генерируется полностью, и уж потом она отдается клиенту :), так что и здесь может возникнуть сетевой затык массового обслуживания :)

И слегка оффтопный баянчик по широко используемой системе:
eBay Architecture Story
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34323656
Dmitry Zhukov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
235 Dmitry ZhukovЧувствую, меня не очень понимают.
Я бы хотел построить этот сервис на ОС plan 9 (к стати, google работает на нечто подобном).

нет, гугл работает на линукс - у них собственная файловая система для работы с блоками, и по сути в ядро вшита функциональность поддержки ихнего кластера. Слухи о plan9 на гугле пошли после того, как Роб Пайк ушел к ним на роботу, но этот миф уже пытались развенчать несколько раз.

Dmitry Zhukov
Опыта работы с этой ОС пока у меня крайне мало, но есть огромное желание и довольно много времени.

прекрасно - она поддерживает Xen и при желании возможно с ней играться и работать сколько угодно. Если из-под Xen в гостевом режиме, то и думать про драйвера не нужно особо.

если бы... а так жизнь сурова и поэтому нужно работать и я сижу на Debian.

Dmitry Zhukov
Если использовать ее, то вопросы с архитектурой железа в принципе отпадают сами собой (уж так хорошо эта система продумана).

миф. драйвера все равно надо. Или тогда уж железо под нее искать. Или немного попортировать самому.

Dmitry Zhukov
На счет производительности ROR в связке с БД не знаю (если кто посоветует нечто лучшее и столь же простое для изучения и использования - ОГРОМНОЕ СПАСИБО!!!).

стоит обратить внимание в таком случае на python - самое оно для всех применений. Postgres его встаивает как язык, на связке Postgres+Python стоит весь Skype из 8млн подключений одновременно.

Dmitry Zhukov
И как понял из обсуждения, то он будет вполне надежен.
вполне. чего бы не сказал полностью о руби (но даже он очень хорош по сравнению с пхп)

Спасибо за Ваше мнение, у меня к Вам просьба:
чувчтвую, Вы не плохо разбираетесь в делах Unix и internet-технологий.
Возможно ли задать Вам некоторые вопросы в личной беседе?
Если согласитесь, мой e-mail godima@gmail.com
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34325088
Jelis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dmitry Zhukov PostgreSQL начинающий>
Странная задача. Вы хотите сервис запустить или просто PostgreSQL попользовать? Выбор компонентов программно-аппаратного комплекса определяется требованиями к этому комплексу. Надежность, производительность, масштабируемость, стоимость обслуживания и пр. Вы хотите начать выбор компонентов с конца. Так не бывает.
Я хочу сделать сервис, мне нужны простые, мощные и надежные средства для этого.
Пока что выбрал Ruby (и Ruby on Rails) как технологию для создания сайта. Осталось выбрать БД и ОС (из Unix-овых).
Причем, сам имею дело по долгу службы с Oracle и PL/SQL. И поэтому присматриваюсь, можно ли найти достойную (во всех смыслах) замену дорого Oracle ПО с открытым кодом. Ну из MySQL и PostgreSQL ближе всего по производительности и надежности, а так же структурой организации к Oracle всех ближе PostgreSQL. Поэтому и спрашиваю про него. Хотя есть еще MaxDB от MySQL, но что это за зверек, пока что не знаю. Может кто знает? (В смысле его сравнение с PostgreSQL).

Почему бы тогда и не остановиться на оракле + соляра? Вроде бы оракл начального уровня не такой и дорогой, но зато маштабируемости будет куда как больше!
Кстати, миллион запросов в день, не так уж и много, это 10-20 запросов в секунду. Правда, совсем не понятно, что этот "запрос" в себя включает. Обычно чтобы сгенерировать одну страничку, делаеться зачастую несколько десятков sql запросов. Но все равно, это не такая уж и большая нагрузка, имхо. (большая, но до яху-скайпа-гугла-идажеяндекса дааалеко). Впрочем, все равно эти цифры (1.000.000) взяты с потолка, и надо больше думать не о том, как будет справляться, а о том, как можно будет увеличивать производительность (т.е. на сколько просто будет добавить новый сервер).
P.S. у яндекса, судя по http://stat.yandex.ru/ больше 100 миллионов хитов в день. И это один из самых посещаемых ресурсов рунета. Так что добиться миллиона хитов будет тяжело даже с маркетинговой точки зрения, а не с технической.
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34325214
Jelis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
.gc
И слегка оффтопный баянчик по широко используемой системе:
eBay Architecture Story

За баянчик спасиба, перед глазами он вроде уже проскакивал, но внимания я тогда на него не обоатил :-)
Очень интресная презентация (хоть и из серии - "смотрите как мы круты", но все равно позновательно)
Кстати, нарпашиваються интересные выводы (для Dmitry Zhukov)
1. Сразу о ТАКОМ даже и думать не стоит, а начинать надо с малого ("фряха + апач поставленные за выходные"). Все равно понимание что и как надо делать будет приходить с опытом, опыт с обемами, а обемы со временем (если повезет:-) )
2. Так же как законы ньютона не работают при световых скоростях, стандартные, отработанные и проверенные временем подходы (можно сказать классические) в построении ИС не подходят для таких больших систем. Чего только стоит отказ от поддержания ссылочной целостности средствами БД и перенесение этого в application teir!

Только чего-то я не понял (проглядел?) сколько ж у них сейчас реально железа используеться?
...
Рейтинг: 0 / 0
Надежность PostgreSQL
    #34325472
.gc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.gc
Гость
Еще баяны по масштабным системам

Jelis
Только чего-то я не понял (проглядел?) сколько ж у них сейчас реально железа используеться?

p.35More than 15,000 instances across eight physical data centers
...
Рейтинг: 0 / 0
20 сообщений из 20, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Надежность PostgreSQL
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]