Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
Добрый день всем! Мне бы хотелось узнать Ваши мнения по поводу надежности PostgreSQL. Задача примерно такая, имеется сайт с большим кол-вом пользователей в сутки, ну, например, 1000000. Пользователи могут на свои аккаунты перечислять финансовые средства, например, через PayPal и производить некоторые операции со средствами, например, оплачивать услуги сайта. Вопрос в том, на сколько надежен Postgre для работы в таких условиях, т.е. можно ли хранить такой объем данных, какова будет производительность (по сравнению с MySQL или MaxDB или другими бесплатнымы БД), а самое главное - надежно ли хранить данные о финансовых операциях, или лучше для таких целей посмотреть в сторону коммерческих БД, например, Oracle. Заранее благодарю всех за ответы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2007, 14:41 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
Dmitry ZhukovДобрый день всем! Мне бы хотелось узнать Ваши мнения по поводу надежности PostgreSQL. Задача примерно такая, имеется сайт с большим кол-вом пользователей в сутки, ну, например, 1000000. Пользователи могут на свои аккаунты перечислять финансовые средства, например, через PayPal и производить некоторые операции со средствами, например, оплачивать услуги сайта. Вопрос в том, на сколько надежен Postgre для работы в таких условиях, т.е. можно ли хранить такой объем данных, какова будет производительность (по сравнению с MySQL или MaxDB или другими бесплатнымы БД), а самое главное - надежно ли хранить данные о финансовых операциях, или лучше для таких целей посмотреть в сторону коммерческих БД, например, Oracle. Заранее благодарю всех за ответы. Вполне надежен. Имхо, тут все дело упираеться в железо. Если у вас каждый час будет сервер падать по питанию, например, а через месяц умрет единственный хард - то тут ни какой оракл не поможет! Так что хорошее серверное железо, мощный упс, райд, регулярные бекапы, и можно в сторону кластера (БД) посмотреть, ну ко всему к этому адекватный админ. Короче, работаете с деньгами, так и вкладывайте их сначала :-) (Хотя, если деньги вкладывают - то вопросов обычно не возникает, нужен ли оракл, или можно его мускулом заменить). Непосредственно про надежность постгреса - у меня далеко не самый обширный опыт работы с ним, но за 4 года, данные по вине постгреса не терялись. Даже намека не было :-) А нагрузку постгрес держит лучше чем мускул. Судя по тестам.... Хотя я тестам не верю - все от приложения зависит (от программистов)! А рафинированные запросы ... они и есть рафинированные :-) По моемму опыту, если вы уперлись в производетельность БД, то сменой СУБД делу не поможеш - кривые запросы и ущербная архитектура приложения не будет работать ни где! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2007, 17:15 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
> Пользователи могут на свои аккаунты перечислять финансовые средства, > например, через PayPal и производить некоторые операции со средствами, > например, оплачивать услуги сайта. Странная задача. Вы хотите сервис запустить или просто PostgreSQL попользовать? Выбор компонентов программно-аппаратного комплекса определяется требованиями к этому комплексу. Надежность, производительность, масштабируемость, стоимость обслуживания и пр. Вы хотите начать выбор компонентов с конца. Так не бывает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2007, 18:05 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
Jelis Dmitry ZhukovДобрый день всем! Мне бы хотелось узнать Ваши мнения по поводу надежности PostgreSQL. Задача примерно такая, имеется сайт с большим кол-вом пользователей в сутки, ну, например, 1000000. Пользователи могут на свои аккаунты перечислять финансовые средства, например, через PayPal и производить некоторые операции со средствами, например, оплачивать услуги сайта. Вопрос в том, на сколько надежен Postgre для работы в таких условиях, т.е. можно ли хранить такой объем данных, какова будет производительность (по сравнению с MySQL или MaxDB или другими бесплатнымы БД), а самое главное - надежно ли хранить данные о финансовых операциях, или лучше для таких целей посмотреть в сторону коммерческих БД, например, Oracle. Заранее благодарю всех за ответы. Вполне надежен. Имхо, тут все дело упираеться в железо. Если у вас каждый час будет сервер падать по питанию, например, а через месяц умрет единственный хард - то тут ни какой оракл не поможет! Так что хорошее серверное железо, мощный упс, райд, регулярные бекапы, и можно в сторону кластера (БД) посмотреть, ну ко всему к этому адекватный админ. Короче, работаете с деньгами, так и вкладывайте их сначала :-) (Хотя, если деньги вкладывают - то вопросов обычно не возникает, нужен ли оракл, или можно его мускулом заменить). Непосредственно про надежность постгреса - у меня далеко не самый обширный опыт работы с ним, но за 4 года, данные по вине постгреса не терялись. Даже намека не было :-) А нагрузку постгрес держит лучше чем мускул. Судя по тестам.... Хотя я тестам не верю - все от приложения зависит (от программистов)! А рафинированные запросы ... они и есть рафинированные :-) По моемму опыту, если вы уперлись в производетельность БД, то сменой СУБД делу не поможеш - кривые запросы и ущербная архитектура приложения не будет работать ни где! ну деньги пока вкладывать не хочется, т.к. это просто идея, и не ясно, заработает она когда-либо или нет. А за то, что поделилсь опытом - спасибо! Ваша информация для меня почти бесценна :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2007, 19:57 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
PostgreSQL начинающий> Странная задача. Вы хотите сервис запустить или просто PostgreSQL попользовать? Выбор компонентов программно-аппаратного комплекса определяется требованиями к этому комплексу. Надежность, производительность, масштабируемость, стоимость обслуживания и пр. Вы хотите начать выбор компонентов с конца. Так не бывает. Я хочу сделать сервис, мне нужны простые, мощные и надежные средства для этого. Пока что выбрал Ruby (и Ruby on Rails) как технологию для создания сайта. Осталось выбрать БД и ОС (из Unix-овых). Причем, сам имею дело по долгу службы с Oracle и PL/SQL. И поэтому присматриваюсь, можно ли найти достойную (во всех смыслах) замену дорого Oracle ПО с открытым кодом. Ну из MySQL и PostgreSQL ближе всего по производительности и надежности, а так же структурой организации к Oracle всех ближе PostgreSQL. Поэтому и спрашиваю про него. Хотя есть еще MaxDB от MySQL, но что это за зверек, пока что не знаю. Может кто знает? (В смысле его сравнение с PostgreSQL). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2007, 20:03 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
> Пока что выбрал Ruby (и Ruby on Rails) как технологию для создания сайта. > Осталось выбрать БД и ОС Дмитрий, не обижайтесь, пожалуйста, но для меня результат очевиден; напрасно потратите время в лучшем случае. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2007, 21:02 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
PostgreSQL начинающий> Пока что выбрал Ruby (и Ruby on Rails) как технологию для создания сайта. > Осталось выбрать БД и ОС Дмитрий, не обижайтесь, пожалуйста, но для меня результат очевиден; напрасно потратите время в лучшем случае. А не могли бы Вы более аргументированно объяснить свою мысль? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2007, 08:36 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
> А не могли бы Вы более аргументированно объяснить свою мысль? Миллион пользователей в день - это высоконагруженный ресурс. Посчитайте пиковое количество транзакций в секунду, допустимое время простоя и сформулируйте требования к серверу приложений, СУБД и hardware. Я активно использую PostgreSQL, но для такого сервиса ни ROR, ни PostgreSQL использовать не стал бы. ROR хорошо подходит для прототипирования, но imho никак не для продакшн. Насколько кластер PostgreSQL готов к промышленной эксплуатации - сложно сказать, но эксперименты на себе я бы не ставил. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2007, 15:19 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
PostgreSQL начинающий> А не могли бы Вы более аргументированно объяснить свою мысль? Миллион пользователей в день - это высоконагруженный ресурс. Посчитайте пиковое количество транзакций в секунду, допустимое время простоя и сформулируйте требования к серверу приложений, СУБД и hardware. Я активно использую PostgreSQL, но для такого сервиса ни ROR, ни PostgreSQL использовать не стал бы. ROR хорошо подходит для прототипирования, но imho никак не для продакшн. Насколько кластер PostgreSQL готов к промышленной эксплуатации - сложно сказать, но эксперименты на себе я бы не ставил. Спасибо за Ваше мнение, но тогда, возможно, Вы сможете подсказать, какую конфигурацию выбрать для решения столь не простой задачи. (Ведь работают же и Yandex, и MailRu, и Google). Вопрос с железом остро не стоит, т.к. это относительно дешевый вопрос. А вот с технологиями все намного хуже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2007, 16:14 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
Для решения задачи подойдут Постгрес, веб-сервер и движок на erlang, запущенные на кластере. Возможно, удастся обойтись линуксом с реал-тайм патчами на ядро. Учтите, что работа с финансами требует высокой надежности системы, с яндексом или гуглом сравнивать бессмысленно, им такой уровень надежности не нужен. Смотрите на ИТ-системы крупных банков или билинг сотовых компаний. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2007, 17:21 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
> с технологиями все намного хуже Я бы разбил задачу на три части. Первая: общая архитектура, включая требования к аппаратной части. На самом деле это не такая простая задача, как может показаться; возможно, проще будет сразу строить распределенное приложение (с учетом геотаргетинга, например). Критерий: прогнозируемая нагрузка + 50% (на стоимость глобально это не повлияет, но некоторый запас в случае успеха будет). Из ответа на первый вопрос будет следовать ответ на второй вопрос: масштабируемый сервер приложений (вариант: балансирование нагрузки для сервера приложений). Решения могут быть как аппаратные, так и программные. И из ответов на первые два вопроса сложатся требования к СУБД. К сожалению, у меня не было задач такого масштаба, но imho мой примерный план был бы таким. По поводу google: по-моему, общее описание архитектуры было на labs.google.com. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2007, 17:27 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
Чувствую, меня не очень понимают. Я бы хотел построить этот сервис на ОС plan 9 (к стати, google работает на нечто подобном). Опыта работы с этой ОС пока у меня крайне мало, но есть огромное желание и довольно много времени. Если использовать ее, то вопросы с архитектурой железа в принципе отпадают сами собой (уж так хорошо эта система продумана). На счет производительности ROR в связке с БД не знаю (если кто посоветует нечто лучшее и столь же простое для изучения и использования - ОГРОМНОЕ СПАСИБО!!!). Только вот портировать Oracle на plan 9 не представляется возможным, т.к. нужно перекомпилить все программы в среде этой системы. Если кто с ней работал, может подскажет, какой софт для нее есть (в смысле БД). Поэтому выбор падает на Postgre, как наиболее близкую по возможностям к Oracle. В банке, где я тружусь, используется тоже Oracle на Solaris. Веременем проверено, что он надежен. Будет ли так же надежен Postgre в описаных жестких условиях - это и пытаюсь выяснить. И как понял из обсуждения, то он будет вполне надежен. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2007, 17:54 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
PostgreSQL начинающий> с технологиями все намного хуже Я бы разбил задачу на три части. Первая: общая архитектура, включая требования к аппаратной части. На самом деле это не такая простая задача, как может показаться; возможно, проще будет сразу строить распределенное приложение (с учетом геотаргетинга, например). Критерий: прогнозируемая нагрузка + 50% (на стоимость глобально это не повлияет, но некоторый запас в случае успеха будет). Из ответа на первый вопрос будет следовать ответ на второй вопрос: масштабируемый сервер приложений (вариант: балансирование нагрузки для сервера приложений). Решения могут быть как аппаратные, так и программные. И из ответов на первые два вопроса сложатся требования к СУБД. К сожалению, у меня не было задач такого масштаба, но imho мой примерный план был бы таким. По поводу google: по-моему, общее описание архитектуры было на labs.google.com. Вы сказали, что ни ROR, ни Postgre использовать не стали бы. А что бы Вы использовали для такой задачи? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2007, 17:56 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
> использовали для такой задачи? Я бы не стал использовать экзотические операционные системы. Не уверен, что у Plan 9 все хорошо с технической поддержкой. Не уверен, что у Plan 9 все хорошо с драйверами (ни разу не встречал упоминание о Plan 9 у изготовителей серверов, контроллеров и пр.). Не уверен, что существуют поддерживаемые вендорами серверы приложений для Plan 9. Не уверен, что Plan 9 вообще не прекратит существование завтра. В качестве операционной системы я бы рассматривал либо FC, либо CentOS, либо RHEL (в зависимости от бюджета и задач проекта). Сервер приложений - скорее всего JBoss. СУБД - также в зависимости от архитектуры, задач и бюджета проекта. Если бюджет позволяет - Oracle. Если нет... сложно сказать; возможно, начал бы с EnterpriseDB. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2007, 19:26 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
Dmitry ZhukovЧувствую, меня не очень понимают. Я бы хотел построить этот сервис на ОС plan 9 (к стати, google работает на нечто подобном). нет, гугл работает на линукс - у них собственная файловая система для работы с блоками, и по сути в ядро вшита функциональность поддержки ихнего кластера. Слухи о plan9 на гугле пошли после того, как Роб Пайк ушел к ним на роботу, но этот миф уже пытались развенчать несколько раз. Dmitry Zhukov Опыта работы с этой ОС пока у меня крайне мало, но есть огромное желание и довольно много времени. прекрасно - она поддерживает Xen и при желании возможно с ней играться и работать сколько угодно. Если из-под Xen в гостевом режиме, то и думать про драйвера не нужно особо. если бы... а так жизнь сурова и поэтому нужно работать и я сижу на Debian. Dmitry Zhukov Если использовать ее, то вопросы с архитектурой железа в принципе отпадают сами собой (уж так хорошо эта система продумана). миф. драйвера все равно надо. Или тогда уж железо под нее искать. Или немного попортировать самому. Dmitry Zhukov На счет производительности ROR в связке с БД не знаю (если кто посоветует нечто лучшее и столь же простое для изучения и использования - ОГРОМНОЕ СПАСИБО!!!). стоит обратить внимание в таком случае на python - самое оно для всех применений. Postgres его встаивает как язык, на связке Postgres+Python стоит весь Skype из 8млн подключений одновременно. Dmitry Zhukov И как понял из обсуждения, то он будет вполне надежен. вполне. чего бы не сказал полностью о руби (но даже он очень хорош по сравнению с пхп) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2007, 22:59 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
1_000_000 млн. пользователей - цифра ни о чем. К примеру (огрубленные цифры из практики), за сутки из N зарегистрированных пользователей сайт посещают ~ N/10, одновременно ~ N/50, при этом запросов к некешируемым страницам ~ N/200. По RoR + PostgreSQL -- на страницах, где преобладают данные из БД, соотношение времени rendering/SQL ~ 2/1 (за исключением хитрозакрученных агрегатно-статистических), кроме того, в RoR (если не плясать с бубнами) сначала вся страница генерируется полностью, и уж потом она отдается клиенту :), так что и здесь может возникнуть сетевой затык массового обслуживания :) И слегка оффтопный баянчик по широко используемой системе: eBay Architecture Story ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.02.2007, 02:48 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
235 Dmitry ZhukovЧувствую, меня не очень понимают. Я бы хотел построить этот сервис на ОС plan 9 (к стати, google работает на нечто подобном). нет, гугл работает на линукс - у них собственная файловая система для работы с блоками, и по сути в ядро вшита функциональность поддержки ихнего кластера. Слухи о plan9 на гугле пошли после того, как Роб Пайк ушел к ним на роботу, но этот миф уже пытались развенчать несколько раз. Dmitry Zhukov Опыта работы с этой ОС пока у меня крайне мало, но есть огромное желание и довольно много времени. прекрасно - она поддерживает Xen и при желании возможно с ней играться и работать сколько угодно. Если из-под Xen в гостевом режиме, то и думать про драйвера не нужно особо. если бы... а так жизнь сурова и поэтому нужно работать и я сижу на Debian. Dmitry Zhukov Если использовать ее, то вопросы с архитектурой железа в принципе отпадают сами собой (уж так хорошо эта система продумана). миф. драйвера все равно надо. Или тогда уж железо под нее искать. Или немного попортировать самому. Dmitry Zhukov На счет производительности ROR в связке с БД не знаю (если кто посоветует нечто лучшее и столь же простое для изучения и использования - ОГРОМНОЕ СПАСИБО!!!). стоит обратить внимание в таком случае на python - самое оно для всех применений. Postgres его встаивает как язык, на связке Postgres+Python стоит весь Skype из 8млн подключений одновременно. Dmitry Zhukov И как понял из обсуждения, то он будет вполне надежен. вполне. чего бы не сказал полностью о руби (но даже он очень хорош по сравнению с пхп) Спасибо за Ваше мнение, у меня к Вам просьба: чувчтвую, Вы не плохо разбираетесь в делах Unix и internet-технологий. Возможно ли задать Вам некоторые вопросы в личной беседе? Если согласитесь, мой e-mail godima@gmail.com ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.02.2007, 13:23 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
Dmitry Zhukov PostgreSQL начинающий> Странная задача. Вы хотите сервис запустить или просто PostgreSQL попользовать? Выбор компонентов программно-аппаратного комплекса определяется требованиями к этому комплексу. Надежность, производительность, масштабируемость, стоимость обслуживания и пр. Вы хотите начать выбор компонентов с конца. Так не бывает. Я хочу сделать сервис, мне нужны простые, мощные и надежные средства для этого. Пока что выбрал Ruby (и Ruby on Rails) как технологию для создания сайта. Осталось выбрать БД и ОС (из Unix-овых). Причем, сам имею дело по долгу службы с Oracle и PL/SQL. И поэтому присматриваюсь, можно ли найти достойную (во всех смыслах) замену дорого Oracle ПО с открытым кодом. Ну из MySQL и PostgreSQL ближе всего по производительности и надежности, а так же структурой организации к Oracle всех ближе PostgreSQL. Поэтому и спрашиваю про него. Хотя есть еще MaxDB от MySQL, но что это за зверек, пока что не знаю. Может кто знает? (В смысле его сравнение с PostgreSQL). Почему бы тогда и не остановиться на оракле + соляра? Вроде бы оракл начального уровня не такой и дорогой, но зато маштабируемости будет куда как больше! Кстати, миллион запросов в день, не так уж и много, это 10-20 запросов в секунду. Правда, совсем не понятно, что этот "запрос" в себя включает. Обычно чтобы сгенерировать одну страничку, делаеться зачастую несколько десятков sql запросов. Но все равно, это не такая уж и большая нагрузка, имхо. (большая, но до яху-скайпа-гугла-идажеяндекса дааалеко). Впрочем, все равно эти цифры (1.000.000) взяты с потолка, и надо больше думать не о том, как будет справляться, а о том, как можно будет увеличивать производительность (т.е. на сколько просто будет добавить новый сервер). P.S. у яндекса, судя по http://stat.yandex.ru/ больше 100 миллионов хитов в день. И это один из самых посещаемых ресурсов рунета. Так что добиться миллиона хитов будет тяжело даже с маркетинговой точки зрения, а не с технической. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.02.2007, 19:08 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
.gc И слегка оффтопный баянчик по широко используемой системе: eBay Architecture Story За баянчик спасиба, перед глазами он вроде уже проскакивал, но внимания я тогда на него не обоатил :-) Очень интресная презентация (хоть и из серии - "смотрите как мы круты", но все равно позновательно) Кстати, нарпашиваються интересные выводы (для Dmitry Zhukov) 1. Сразу о ТАКОМ даже и думать не стоит, а начинать надо с малого ("фряха + апач поставленные за выходные"). Все равно понимание что и как надо делать будет приходить с опытом, опыт с обемами, а обемы со временем (если повезет:-) ) 2. Так же как законы ньютона не работают при световых скоростях, стандартные, отработанные и проверенные временем подходы (можно сказать классические) в построении ИС не подходят для таких больших систем. Чего только стоит отказ от поддержания ссылочной целостности средствами БД и перенесение этого в application teir! Только чего-то я не понял (проглядел?) сколько ж у них сейчас реально железа используеться? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.02.2007, 19:53 |
|
||
|
Надежность PostgreSQL
|
|||
|---|---|---|---|
|
#18+
Еще баяны по масштабным системам Jelis Только чего-то я не понял (проглядел?) сколько ж у них сейчас реально железа используеться? p.35More than 15,000 instances across eight physical data centers ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.02.2007, 22:16 |
|
||
|
|

start [/forum/topic.php?fid=53&msg=34321894&tid=2005710]: |
0ms |
get settings: |
7ms |
get forum list: |
14ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
53ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
59ms |
get tp. blocked users: |
2ms |
| others: | 232ms |
| total: | 383ms |

| 0 / 0 |
