powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / MySql vs Postgre vs ?
25 сообщений из 121, страница 1 из 5
MySql vs Postgre vs ?
    #37892596
Arhat109
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Собственно вопрос в сабже.

На сегодня активно работаем с MySql 5.1.48(кажись), в основном движок InnoDb. Пока справляется достаточно хорошо.
Сервер: 2 проца по 2 ядра (AMD64) 3.5Ггц, память что-то около 8Гб (4дырки по 2), диск raid1 "proffesional :)" 120..200 Мб/сек. Тянет на себе ПХП-сайт и все БД.

Сайт: Nginx + Appache(PHP+Zend) + memcache. Общая отдача (с ботами) около 100к в сутки. Пиково справляется до 170 одновременных обращений в секунду. На запрос к сайту, в среднем делается 3-5 обращений к БД со средним джойном в 5-15 таблиц из нескольких БД (3-5НФ). Некешированная выборка - от 0.1 до 3сек...

Базы на сегодня:
1. Основной справочник (фирмы, адреса, телефоны, люди и т.д.) - около 70_000 фирм, достаточно подробно.
2. Товарная база - около 400 000 товаров.
3. Статистика сервера - около 15млн записей, ежедневный прирост 150к шт.
4. Почтовый автомат (переписка посетителей + рассылки). Работает в виде ПХП демона там же - около 1.5млн писем, ежедневный прирост около 1тыс. шт.
Суммарно что-то около 60 гектар, может уже больше.

В связи с тем, что планируется строить большую экспертную систему на основе товарной базы и ожидается существенный прирост объемов товарной базы (в 10-100 раз), возник вопрос "а потянет ли этот чудо дальше?"

Ну и, как обычно, возникла мысля, а может экспертную систему (ЭС) лепить не на Мускуле?
В основе ЭС будет лежать большой сложно связанный граф. Ожидается средняя глубина в 10 вершин со средней ветвистотью около 25 ребер на узел, на товарную позицию (к счастью, не каждую).

А поскольку акромя Мускуля и когда-то давно MS ACCESS 97, и ещё давнее Borland Paradox 4.1 - ничего не едал... прошу помощи у сообщества...
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37892705
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
On 07/25/2012 06:03 PM, Arhat109 wrote:

> В связи с тем, что планируется строить большую экспертную систему на основе
> товарной базы и ожидается существенный прирост объемов товарной базы (в 10-100
> раз), возник вопрос "а потянет ли этот чудо дальше?"

400000 товаров * (10/100) = 40,000,000

Ну, не могу сказать, что это уже маленькая БД. по идее Inno должен справляться,

> Ну и, как обычно, возникла мысля, а может экспертную систему (ЭС) лепить не на
> Мускуле?
> В основе ЭС будет лежать большой сложно связанный граф. Ожидается средняя
> глубина в 10 вершин со средней ветвистотью около 25 ребер на узел, на товарную
> позицию (к счастью, не каждую).

Какие операции с графами предполагаются ?

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37892777
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Arhat109,

А вы изучали, каковы сейчас узкие места в системе? Какую нагрузку создают разные компоненты системы? Пробовали собрать и погонять макет будущей системы в сторонке?

Несмотря на приведенные цифры, ответы могут быть самым разным - от "и так сойдет" до "ставить 10 серверов, каждый из которых вчетверо мощнее текущего".
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37892843
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
вам понадобиться субд с хорошим оптимизатором. mysql славиться слабым оптимизатором, постгрес чуть получше, не столь уж принципиально. дальше идут взрослые субд, точнее их кастрированные версии XE: oracle xe, mssql express, db2 express-c. вряд ли они вам подойдут, у оракла и мсскл ограничение 11гб на базу, у дб2 база не ограничена но 1гб RAM и всего одно процессорное ядро.
в общем реально выбор или постгрес, который не факт, что потянет тяжелый sql или платить за взрослую субд. я так понимаю экспертная система может быть отдельной от вашего mysql и доступной только сотрудникам компании. в этом случае лицензирование взрослой субд по юзерам не так уж дорого обойдется и сэкономит многие часы разработки за счет взрослых фич в субд.
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37893004
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yo.!у дб2 база не ограничена но 1гб RAM и всего одно процессорное ядро.
4 гб, 2 ядра.
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37893151
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Arhat109В связи с тем, что планируется строить большую экспертную систему на основе товарной базы и ожидается существенный прирост объемов товарной базы (в 10-100 раз), возник вопрос "а потянет ли этот чудо дальше?"Я не работал ни с той ни с другой базой однако выскажусь.
1 Какая необходимость держать вашу экспертную систему на том же сервере.
2 Присоединюсь к вопросу miksoft об узких местах и создания макета
Arhat109Ну и, как обычно, возникла мысля, а может экспертную систему (ЭС) лепить не на Мускуле?А есть ли у вас спец по Постгрессу? Кадры решают все.
Arhat109В основе ЭС будет лежать большой сложно связанный граф. Ожидается средняя глубина в 10 вершин со средней ветвистотью около 25 ребер на узел, на товарную позицию (к счастью, не каждую).Графы это у вас. У СУБД это таблицы и запросы.
Под словом экспертная система, я представляю систему с редкой, упорядоченной записью, и большим количеством чтений. Такая система должна хорошо параллелиться и хорошо отзыватся на вложения в железо (в отличие от замены СУБД, где положительный результат никак не гарантирован, буде это самая распрекрасная СУБД)
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37893164
Arhat109
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoft,

1. Гоняем постоянно. Собственно система в активном развитии с 2008года. Как такового "production" - нет. То, что работает "для всех" - одна из реинкарнаций из общего репозитория разработчиков. Практически ежедневно делается очередной "svn up". :)
Есть большая внутренняя часть - СРМ система "для своих" (в т.ч. удаленно).

2. По узким местам: от сегодняшней нагрузки (это товарно-ценовой портал mediam.ru - около 20_000 полезных визитов в сутки) есть запас около 10 раз по работе серверной части, около 15 раз по вычислительной мощности (средняя нагрузка по htop 30-50% на одно ядро, остальные - 5-10%). Думаю это связано с крайне шустрой дисковой работой (последовательное чтение до 200мб/сек, время простоя на дисках innoDb по статусу не более 15%)... и innoDb уже матерится на недостаток памяти для мускуля, уже сейчас (конкретно недостаток индексного кеша или как он там называется).
... но там есть только 2 дырки, в которых стоит по 4 гектара (в первом посту ошибся)... так что можно ли нарастить - не знаю. В продаже больше 4Гб с ЕСС не видел (у нас).

3. По операциям с графом. Ожидается примерно следующий набор работ (отдельный демон и СУБД):

а) операции выборки всех подузлов, начиная с заданного (необязательно корневого). Типа "много и часто" - поиск, подготовка данных для ПО сайта и т.п. Большей частью можно по крону. В основном, результат выборки будет основой для выуживания данных из остальных БД...

б) операции вставки отдельных узлов (поштучно) в заданную вершину. Ожидается "пачками" (в смысле в много разных мест, но в каждое по одному и поштучно)... не так часто, но по многу и сразу (добавление знаний в экспертную систему). В основном режим "онлайн" - или "как посетителю вздумается". Пример: добавление нового прайс-листа (10-12500 позиций за раз, ограничено сверху нами).

в) перестройка графа (канонизация - перенос поддеревьев, удаление/вставка вершин, ребер). Отдельный фоновый процесс, в основном при снижении нагрузки на БД графа по чтению (например по крону).

Я догадываюсь, что возможно какой-нибудь mumps для ЭС подошел бы лучше (очень слегка ставил и знакомился)... но, недавно нашел плагин к Мускулю, который позволяет лазить из ПО непосредственно к индексам и прочим потрохам, обеспечивая скорости близкие к memcache (тест приводился для 8 ядер 3.5Ггц Intel и 32гектаров RAM)... вот и задумался стоит ли менять "шило на мыло"?.

Надеюсь, это поможет для ответа на вопрос "Стоит ли для реализации ЭС брать другую БД?" Сервер - один, и другой в ближайшее время не предвидится...
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37894673
Arhat109
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Arhat109, "друг, подай закурить! ... а в ответ - тишина, он вчера не вернулся из боя."

так никто и не выскажется?
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37895191
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вынести на отдельный сервак и не парится еще 5 лет
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37895193
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ну или купить наконец нормальный сервер, а не этот. у меня примерно такое же стоит дома на поиграться.
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37895213
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
автор. но, недавно нашел плагин к Мускулю, который позволяет лазить из ПО непосредственно к индексам и прочим потрохам, обеспечивая скорости близкие к memcache
это из другой оперы. сортировку он делать уже не умеет.
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37896066
Arhat109
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ScareCrow,

Пасибки за целых 3 поста, жаль что все "ни о чем"... Мне показалось, что достаточно внятно написал "есть такой и другого НЕ предвидится", разве что - подарите, не? Тогда не надо давать советы, которыми нельзя воспользоваться.

По теме, что-то сказать - можете?

Повторю ещё раз вопрос: в связи с недостатком времени, изучать подробно "прочие" СУБД - у меня возможности нет.

Если можете ВНЯТНО сказать стоит ли переходить на другую бесплатную СУБД (кроме PostGreSQL альтернативы не вижу) или имеющийся MySQL наши задачи потянет "не хуже"?

Ну или чем одно лучше другого на таком железе и для такой задачи?
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37896076
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Arhat109Если можете ВНЯТНО сказать стоит ли переходить на другую бесплатную СУБД

Говорю ВНЯТНО: нет, не стоит. Точка.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37896155
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Arhat109,

И времени у Вас нет, и денег... Пичалька, однако. М.б. и тон своих постов стОит убавить, в соответствии с наличием времени и денег?!
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37896498
РыбАлов В
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Arhat109ScareCrow,

Пасибки за целых 3 поста, жаль что все "ни о чем"... Мне показалось, что достаточно внятно написал "есть такой и другого НЕ предвидится", разве что - подарите, не? Тогда не надо давать советы, которыми нельзя воспользоваться.

По теме, что-то сказать - можете?

Повторю ещё раз вопрос: в связи с недостатком времени, изучать подробно "прочие" СУБД - у меня возможности нет.

Если можете ВНЯТНО сказать стоит ли переходить на другую бесплатную СУБД (кроме PostGreSQL альтернативы не вижу) или имеющийся MySQL наши задачи потянет "не хуже"?

Ну или чем одно лучше другого на таком железе и для такой задачи?
Внятно и громко говорю вам НЕТ!
Не переходите на PostgreSQL или Firebird - переходите на SQL server.
Только SQL Server принесёт вам успех и счастье! Так как у Вас очень мало времени рекомендую все вопросы связанные с изучением этой чудесной СУБД задать на форуме.
Все будут просто счастливы ответить вам.
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37896510
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
РыбАлов ВArhat109ScareCrow,

Пасибки за целых 3 поста, жаль что все "ни о чем"... Мне показалось, что достаточно внятно написал "есть такой и другого НЕ предвидится", разве что - подарите, не? Тогда не надо давать советы, которыми нельзя воспользоваться.

По теме, что-то сказать - можете?

Повторю ещё раз вопрос: в связи с недостатком времени, изучать подробно "прочие" СУБД - у меня возможности нет.

Если можете ВНЯТНО сказать стоит ли переходить на другую бесплатную СУБД (кроме PostGreSQL альтернативы не вижу) или имеющийся MySQL наши задачи потянет "не хуже"?

Ну или чем одно лучше другого на таком железе и для такой задачи?
Внятно и громко говорю вам НЕТ!
Не переходите на PostgreSQL или Firebird - переходите на SQL server.
Только SQL Server принесёт вам успех и счастье! Так как у Вас очень мало времени рекомендую все вопросы связанные с изучением этой чудесной СУБД задать на форуме.
Все будут просто счастливы ответить вам.ну что ж - очень аргументированный ответ
случайно раньше не в церкви работали?
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37896587
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
> Не переходите на PostgreSQL или Firebird - переходите на SQL server.
> Только SQL Server принесёт вам успех и счастье! Так как у Вас очень мало времени

Ага. уже. Расскажи, что такое есть в MSSQL чего нет в том же Postgres?
Те же индексы, те же таблицы.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37896590
Сходу
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
MasterZiv
> Не переходите на PostgreSQL или Firebird - переходите на SQL server.
> Только SQL Server принесёт вам успех и счастье! Так как у Вас очень мало времени

Ага. уже. Расскажи, что такое есть в MSSQL чего нет в том же Postgres?
Те же индексы, те же таблицы.

Сходу: MatView, MatView-QueryRewrite, Intra-Query Parallelism, Compression, LogShipping, Transaction Replication, PWD... etc
Можно ещё долго перечислять.
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37896654
Фотография Ёш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
СходуMatView, MatView-QueryRewrite, Intra-Query Parallelism, Compression, LogShipping, Transaction Replication, PWD... etcMatView — есть, MatView-QueryRewrite — есть, Intra-Query Parallelism — можно сделать, Compression — есть, LogShipping — есть, Transaction Replication — не знаю что это, репликация есть, PWD — непонятное слово :)
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37896828
Compression
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ЁшСходуMatView, MatView-QueryRewrite, Intra-Query Parallelism, Compression, LogShipping, Transaction Replication, PWD... etcMatView — есть, MatView-QueryRewrite — есть, Intra-Query Parallelism — можно сделать, Compression — есть, LogShipping — есть, Transaction Replication — не знаю что это, репликация есть, PWD — непонятное слово :)
А можно ссылки на доку по MatView-QueryRewrite и Compression?
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37896957
Фотография Ёш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CompressionЁшпропущено...
MatView — есть, MatView-QueryRewrite — есть, Intra-Query Parallelism — можно сделать, Compression — есть, LogShipping — есть, Transaction Replication — не знаю что это, репликация есть, PWD — непонятное слово :)
А можно ссылки на доку по MatView-QueryRewrite и Compression?
http://www.postgresql.org/docs/current/static/rules.html
http://www.postgresql.org/docs/current/static/storage-toast.html
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37896996
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЁшCompressionпропущено...

А можно ссылки на доку по MatView-QueryRewrite и Compression?
http://www.postgresql.org/docs/current/static/rules.html
http://www.postgresql.org/docs/current/static/storage-toast.html Что-то я почитал про Rules - хрень какая-то, а не Matview-QueryRewrite. Это как самолет и самолетик. Вроде оба летают, у обоих крылья есть, но в остальном все разное.

Про toast прочитал вот эту фразу и сижу офигеваю
автор PostgreSQL uses a fixed page size (commonly 8 kB), and does not allow tuples to span multiple pages . Therefore, it is not possible to store very large field values directly. To overcome this limitation, large field values are compressed and/or broken up into multiple physical rowsВыглядит как какая-то непонятная приблуда, придуманная, чтобы PGSQL мог храниться данные больше 8кб, но приспособленная еще для чего-то
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37897047
Compression
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Alexander RyndinЁшпропущено...

http://www.postgresql.org/docs/current/static/rules.html
http://www.postgresql.org/docs/current/static/storage-toast.html Что-то я почитал про Rules - хрень какая-то, а не Matview-QueryRewrite. Это как самолет и самолетик. Вроде оба летают, у обоих крылья есть, но в остальном все разное.

Про toast прочитал вот эту фразу и сижу офигеваю
автор PostgreSQL uses a fixed page size (commonly 8 kB), and does not allow tuples to span multiple pages . Therefore, it is not possible to store very large field values directly. To overcome this limitation, large field values are compressed and/or broken up into multiple physical rowsВыглядит как какая-то непонятная приблуда, придуманная, чтобы PGSQL мог храниться данные больше 8кб, но приспособленная еще для чего-то
Так я не понял, там это материализованное представление и вообще как эти rules работают в двух словах?
И сжатие это бинарные столбцы TOAST (типа BLOB) просто перед сохранением жмутся и сохраняются по множеству строк?
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37897145
Arhat109
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklin, что конкретно Вам не понравилось в моих постах? Я задался вполне нормальным вопросом проектировщика, при начале нового проекта. Нет времени и денег - нормальное состояние. У Вас есть и то и другое? Значит Вы - безработный меценат, живущий на рентный доход. ;)

То что не хочу, чтобы тему превратили во флуд "чья пиписька тольщее"? Всё равно - УЖЕ превратили.

Меня интересовал конкретный ответ на конкретный вопрос. Мне его дали - "не стоит". За что пасибки автору. Чётко и понятно.
Времени разбираться ПОЧЕМУ - у меня нет.

Так что спасибо за участие, тему можно закрывать - мерялки проприетарных рекламистов меня ваще не интересуют.
...
Рейтинг: 0 / 0
MySql vs Postgre vs ?
    #37897147
Arhat109
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Arhat109, жаль нельзя исправить... дополню:

Вот ответ "надо переходить на..." - обязан сопровождаться объяснением ПОЧЕМУ эти задачи в этих условиях полезно решать другими средствами.
...
Рейтинг: 0 / 0
25 сообщений из 121, страница 1 из 5
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / MySql vs Postgre vs ?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]