|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
Собственно вопрос в сабже. На сегодня активно работаем с MySql 5.1.48(кажись), в основном движок InnoDb. Пока справляется достаточно хорошо. Сервер: 2 проца по 2 ядра (AMD64) 3.5Ггц, память что-то около 8Гб (4дырки по 2), диск raid1 "proffesional :)" 120..200 Мб/сек. Тянет на себе ПХП-сайт и все БД. Сайт: Nginx + Appache(PHP+Zend) + memcache. Общая отдача (с ботами) около 100к в сутки. Пиково справляется до 170 одновременных обращений в секунду. На запрос к сайту, в среднем делается 3-5 обращений к БД со средним джойном в 5-15 таблиц из нескольких БД (3-5НФ). Некешированная выборка - от 0.1 до 3сек... Базы на сегодня: 1. Основной справочник (фирмы, адреса, телефоны, люди и т.д.) - около 70_000 фирм, достаточно подробно. 2. Товарная база - около 400 000 товаров. 3. Статистика сервера - около 15млн записей, ежедневный прирост 150к шт. 4. Почтовый автомат (переписка посетителей + рассылки). Работает в виде ПХП демона там же - около 1.5млн писем, ежедневный прирост около 1тыс. шт. Суммарно что-то около 60 гектар, может уже больше. В связи с тем, что планируется строить большую экспертную систему на основе товарной базы и ожидается существенный прирост объемов товарной базы (в 10-100 раз), возник вопрос "а потянет ли этот чудо дальше?" Ну и, как обычно, возникла мысля, а может экспертную систему (ЭС) лепить не на Мускуле? В основе ЭС будет лежать большой сложно связанный граф. Ожидается средняя глубина в 10 вершин со средней ветвистотью около 25 ребер на узел, на товарную позицию (к счастью, не каждую). А поскольку акромя Мускуля и когда-то давно MS ACCESS 97, и ещё давнее Borland Paradox 4.1 - ничего не едал... прошу помощи у сообщества... ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2012, 17:03 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
On 07/25/2012 06:03 PM, Arhat109 wrote: > В связи с тем, что планируется строить большую экспертную систему на основе > товарной базы и ожидается существенный прирост объемов товарной базы (в 10-100 > раз), возник вопрос "а потянет ли этот чудо дальше?" 400000 товаров * (10/100) = 40,000,000 Ну, не могу сказать, что это уже маленькая БД. по идее Inno должен справляться, > Ну и, как обычно, возникла мысля, а может экспертную систему (ЭС) лепить не на > Мускуле? > В основе ЭС будет лежать большой сложно связанный граф. Ожидается средняя > глубина в 10 вершин со средней ветвистотью около 25 ребер на узел, на товарную > позицию (к счастью, не каждую). Какие операции с графами предполагаются ? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2012, 17:53 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
Arhat109, А вы изучали, каковы сейчас узкие места в системе? Какую нагрузку создают разные компоненты системы? Пробовали собрать и погонять макет будущей системы в сторонке? Несмотря на приведенные цифры, ответы могут быть самым разным - от "и так сойдет" до "ставить 10 серверов, каждый из которых вчетверо мощнее текущего". ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2012, 18:28 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
вам понадобиться субд с хорошим оптимизатором. mysql славиться слабым оптимизатором, постгрес чуть получше, не столь уж принципиально. дальше идут взрослые субд, точнее их кастрированные версии XE: oracle xe, mssql express, db2 express-c. вряд ли они вам подойдут, у оракла и мсскл ограничение 11гб на базу, у дб2 база не ограничена но 1гб RAM и всего одно процессорное ядро. в общем реально выбор или постгрес, который не факт, что потянет тяжелый sql или платить за взрослую субд. я так понимаю экспертная система может быть отдельной от вашего mysql и доступной только сотрудникам компании. в этом случае лицензирование взрослой субд по юзерам не так уж дорого обойдется и сэкономит многие часы разработки за счет взрослых фич в субд. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2012, 19:09 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
Yo.!у дб2 база не ограничена но 1гб RAM и всего одно процессорное ядро. 4 гб, 2 ядра. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2012, 22:31 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
Arhat109В связи с тем, что планируется строить большую экспертную систему на основе товарной базы и ожидается существенный прирост объемов товарной базы (в 10-100 раз), возник вопрос "а потянет ли этот чудо дальше?"Я не работал ни с той ни с другой базой однако выскажусь. 1 Какая необходимость держать вашу экспертную систему на том же сервере. 2 Присоединюсь к вопросу miksoft об узких местах и создания макета Arhat109Ну и, как обычно, возникла мысля, а может экспертную систему (ЭС) лепить не на Мускуле?А есть ли у вас спец по Постгрессу? Кадры решают все. Arhat109В основе ЭС будет лежать большой сложно связанный граф. Ожидается средняя глубина в 10 вершин со средней ветвистотью около 25 ребер на узел, на товарную позицию (к счастью, не каждую).Графы это у вас. У СУБД это таблицы и запросы. Под словом экспертная система, я представляю систему с редкой, упорядоченной записью, и большим количеством чтений. Такая система должна хорошо параллелиться и хорошо отзыватся на вложения в железо (в отличие от замены СУБД, где положительный результат никак не гарантирован, буде это самая распрекрасная СУБД) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2012, 05:01 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
miksoft, 1. Гоняем постоянно. Собственно система в активном развитии с 2008года. Как такового "production" - нет. То, что работает "для всех" - одна из реинкарнаций из общего репозитория разработчиков. Практически ежедневно делается очередной "svn up". :) Есть большая внутренняя часть - СРМ система "для своих" (в т.ч. удаленно). 2. По узким местам: от сегодняшней нагрузки (это товарно-ценовой портал mediam.ru - около 20_000 полезных визитов в сутки) есть запас около 10 раз по работе серверной части, около 15 раз по вычислительной мощности (средняя нагрузка по htop 30-50% на одно ядро, остальные - 5-10%). Думаю это связано с крайне шустрой дисковой работой (последовательное чтение до 200мб/сек, время простоя на дисках innoDb по статусу не более 15%)... и innoDb уже матерится на недостаток памяти для мускуля, уже сейчас (конкретно недостаток индексного кеша или как он там называется). ... но там есть только 2 дырки, в которых стоит по 4 гектара (в первом посту ошибся)... так что можно ли нарастить - не знаю. В продаже больше 4Гб с ЕСС не видел (у нас). 3. По операциям с графом. Ожидается примерно следующий набор работ (отдельный демон и СУБД): а) операции выборки всех подузлов, начиная с заданного (необязательно корневого). Типа "много и часто" - поиск, подготовка данных для ПО сайта и т.п. Большей частью можно по крону. В основном, результат выборки будет основой для выуживания данных из остальных БД... б) операции вставки отдельных узлов (поштучно) в заданную вершину. Ожидается "пачками" (в смысле в много разных мест, но в каждое по одному и поштучно)... не так часто, но по многу и сразу (добавление знаний в экспертную систему). В основном режим "онлайн" - или "как посетителю вздумается". Пример: добавление нового прайс-листа (10-12500 позиций за раз, ограничено сверху нами). в) перестройка графа (канонизация - перенос поддеревьев, удаление/вставка вершин, ребер). Отдельный фоновый процесс, в основном при снижении нагрузки на БД графа по чтению (например по крону). Я догадываюсь, что возможно какой-нибудь mumps для ЭС подошел бы лучше (очень слегка ставил и знакомился)... но, недавно нашел плагин к Мускулю, который позволяет лазить из ПО непосредственно к индексам и прочим потрохам, обеспечивая скорости близкие к memcache (тест приводился для 8 ядер 3.5Ггц Intel и 32гектаров RAM)... вот и задумался стоит ли менять "шило на мыло"?. Надеюсь, это поможет для ответа на вопрос "Стоит ли для реализации ЭС брать другую БД?" Сервер - один, и другой в ближайшее время не предвидится... ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2012, 06:48 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
Arhat109, "друг, подай закурить! ... а в ответ - тишина, он вчера не вернулся из боя." так никто и не выскажется? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2012, 06:31 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
вынести на отдельный сервак и не парится еще 5 лет ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2012, 12:56 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
ну или купить наконец нормальный сервер, а не этот. у меня примерно такое же стоит дома на поиграться. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2012, 12:57 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
автор. но, недавно нашел плагин к Мускулю, который позволяет лазить из ПО непосредственно к индексам и прочим потрохам, обеспечивая скорости близкие к memcache это из другой оперы. сортировку он делать уже не умеет. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2012, 13:08 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
ScareCrow, Пасибки за целых 3 поста, жаль что все "ни о чем"... Мне показалось, что достаточно внятно написал "есть такой и другого НЕ предвидится", разве что - подарите, не? Тогда не надо давать советы, которыми нельзя воспользоваться. По теме, что-то сказать - можете? Повторю ещё раз вопрос: в связи с недостатком времени, изучать подробно "прочие" СУБД - у меня возможности нет. Если можете ВНЯТНО сказать стоит ли переходить на другую бесплатную СУБД (кроме PostGreSQL альтернативы не вижу) или имеющийся MySQL наши задачи потянет "не хуже"? Ну или чем одно лучше другого на таком железе и для такой задачи? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2012, 19:59 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
Arhat109Если можете ВНЯТНО сказать стоит ли переходить на другую бесплатную СУБД Говорю ВНЯТНО: нет, не стоит. Точка. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2012, 20:15 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
Arhat109, И времени у Вас нет, и денег... Пичалька, однако. М.б. и тон своих постов стОит убавить, в соответствии с наличием времени и денег?! ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2012, 22:36 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
Arhat109ScareCrow, Пасибки за целых 3 поста, жаль что все "ни о чем"... Мне показалось, что достаточно внятно написал "есть такой и другого НЕ предвидится", разве что - подарите, не? Тогда не надо давать советы, которыми нельзя воспользоваться. По теме, что-то сказать - можете? Повторю ещё раз вопрос: в связи с недостатком времени, изучать подробно "прочие" СУБД - у меня возможности нет. Если можете ВНЯТНО сказать стоит ли переходить на другую бесплатную СУБД (кроме PostGreSQL альтернативы не вижу) или имеющийся MySQL наши задачи потянет "не хуже"? Ну или чем одно лучше другого на таком железе и для такой задачи? Внятно и громко говорю вам НЕТ! Не переходите на PostgreSQL или Firebird - переходите на SQL server. Только SQL Server принесёт вам успех и счастье! Так как у Вас очень мало времени рекомендую все вопросы связанные с изучением этой чудесной СУБД задать на форуме. Все будут просто счастливы ответить вам. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.07.2012, 19:55 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
РыбАлов ВArhat109ScareCrow, Пасибки за целых 3 поста, жаль что все "ни о чем"... Мне показалось, что достаточно внятно написал "есть такой и другого НЕ предвидится", разве что - подарите, не? Тогда не надо давать советы, которыми нельзя воспользоваться. По теме, что-то сказать - можете? Повторю ещё раз вопрос: в связи с недостатком времени, изучать подробно "прочие" СУБД - у меня возможности нет. Если можете ВНЯТНО сказать стоит ли переходить на другую бесплатную СУБД (кроме PostGreSQL альтернативы не вижу) или имеющийся MySQL наши задачи потянет "не хуже"? Ну или чем одно лучше другого на таком железе и для такой задачи? Внятно и громко говорю вам НЕТ! Не переходите на PostgreSQL или Firebird - переходите на SQL server. Только SQL Server принесёт вам успех и счастье! Так как у Вас очень мало времени рекомендую все вопросы связанные с изучением этой чудесной СУБД задать на форуме. Все будут просто счастливы ответить вам.ну что ж - очень аргументированный ответ случайно раньше не в церкви работали? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.07.2012, 20:13 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
> Не переходите на PostgreSQL или Firebird - переходите на SQL server. > Только SQL Server принесёт вам успех и счастье! Так как у Вас очень мало времени Ага. уже. Расскажи, что такое есть в MSSQL чего нет в том же Postgres? Те же индексы, те же таблицы. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
28.07.2012, 23:13 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
MasterZiv > Не переходите на PostgreSQL или Firebird - переходите на SQL server. > Только SQL Server принесёт вам успех и счастье! Так как у Вас очень мало времени Ага. уже. Расскажи, что такое есть в MSSQL чего нет в том же Postgres? Те же индексы, те же таблицы. Сходу: MatView, MatView-QueryRewrite, Intra-Query Parallelism, Compression, LogShipping, Transaction Replication, PWD... etc Можно ещё долго перечислять. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.07.2012, 23:20 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
СходуMatView, MatView-QueryRewrite, Intra-Query Parallelism, Compression, LogShipping, Transaction Replication, PWD... etcMatView — есть, MatView-QueryRewrite — есть, Intra-Query Parallelism — можно сделать, Compression — есть, LogShipping — есть, Transaction Replication — не знаю что это, репликация есть, PWD — непонятное слово :) ... |
|||
:
Нравится:
Не нравится:
|
|||
29.07.2012, 03:03 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
ЁшСходуMatView, MatView-QueryRewrite, Intra-Query Parallelism, Compression, LogShipping, Transaction Replication, PWD... etcMatView — есть, MatView-QueryRewrite — есть, Intra-Query Parallelism — можно сделать, Compression — есть, LogShipping — есть, Transaction Replication — не знаю что это, репликация есть, PWD — непонятное слово :) А можно ссылки на доку по MatView-QueryRewrite и Compression? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.07.2012, 15:21 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
CompressionЁшпропущено... MatView — есть, MatView-QueryRewrite — есть, Intra-Query Parallelism — можно сделать, Compression — есть, LogShipping — есть, Transaction Replication — не знаю что это, репликация есть, PWD — непонятное слово :) А можно ссылки на доку по MatView-QueryRewrite и Compression? http://www.postgresql.org/docs/current/static/rules.html http://www.postgresql.org/docs/current/static/storage-toast.html ... |
|||
:
Нравится:
Не нравится:
|
|||
29.07.2012, 20:26 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
ЁшCompressionпропущено... А можно ссылки на доку по MatView-QueryRewrite и Compression? http://www.postgresql.org/docs/current/static/rules.html http://www.postgresql.org/docs/current/static/storage-toast.html Что-то я почитал про Rules - хрень какая-то, а не Matview-QueryRewrite. Это как самолет и самолетик. Вроде оба летают, у обоих крылья есть, но в остальном все разное. Про toast прочитал вот эту фразу и сижу офигеваю автор PostgreSQL uses a fixed page size (commonly 8 kB), and does not allow tuples to span multiple pages . Therefore, it is not possible to store very large field values directly. To overcome this limitation, large field values are compressed and/or broken up into multiple physical rowsВыглядит как какая-то непонятная приблуда, придуманная, чтобы PGSQL мог храниться данные больше 8кб, но приспособленная еще для чего-то ... |
|||
:
Нравится:
Не нравится:
|
|||
29.07.2012, 21:34 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
Alexander RyndinЁшпропущено... http://www.postgresql.org/docs/current/static/rules.html http://www.postgresql.org/docs/current/static/storage-toast.html Что-то я почитал про Rules - хрень какая-то, а не Matview-QueryRewrite. Это как самолет и самолетик. Вроде оба летают, у обоих крылья есть, но в остальном все разное. Про toast прочитал вот эту фразу и сижу офигеваю автор PostgreSQL uses a fixed page size (commonly 8 kB), and does not allow tuples to span multiple pages . Therefore, it is not possible to store very large field values directly. To overcome this limitation, large field values are compressed and/or broken up into multiple physical rowsВыглядит как какая-то непонятная приблуда, придуманная, чтобы PGSQL мог храниться данные больше 8кб, но приспособленная еще для чего-то Так я не понял, там это материализованное представление и вообще как эти rules работают в двух словах? И сжатие это бинарные столбцы TOAST (типа BLOB) просто перед сохранением жмутся и сохраняются по множеству строк? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.07.2012, 23:40 |
|
MySql vs Postgre vs ?
|
|||
---|---|---|---|
#18+
pkarklin, что конкретно Вам не понравилось в моих постах? Я задался вполне нормальным вопросом проектировщика, при начале нового проекта. Нет времени и денег - нормальное состояние. У Вас есть и то и другое? Значит Вы - безработный меценат, живущий на рентный доход. ;) То что не хочу, чтобы тему превратили во флуд "чья пиписька тольщее"? Всё равно - УЖЕ превратили. Меня интересовал конкретный ответ на конкретный вопрос. Мне его дали - "не стоит". За что пасибки автору. Чётко и понятно. Времени разбираться ПОЧЕМУ - у меня нет. Так что спасибо за участие, тему можно закрывать - мерялки проприетарных рекламистов меня ваще не интересуют. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.07.2012, 06:20 |
|
|
start [/forum/topic.php?fid=35&msg=37896155&tid=1552532]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
28ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
59ms |
get tp. blocked users: |
1ms |
others: | 12ms |
total: | 140ms |
0 / 0 |