|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Здравствуйте! Имеем web проект реализованный на PHP, СУБД MariaDB. Стала необходимость переехать на другую СУБД, нынешняя СУБД не вывозит уже нагрузку. Проект сделан на движке, движок поддерживает следующие СУБД MySQL (за место мускула мы поставили MariaDB), PostgreSQL, MS SQL, Oracle. Но мы склоняемся к noSQL, понимаю тут без переписывания кода движка тогда не обойтись, наткнулся на статью про Cassandra http://www.opennet.ru/opennews/art.shtml?num=34980 как из написанного я понял что можно реализовать MariaDB + Cassandra, тоесть не какого переписывания кода движка, оставить как есть, а вся информация будет храниться в Cassandra. Скажите можно ли такое реализовать, что бы было двиг - mariaBD - Cassandra? Как я понял MariaDB тут выполняет роль транзитного узла, PHP работает с SQL базами, поэтому остается MariaDB, а MariaDB в свою очередь хранит информацию в Cassandra. Если что то я не так понимаю то объясните. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 08:37 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Serg-ioнынешняя СУБД не вывозит уже нагрузкуУмеете ли вы ее готовить? Откуда уверенность, что смена СУБД поможет? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 09:04 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
miksoftSerg-ioнынешняя СУБД не вывозит уже нагрузку Умеете ли вы ее готовить? Откуда уверенность, что смена СУБД поможет? Сейчас очень большой объем данных хранится в базе, 4 гига, более 30 миллионов записей. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 09:07 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Serg-iomiksoftпропущено... Умеете ли вы ее готовить? Откуда уверенность, что смена СУБД поможет? Сейчас очень большой объем данных хранится в базе, 4 гига, более 30 миллионов записей.Просто "хранить" может любая база, это не показатель. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 09:16 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
miksoftSerg-ioпропущено... Сейчас очень большой объем данных хранится в базе, 4 гига, более 30 миллионов записей.Просто "хранить" может любая база, это не показатель. ну а то что при обращении к базе скриптом на запись или чтение, база просто еле шевелится, не говоря уже о больших запросах, выборках. Я сейчас говорю не о записи, чтении и хранении скажем переписки пользователей, а отбор информации пользователем по определенный запросам из базы, плюс еще и внесение изменений или добавление информации. Когда 50 000 онлайн юзеров еще терпимо, когда переваливает за 100 000 онлайн и постоянные обращений к БД, сервер БД просто лежит. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 09:38 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Serg-ioобращении к базе скриптом на запись или чтениеSerg-ioотбор информации пользователем по определенный запросам из базы, плюс еще и внесение изменений или добавление информацииСплошные общие фразы. На других СУБД у вас будут такие же "скрипты" , "отборы" и "внесение изменений". Вы надеетесь, что кто-то сможет предугадать, как поведёт себя другая СУБД на неизвестно каких данных, которые неизвестно как обрабатываются? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 11:04 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Да, чуть не забыл: в "50000 пользователей онлайн" не верю я, и будьте уверены, не поверит никто. Ибо если у вас такая нагрузка, то вы и сами в состоянии найти ответ на свой вопрос - более того, вы уже должны его знать! PS. Разве что имелось в виду "50000 пользователей в день"? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 11:07 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
tanglirДа, чуть не забыл: в "50000 пользователей онлайн" не верю я, и будьте уверены, не поверит никто. Ибо если у вас такая нагрузка, то вы и сами в состоянии найти ответ на свой вопрос - более того, вы уже должны его знать! PS. Разве что имелось в виду "50000 пользователей в день"? в месяц 50 000 юзеров онлайн. Я прошу тут не обсуждений на предмет "может не может быть", "вы сами должны знать", а помощи разобраться в дальнейшем переходе на нужную СУБД. Кому просто охота поболтать давай те не будем постить сообщения в рамках накрычивания постов и кармы ))) ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 11:16 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
У меня стоит задача перехода на другую СУБД из них PostgreSQL, MS SQL, Oracle (именно эти по скольку движок поддерживает только эти СУБД, ну еще и MySQL который мы сменили на MariaBD). Либо есть второй вариант в чем я не шибко уверен по скольку не обладаю нужным кол-вом знаний и опытом, это как и прочитал из статьи http://www.opennet.ru/opennews/art.shtml?num=34980 и если он конечно реализуем что мне бы очень подошло что бы не переписывать двиг под другую СУБД склоняясь к noSQL, это MariaDB + Cassandra , где Cassandra выступает в роли хранилища данных, а MariaDB обработкой данных и запросов. Вот я и прошу помощи разобраться, какой лучше вариант, и второй вариант реализуем ли вообще. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 11:17 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Serg-ioЯ прошу тут не обсуждений на предмет "может не может быть", "вы сами должны знать", а помощи разобраться в дальнейшем переходе на нужную СУБД.Пока еще совершенно не очевидно, что СУБД надо менять. Нужно детально разбираться где именно узкое место у текущей СУБД. Да и вообще в ней ли дело (а не, например, в архитектуре). Также нужно разбираться с характером нагрузки на текущую СУБД. Если это иерархические запросы, то переход на Оракл может помочь, там они делаются "из коробки", а не на костылях как в MySQL. Если это запросы вида SELECT * FROM table WHERE id=1234, то смена СУБД скорее всего только ухудшит ситуацию. Но чтобы во всем это разобраться, нужна информация о текущей системе. Много информации. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 11:37 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Serg-io... Имеем web проект реализованный на PHP, СУБД MariaDB. Стала необходимость переехать на другую СУБД, нынешняя СУБД не вывозит уже нагрузку. Проект сделан на движке, движок поддерживает следующие СУБД MySQL (за место мускула мы поставили MariaDB), PostgreSQL, MS SQL, Oracle. ..... Вот я и прошу помощи разобраться, какой лучше вариант, .... Ну, может Вам стоит привести тормозные запросы, скрипты по созданию табл участвующих в нем и по заполнению, к примеру случайными числами, с учетом чтобы это было легко подправить на разные СУБД. Так чтобы, если кому делать нечего, могли бы в свои БД закачть и проверить в чем там дело. Иначе, скорей всего, "разобраться" следует заменить на "предположить". ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 11:38 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Serg-ioа помощи разобраться в дальнейшем переходе на нужную СУБДУ вас сплошные общие фразы, какой помощи вы ожидаете? Для начала надо miksoftНужно детально разбираться где именно узкое место у текущей СУБД. Да и вообще в ней ли дело (а не, например, в архитектуре). А уже определив это, можно будет уже предъявлять к замене какие-то требования, если она всё ещё будет нужна. К тому же Serg-ioв месяц 50 000 юзеров онлайнэто 50000/(30*24*60)~1.15 юзера в минуту. Это же просто смешно. Но это в среднем, конечно. Пиковая нагрузка какая? 10 юзеров в минуту? Или 500 в секунду? Какие они посылают запросы, сколько данных шлют/получают? В общем, miksoftчтобы во всем это разобраться, нужна информация о текущей системе. Много информации.Вы же ничего по существу не сказали, а хотите какую-то помощь получить. PS. А кармы здесь нет :) ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 11:51 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
vadiminfoНу, может Вам стоит привести тормозные запросыДля начала надо их найти. Интересно, ТС хотя бы slow query log включал? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 11:52 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Проблема медленный поиск и агрегация данных. Основную нагрузку составляют 4 таблицы. В первой таблице 15 000 000 записей, ежедневно стало добавляться в среднем по 400 тыс. записей, и удаляется 150 тыс. записей. Каждая запись около 1500 байт. По этой таблице происходят основные важные запросы и выборки. Во вторую таблицу среднее добавление записей 150 000 записей, удаление в районе 70 000 записей, в таблице около 7 000 000 записей. Третья и четвертая таблица носит средний показатель округленно по 2 000 000 записей, со среднесуточным добавление добавлением 50 000 записей. Что посоветует что бы не пришлось переписывать двиг с переходом на другую СУБД? Сейчас СУБД MariaDB. Хотелось бы перейти на Apache Cassandra но в этом случае прийдется полностью переписать двиг, есть ли возможность реализации MariaDB + Apache Cassandra? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 19:44 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Serg-ioЧто посоветует что бы не пришлось переписывать двиг с переходом на другую СУБД? Добавить индексы, произвести партиционирование. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 19:47 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Serg-ioОсновную нагрузку составляют 4 таблицы.движок у таблиц какой? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 20:12 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
miksoftSerg-ioОсновную нагрузку составляют 4 таблицы.движок у таблиц какой? XtraDB ... |
|||
:
Нравится:
Не нравится:
|
|||
10.01.2014, 21:02 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Первым делом нужно смотреть планы запросов. Используются ли индексы. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.01.2014, 01:20 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Я бы уточнил, как используются индексы. А так же привел бы ddl на таблицы, индексы, запросы, планы. Может у него EAV - тогда все советы сразу на мороз. Тогда пусть идет сразу в noSQL (там тоже не взлетит, хоть честь мундира сохраним) ... |
|||
:
Нравится:
Не нравится:
|
|||
11.01.2014, 02:03 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
SERG1257Может у него EAV - тогда все советы сразу на мороз. Тогда пусть идет сразу в noSQL (там тоже не взлетит, хоть честь мундира сохраним)EAV EAV-у тоже рознь. Может и в текущей ситуации можно что-то улучшить. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.01.2014, 12:31 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Serg-ioПроблема медленный поиск и агрегация данных. Основную нагрузку составляют 4 таблицы. В первой таблице 15 000 000 записей, ежедневно стало добавляться в среднем по 400 тыс. записей, и удаляется 150 тыс. записей. Каждая запись около 1500 байт. По этой таблице происходят основные важные запросы и выборки. Кто Вас допустил до администрирования такой сложной базы?... Индексы, статистика запросов. Serg-ioВо вторую таблицу среднее добавление записей 150 000 записей, удаление в районе 70 000 записей, в таблице около 7 000 000 записей.О, господи, еще и тут!... Как часто - раз в секунду/минуту/час/сутки/год?... Индексы, статистика запросов. Serg-ioТретья и четвертая таблица носит средний показатель округленно по 2 000 000 записей, со среднесуточным добавление добавлением 50 000 записей.Ништяк!.. Тут даже триггеры нагрузки почти не добавят!... Если, конечно, при каждой вставке не отсылают всю базу в Пентагон... Serg-ioЧто посоветует что бы не пришлось переписывать двиг с переходом на другую СУБД? Сейчас СУБД MariaDB. Хотелось бы перейти на Apache Cassandra но в этом случае прийдется полностью переписать двиг, есть ли возможность реализации MariaDB + Apache Cassandra?При любой проблеме с производительностью нужно мигрировать на новую СУБД - первое правило DBA!... Характер запросов - там есть джойны?.. Хэш/Мердж/Луп?... Блокировки смотрели?... ... |
|||
:
Нравится:
Не нравится:
|
|||
11.01.2014, 13:17 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
авторСУБД MariaDB автортам есть джойны?.. Хэш/Мердж/Луп?... ох уж эти студенты. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.01.2014, 01:41 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
авторXtraDB авторза место мускула мы поставили MariaDB ох уж эти сказочники. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.01.2014, 01:42 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
ScareCrowавторXtraDBавторза место мускула мы поставили MariaDBох уж эти сказочники.А что тут не так? ... |
|||
:
Нравится:
Не нравится:
|
|||
12.01.2014, 01:46 |
|
|
start [/forum/topic.php?fid=35&fpage=7&tid=1552403]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
38ms |
get topic data: |
14ms |
get forum data: |
3ms |
get page messages: |
65ms |
get tp. blocked users: |
2ms |
others: | 242ms |
total: | 396ms |
0 / 0 |