|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Serg-io сервер БД просто лежит. если "лежит" это загрузка cpu 100 процентов (но это скорее хорошо), добавьте процессоры. если это загрузка CPU близкая к нулю, добавьте памяти (и в настройках сервера не забудьте увеличить). ... |
|||
:
Нравится:
Не нравится:
|
|||
13.01.2014, 11:55 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Serg-ioПроблема медленный поиск и агрегация данных. Основную нагрузку составляют 4 таблицы. В первой таблице 15 000 000 записей, ежедневно стало добавляться в среднем по 400 тыс. записей, и удаляется 150 тыс. записей. Каждая запись около 1500 байт. По этой таблице происходят основные важные запросы и выборки. Во вторую таблицу среднее добавление записей 150 000 записей, удаление в районе 70 000 записей, в таблице около 7 000 000 записей. Третья и четвертая таблица носит средний показатель округленно по 2 000 000 записей, со среднесуточным добавление добавлением 50 000 записей. Что посоветует что бы не пришлось переписывать двиг с переходом на другую СУБД? Сейчас СУБД MariaDB. Хотелось бы перейти на Apache Cassandra но в этом случае прийдется полностью переписать двиг, есть ли возможность реализации MariaDB + Apache Cassandra? мужик, я по простому: ты же не рубишь ни в том, ни в другом, на кой хрен тебе в nosql еще лезть? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.01.2014, 12:00 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Serg-iomiksoftпропущено... Умеете ли вы ее готовить? Откуда уверенность, что смена СУБД поможет? Сейчас очень большой объем данных хранится в базе, 4 гига, более 30 миллионов записей. бугага! ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2014, 10:38 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Барсук-копательSerg-ioпропущено... Сейчас очень большой объем данных хранится в базе, 4 гига, более 30 миллионов записей. бугага!а ты не смейся! лучше представь, сколько это займёт места в распечатанном варианте! скажешь, мало? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2014, 12:12 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
MasterZivмужик, я по простому: ты же не рубишь ни в том, ни в другом, на кой хрен тебе в nosql еще лезть? +1 tanglirа ты не смейся! лучше представь, сколько это займёт места в распечатанном варианте! скажешь, мало? Смотря каким шрифтом ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2014, 12:35 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
MasterZivмужик, я по простому: ты же не рубишь ни в том, ни в другом, на кой хрен тебе в nosql еще лезть? А SQL.RU на что? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2014, 13:39 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Serg-ioЗдравствуйте! Имеем web проект реализованный на PHP, СУБД MariaDB. Стала необходимость переехать на другую СУБД, нынешняя СУБД не вывозит уже нагрузку. Проект сделан на движке, движок поддерживает следующие СУБД MySQL (за место мускула мы поставили MariaDB), PostgreSQL, MS SQL, Oracle. Но мы склоняемся к noSQL, понимаю тут без переписывания кода движка тогда не обойтись, наткнулся на статью про Cassandra http://www.opennet.ru/opennews/art.shtml?num=34980 как из написанного я понял что можно реализовать MariaDB + Cassandra, тоесть не какого переписывания кода движка, оставить как есть, а вся информация будет храниться в Cassandra. Скажите можно ли такое реализовать, что бы было двиг - mariaBD - Cassandra? Как я понял MariaDB тут выполняет роль транзитного узла, PHP работает с SQL базами, поэтому остается MariaDB, а MariaDB в свою очередь хранит информацию в Cassandra. Если что то я не так понимаю то объясните. Если задача заключается в поддержке высокой пропускной способности SQL OLTP, попробуйте VoltDB. Более подробную информацию можно найти в этом топике: http://www.sql.ru/forum/1069728/open-source-oltp-subd-voltdb-voprosy-arhitektury-razrabotki-vnedreniya-i-ekspluatacii. Кстати, VoltDB также поддерживает noSQL-функциональность, в частности key-value хранилище и JSON - тестирование производительности такой системы продемонстрировало около 1 миллиона транзакций в секунду: http://voltdb.com/voltdb-3-x-performance-characteristics/ ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2014, 22:24 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
VoltDBтестирование производительности такой системы продемонстрировало около 1 миллиона транзакций в секунду А Оракул светится в топе теста TPC-C с шестью миллионами. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2014, 22:35 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovVoltDBтестирование производительности такой системы продемонстрировало около 1 миллиона транзакций в секунду А Оракул светится в топе теста TPC-C с шестью миллионами. LOL - ценю Ваш юмор! :) Да, действительно, в категории TPC-C Оракл продемонстрировал 8,552,523 tpmC (но это не в секунду, а в минуту, т.е около 140 тысяч в секунду). Кроме того, их тест сделан на SPARC T5-8 Server, 8 процессоров и 128 ядер. Цена такого железа 4,663,073 USD. Плюс цена Oracle 11g Release 2 Enterprise Edition with Oracle Partitioning. Плюс поддержка. http://www.tpc.org/tpcc/results/tpcc_perf_results.asp http://www.tpc.org/tpcc/results/tpcc_result_detail.asp?id=113032601 Кстати, в их тесте в качестве клиентов использовались 16 машин ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2014, 23:09 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
VoltDBDimitry Sibiryakovпропущено... А Оракул светится в топе теста TPC-C с шестью миллионами. LOL - ценю Ваш юмор! :) Да, действительно, в категории TPC-C Оракл продемонстрировал 8,552,523 tpmC (но это не в секунду, а в минуту, т.е около 140 тысяч в секунду). Кроме того, их тест сделан на SPARC T5-8 Server, 8 процессоров и 128 ядер. Цена такого железа 4,663,073 USD. Плюс цена Oracle 11g Release 2 Enterprise Edition with Oracle Partitioning. Плюс поддержка. http://www.tpc.org/tpcc/results/tpcc_perf_results.asp http://www.tpc.org/tpcc/results/tpcc_result_detail.asp?id=113032601 Кстати, в их тесте в качестве клиентов использовались 16 машин Поправка: $4.6 миллиона - это не только железо, но и OS License, Oracle License и 3-year support ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2014, 04:40 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
VoltDBLOL - ценю Ваш юмор! :) Да Вы тоже ничего. Все левые домашние тесты обсуждаете на полном серьезе на равне с TPC-C. [/quot] ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2014, 09:05 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
vadiminfoVoltDBLOL - ценю Ваш юмор! :) Да Вы тоже ничего. Все левые домашние тесты обсуждаете на полном серьезе на равне с TPC-C. [/quot] Ну почему же "левые домашние"? У нас более 200 заказчиков во многих вертикалях, требующих экстремальной OLTP пропускной способности, таких как, например, Smart Grids, Sensor Data Management и Real Time BIlling and Policy Management. Так что мы к тестированию относимся очень серьезно... Буду рад ответить на Ваши вопросы, если интересно ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2014, 19:30 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
VoltDBНу почему же "левые домашние"? Ну потому что ссылка на http://voltdb.com/ - типа дом тестируемого продукта. Потому и домашние. Левые потому что нет такого авторитета как у ТСР. VoltDB Так что мы к тестированию относимся очень серьезно. Это достойно одобрения. Но зафиксировать результат на ТСР это не то же, что даже самое серьезное тестирование у себя. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2014, 22:16 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
vadiminfoVoltDBНу почему же "левые домашние"? Ну потому что ссылка на http://voltdb.com/ - типа дом тестируемого продукта. Потому и домашние. Левые потому что нет такого авторитета как у ТСР. А, а я понял "домашние" - потому что в домашних условиях написаны :) Но мы не дома пишем - мы занимаемся разработкой системы с 2009 года силами достаточного количество профессиональных СУБД разработчиков. Так что в этом смысле система не домашняя :) Кстати, в другом топике есть больше о нашей СУБД: http://www.sql.ru/forum/1069728-1/open-source-oltp-subd-voltdb-voprosy-arhitektury-razrabotki-vnedreniya-i-ekspluatacii vadiminfoVoltDB Так что мы к тестированию относимся очень серьезно. Это достойно одобрения. Но зафиксировать результат на ТСР это не то же, что даже самое серьезное тестирование у себя. В Книге Рекордов Гинесса нас тоже нет... :) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2014, 22:34 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Если задача заключается в поддержке высокой пропускной способности SQL OLTP, попробуйте VoltDB. его задача заключается в изучение основ настройки производительности СУБД, в данном случае, MySQL. ваша, как все уже тут поняли, в проталкивании на рынок этого вашего продукта. Я не сомневаюсь, возможно, это тоже замечательная СУБД, но только проталкивать надо как-то понежнее, поэлегантнее... ... |
|||
:
Нравится:
Не нравится:
|
|||
18.01.2014, 10:08 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
MasterZivЕсли задача заключается в поддержке высокой пропускной способности SQL OLTP, попробуйте VoltDB. его задача заключается в изучение основ настройки производительности СУБД, в данном случае, MySQL. ваша, как все уже тут поняли, в проталкивании на рынок этого вашего продукта. Я не сомневаюсь, возможно, это тоже замечательная СУБД, но только проталкивать надо как-то понежнее, поэлегантнее... VoltDB - он open source ... |
|||
:
Нравится:
Не нравится:
|
|||
18.01.2014, 19:35 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
VoltDBMasterZivЕсли задача заключается в поддержке высокой пропускной способности SQL OLTP, попробуйте VoltDB. его задача заключается в изучение основ настройки производительности СУБД, в данном случае, MySQL. ваша, как все уже тут поняли, в проталкивании на рынок этого вашего продукта. Я не сомневаюсь, возможно, это тоже замечательная СУБД, но только проталкивать надо как-то понежнее, поэлегантнее... VoltDB - он open sourceНу уберём из поста MasterZiv слова "на рынок", что, принципиально что-то изменилось? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.01.2014, 12:48 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
tanglirVoltDBпропущено... VoltDB - он open sourceНу уберём из поста MasterZiv слова "на рынок", что, принципиально что-то изменилось? Вопрос, с которого начался этот топик, был следующий: "Здравствуйте! Имеем web проект реализованный на PHP, СУБД MariaDB. Стала необходимость переехать на другую СУБД, нынешняя СУБД не вывозит уже нагрузку..." Мой ответ был: "Если задача заключается в поддержке высокой пропускной способности SQL OLTP, попробуйте VoltDB." ... |
|||
:
Нравится:
Не нравится:
|
|||
21.01.2014, 01:40 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
VoltDBМой ответ был: "Если задача заключается в поддержке высокой пропускной способности SQL OLTP, попробуйте VoltDB." А в чем тогда Ваш интерес подбрасывать VoltDB, если VoltDBон open source ? Пусть бы юзал себе Кассандру на здоровие. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.01.2014, 13:39 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
VoltDBМой ответ был: "Если задача заключается в поддержке высокой пропускной способности SQL OLTP, попробуйте VoltDB." Ваш VoltDB совместим с MariaDB на уровне ABI, API или по диалекту SQL? На него можно "попробовать" перейти, не переписывая приложение с нуля? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
21.01.2014, 14:09 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovVoltDBМой ответ был: "Если задача заключается в поддержке высокой пропускной способности SQL OLTP, попробуйте VoltDB." Ваш VoltDB совместим с MariaDB на уровне ABI, API или по диалекту SQL? На него можно "попробовать" перейти, не переписывая приложение с нуля? Тяжело сказать нужно "с нуля" или нет не видя существующего кода, но, хотя мы и SQL СУБД, я не думаю, что переход без каких-то изменений кода возможен. Например, для максимальной производительности мы рекомендуем посылать запросы путем вызова сохраненных процедур. Мы, конечно, и ад-хок запросы поддерживаем, но это не тот тип приложений для которых VoltDB разработан. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.01.2014, 23:09 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
VoltDBТяжело сказать нужно "с нуля" или нет не видя существующего кода, .... . VoltDB ...но это не тот тип приложений для которых VoltDB разработан. Вроде, получается, что по отношению к вопросу ТС появление в ветке VoltDB выглядит несколько преждевеременным. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.01.2014, 08:36 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
vadiminfoVoltDBТяжело сказать нужно "с нуля" или нет не видя существующего кода, .... . VoltDB ...но это не тот тип приложений для которых VoltDB разработан. Вроде, получается, что по отношению к вопросу ТС появление в ветке VoltDB выглядит несколько преждевеременным. Да, если OLTP нагрузка на СУБД реализована в виде адхоков, то VoltDB не поможет ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2014, 00:37 |
|
Переезд на другую СУБД (mariaDB to ...)
|
|||
---|---|---|---|
#18+
Serg-ioИмеем web проект реализованный на PHP, СУБД MariaDB. Стала необходимость переехать на другую СУБД, нынешняя СУБД не вывозит уже нагрузку. Проект сделан на движке, движок поддерживает следующие СУБД MySQL (за место мускула мы поставили MariaDB), PostgreSQL, MS SQL, Oracle. Разработчики движка чего говорят? Проще всего к ним обратиться, у них тоже интерес есть доработать чтоб не тормозило. Если спросить разработчиков нет возможности, то завести лог долгоиграющих запросов, т.е. засекать время выполнения запроса и писать в лог все запросы которые выполнялись более X секунд. А дальше пытаться соптимизировать эти запросы. За этим в форум по MySQL. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2014, 12:35 |
|
|
start [/forum/topic.php?fid=35&msg=38524057&tid=1552403]: |
0ms |
get settings: |
11ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
38ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
58ms |
get tp. blocked users: |
1ms |
others: | 266ms |
total: | 401ms |
0 / 0 |