|
|
|
MySQL и 100000 inserts каждые 5 минут?
|
|||
|---|---|---|---|
|
#18+
Сейчас работает система: Server: x86, OS: Solaris 10, DB: MySQL 4.1 MyISAM Каждые 5 минут в базу (2-5 таблиц) пишутся данные в объеме 50000 - 100000 строк. Приложение работающее в режиме только на чтение, простой веб-интерфейс на PHP, сильно тормозит похоже из-за нагрузки (оптимизация SQL запросов и построение индексов уже проведена), mysql_dump на сколько я понимаю во время работы локирует базу на запись, получается не подходит для бэкапа, остановить сервер нельзя. Размер базы пока достиг 30 Гб. Принял решение поставить второй сервер и сделать репликацию. Переключить приложение на слэйв в режиме только на чтение, а мастер оставить только на запись. Бэкап делать холодным или mysql_dump со слэйва. Вопросы: 1. Можно ли и правильно ли так делать и какие подводые камни можно ожидать? 2. Нужно ли делать обновление обоих серверов до MySQL 5.x и переходить на INNODB? 3. Есть ли выйгрышь, если перейти на PostgreSQL 8.3 со стороними решениями для репликации, например SkypeTools? Поскольку опыта в плане масштабирования и распределения нагрузки практически нет, буду признателен за советы или ссылки, где подобные системы рассматриваются. Заранее спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2008, 06:25 |
|
||
|
MySQL и 100000 inserts каждые 5 минут?
|
|||
|---|---|---|---|
|
#18+
STEКаждые 5 минут в базу (2-5 таблиц) пишутся данные в объеме 50000 - 100000 строк.пишется как именно? STEоптимизация SQL запросовуверены? и оптимизация самого приложения тоже проведена? STEпостроение индексов уже проведеналишних не понаделали? STEmysql_dumpвы документацию по этой команде читали? mysqldumpIf you are doing a backup on the server and your tables all are MyISAM tables, consider using the mysqlhotcopy instead because it can accomplish faster backups and faster restores. STEНужно ли делать обновление обоих серверов до MySQL 5.x и переходить на INNODB?а как вы связываете одно с другим? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2008, 14:23 |
|
||
|
MySQL и 100000 inserts каждые 5 минут?
|
|||
|---|---|---|---|
|
#18+
я не особый спец в mysql, если что пусть более знающие поправят не уверен что репликация решит проблемы. На колько я знаю в mysql replication это грубо говоря повторение всех изменяющих данные SQL запросов на слейве. То естъ сейчас 100000 INSERTS происходят на одном сервере, а будут просиходитъ на двух одновременно. сейчас: СЕРВЕР А 100000 INSERTS + n SELECTS будет: СЕРВЕР A(master) 100000 INSERTS; СЕРВЕР B(slave) 100000 INSERTS + n SELECTS; + гимор с репликацией не вижу пючему будет быстрее ------------------------------------------------------------------------------------------------ вас уже спросили, как именно вы пишите в базу? INSERT или что еще ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2008, 01:12 |
|
||
|
MySQL и 100000 inserts каждые 5 минут?
|
|||
|---|---|---|---|
|
#18+
Konstantin~я не особый спец в mysql, если что пусть более знающие поправят не уверен что репликация решит проблемы. На колько я знаю в mysql replication это грубо говоря повторение всех изменяющих данные SQL запросов на слейве. То естъ сейчас 100000 INSERTS происходят на одном сервере, а будут просиходитъ на двух одновременно. сейчас: СЕРВЕР А 100000 INSERTS + n SELECTS будет: СЕРВЕР A(master) 100000 INSERTS; СЕРВЕР B(slave) 100000 INSERTS + n SELECTS; + гимор с репликацией не вижу пючему будет быстрее ------------------------------------------------------------------------------------------------ вас уже спросили, как именно вы пишите в базу? INSERT или что еще Да: INSERT ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2008, 06:24 |
|
||
|
MySQL и 100000 inserts каждые 5 минут?
|
|||
|---|---|---|---|
|
#18+
наверно надо глядеть в сторону того чтобы обьеденить кучу INSERTов в одну операцию. Например писать в текстовый файл а оттуда переодически заливать данные в базы. У postgresql есть команда COPY а у mysql вроде есть что-то похожее (google: "bulk insert mysql") ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2008, 10:11 |
|
||
|
MySQL и 100000 inserts каждые 5 минут?
|
|||
|---|---|---|---|
|
#18+
STEДа: INSERT О великий и ужасный аффтар! Открой нам, недостойным тайну великую: откуда берётся информация в количестве таком немерянном??? Сгенерировать сто тысяч записей за пять минут может не каждый источник. Большой Адронный Коллайдер, конечно, может. Тополь-М при запуске - легко. Но рядом с такими объектами идиотов вроде бы не держат... Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2008, 11:41 |
|
||
|
MySQL и 100000 inserts каждые 5 минут?
|
|||
|---|---|---|---|
|
#18+
100к записей за 5 минут это примерно 330 записей в секунду. значит, это 20к записей в минуту 120к записей в час 2млн880к записей в сутки 1млрд 51млн 200к записей в год. если предположить, что одна запись это 100 байт, то за год получится 1 терабайт и 50 гиг. это я так, на всякий случай, чтобы автор знал, к чему готовиться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2008, 12:03 |
|
||
|
MySQL и 100000 inserts каждые 5 минут?
|
|||
|---|---|---|---|
|
#18+
kdvэто я так, на всякий случай, чтобы автор знал, к чему готовиться. К смене СУБД?! ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2008, 12:05 |
|
||
|
MySQL и 100000 inserts каждые 5 минут?
|
|||
|---|---|---|---|
|
#18+
Hello, pkarklin! You wrote on Fri, 03 Oct 08 09:05:53 GMT: pkarklin kdvэто я так, на всякий случай, чтобы автор знал, к чему готовиться. p> К смене СУБД?! ;)скорее, к сдаче, либо несдаче курсовика -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2008, 12:23 |
|
||
|
MySQL и 100000 inserts каждые 5 минут?
|
|||
|---|---|---|---|
|
#18+
FYI: такое кол-во инфы-в-секунду часто бывает когда пишут логи с сайтов/скриптов напрямую в базу или инфу с датчиков. Вполне может быть и не курсовик. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2008, 12:53 |
|
||
|
MySQL и 100000 inserts каждые 5 минут?
|
|||
|---|---|---|---|
|
#18+
Hello, Konstantin~! You wrote on Fri, 03 Oct 08 09:53:27 GMT: Konstantin~ K> Вполне может быть и не курсовик.те у которых "не курсовик", не задают такие вопросы. -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2008, 13:00 |
|
||
|
MySQL и 100000 inserts каждые 5 минут?
|
|||
|---|---|---|---|
|
#18+
Мимопроходящий Hello, Konstantin~! You wrote on Fri, 03 Oct 08 09:53:27 GMT: Konstantin~ K> Вполне может быть и не курсовик.те у которых "не курсовик", не задают такие вопросы. -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 Всем спасибо. Вот мои пояснения сразу всем: Забыл упомянуть что сервер имеет только 2Гб памяти. Мимопроxодящий: Проxоди мимо! Извини нет времени на тебя, я сюда пришел за помощью и профессиомнальным общением. Konstantin: Спасибо, дельное замечание. Dimitry Sibiryakovу: Даные идут с сетевыx девайсов на прямую. По-поводу "рядом с такими объектами идиотов вроде бы не держат" не знаю. Наверное стоит в первую очередь начинать высказывания так же как и изменение мира - с себя. kdv: Спасибо, xороший прогноз. Поэтому то я и решил посоветоваться со спецами какая база для такиx задач лучше и как такие нагрузки балансировать (а не выслушивать всякиx мимопроxодящиx :). pkarklin: В последнее время только об этом и думаю как ниxотелось, но видимо прийдется. 30 Гб данныx получились за 6 месяцев, так что расчеты kdv близки к правде, если не учитывать что это не все девайсы подключены. Наверное я пойду в конкретные форумы по базам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2008, 20:09 |
|
||
|
MySQL и 100000 inserts каждые 5 минут?
|
|||
|---|---|---|---|
|
#18+
STEНаверное я пойду в конкретные форумы по базам. Во-во, иди-иди в форумы по базам. А SQL-сервера оставь в покое. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2008, 23:05 |
|
||
|
|

start [/forum/topic.php?fid=35&msg=35574402&tid=1553049]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
45ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
55ms |
get tp. blocked users: |
1ms |
| others: | 13ms |
| total: | 158ms |

| 0 / 0 |
