|
|
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
Здравствуйте! Имеется сервер с nginx+php+mysql В сезонное время стали появляться проблемы с производительностью БД. Поэтому решили перенести базу данных на отдельную машину. После переноса и запуска появилась проблема: Если раньше просто подтормаживал сайт при большой нагрузке, то сейчас даже при маленькой все процессы MySQL долго висят в Writting to net.., потом в Locked... и в итоге все php воркеры заняты и ждут выполнения запросов. Запросы в итоге выполняются, но очень долго. Базу перенесли просто копированием папки /var/db/mysql, не знаю насколько это плохо или хорошо. Конфиг на отдельный сервер БД был скопирован с исходной машины, так что тут ничего не изменилось. Только версию MySQL сервера пришлось понизить 5.5.9 -> 5.0 На сервере БД стоит SLES, на исходной машине FreeBSD. Также на сервере БД поставили RAID 0 с двумя дисками по 15 об/мин, что должно было ускорить работу, а не замедлить. Именно из-за рейда пришлось ставить SLES - драйвера контроллера на другие системы было ставить проблематично. Да и тут пришлось ставить сначала систему на другой жесткий диск, поскольку драйвер не удается подключить во время установки, а только уже после. Ещё БД пришлось из /var перенести на смонтированный раздел рейда и изменить datadir в конфиге MySQL. Кто подскажет в чём может быть проблема, куда копать? P.S. Загрузка CPU очень низкая на обоих машинах, памяти свободной не меньше половины, сетевого канала тоже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2012, 17:47 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
3D-GRAFБазу перенесли просто копированием папки /var/db/mysql, не знаю насколько это плохо или хорошо.Если версии мускуля на исходной и целевой машинах идентичны - это нормально. 3D-GRAFверсию MySQL сервера пришлось понизить 5.5.9 -> 5.0Гхм... такой перенос рекомендуют делать через дамп. 3D-GRAFпроцессы MySQL долго висят в Writting to netБольшие объемы данных? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2012, 21:21 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
Вся база 9 Гб занимает, самая большая таблица 6 Гб. На исходной машине проблем с производительностью почти нет, процессы быстро отрабатывают. Честно говоря нет опыта переноса дампов такого объёма, стандартных утилит хватит? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2012, 22:16 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
3D-GRAFВся база 9 Гб занимает, самая большая таблица 6 Гб. На исходной машине проблем с производительностью почти нет, процессы быстро отрабатывают. Честно говоря нет опыта переноса дампов такого объёма, стандартных утилит хватит? Дампы не такие уж и большие, стандартных утилит, конечно-же, за глаза хватит. Если что, обращайтесь, помогу-подскажу. А вот версию мускула Вы зря понизили, 5.5.Х чуток производительней. База у Вас в MyIsam? О переводе на InnoDB думали? --- ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.08.2012, 10:32 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
Попробовать с innodb_flush_log_at_trx_commit=2 ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.08.2012, 21:36 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
Почти все таблицы MyISAM. Всего несколько InnoDB. Раз других предложений нет, я думаю имеет смысл поставить все-таки аналогичную версию MySQL. Тогда и надобности в дампе не будет, верно? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.08.2012, 21:41 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
Предложения уже как минимум 2: -перевести таблицы в InnoDb -сменить innodb_flush_log_at_trx_commit Переставляя версии туда-сюда вряд ли чего-то добьетесь. А для чего нужен был откат до 5.0? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.08.2012, 22:04 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
На сервере с БД другая система и там по умолчанию скачался более старый MySQL. На исходном сервере на MyISAM все неплохо работает, почему на другой машине должно быть по-другому? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.08.2012, 22:39 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
Вот, что ещё заметил. На машинах вроде как стоят гигабитные карточки, но по scp файлы передавались ~10Mb/s Может ли быть дело в проводе? Там соединение 50 см кабелем. В MySQL статистика по трафику авторТрафик ø в час Принято 10.0 ГБ 0.3 ГБ Отправлено 1.9 ТБ 53.1 ГБ Всего 1.9 ТБ 53.3 ГБ 53.1 ГБ отправляется за час, то есть порядка 15 МБ за секунду. Во-первых, меня смущают цифры, как-то слишком много. А во-вторых, если это правда, то скорости 10Mb/s и правда не хватает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.08.2012, 02:52 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
3D-GRAFНа исходном сервере на MyISAM все неплохо работает, почему на другой машине должно быть по-другому? Если у Вас на исходном сервере все так неплохо, то зачем Вам второй сервер? --- ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.08.2012, 11:35 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
авторНа машинах вроде как стоят гигабитные карточки, но по scp файлы передавались ~10Mb/s Может ли быть дело в проводе? Там соединение 50 см кабелем. Кабель 8-ми жильный хоть? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.08.2012, 11:37 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
VGrey3D-GRAFНа исходном сервере на MyISAM все неплохо работает, почему на другой машине должно быть по-другому? Если у Вас на исходном сервере все так неплохо, то зачем Вам второй сервер? --- Сказали же, сервер не справлялся и вынесли СУБД на более мощную машину ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.08.2012, 11:37 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
3D-GRAFНа машинах вроде как стоят гигабитные карточки, но по scp файлы передавались ~10Mb/s Может ли быть дело в проводе?Возможно, провод/сетевухи тут ни при чем. Сам по себе scp работает несколько медленнее, чем, скажем, ftp. Особенно заметно на слабых машинах. Дело в том, что на передаче файл (поток) шифруется, а на приеме - в обратку. Процесс сам по себе достаточно ресурсоемкий. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.08.2012, 11:49 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
У меня спокойной до 100МБ доходит скорость по SCP ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.08.2012, 11:50 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
Зависит от загруженности сервера, производительности процессора... ТС в первом же посте сообщил что на сервере имеются проблемы с производительностью. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.08.2012, 12:00 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
Да как-то подозрительно, если скорость держится в районе именно 10 :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.08.2012, 12:13 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
да и авторP.S. Загрузка CPU очень низкая на обоих машинах, памяти свободной не меньше половины, сетевого канала тоже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.08.2012, 12:14 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
Про провод спрошу. Но с цифрами я правильно все понял, что мне скорости сетевой не хватает? В свое время было написано много запросов вида "SELECT *...". Тогда это никакой роли не играло, потому что все происходило на той же машине. А сейчас трафик гоняется через сеть, так что тут я так понимаю это стало критично и надо исправлять. Но вот 1 Гбит/с по идее все равно бы хватило, но почему-то судя по scp только 100 Мбит/с работает. Я конечно попробую ftp, но врятли это поможет. По поводу производительности уточняю: Сейчас, когда сезона нет, посещаемость небольшая, соответственно нагрузки особой нет, но в сезон появляются проблемы с производительностью, поэтому решили сейчас, пока проблем нет, заранее подготовиться и перенести на отдельный. Но вот вся соль в том, что даже сейчас, в не сезон, на отдельной машине проблемы. А что же будет потом, страшно предположить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.08.2012, 14:46 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
Код: sql 1. Много - это сколько? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.08.2012, 14:48 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.08.2012, 14:50 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
3D-GRAFПро провод спрошу. Но с цифрами я правильно все понял, что мне скорости сетевой не хватает? В свое время было написано много запросов вида "SELECT *...". Тогда это никакой роли не играло, потому что все происходило на той же машине. А сейчас трафик гоняется через сеть, так что тут я так понимаю это стало критично и надо исправлять. Но вот 1 Гбит/с по идее все равно бы хватило, но почему-то судя по scp только 100 Мбит/с работает. Я конечно попробую ftp, но врятли это поможет. Вы хоть понимаете, что скорость по scp и скорость работы базы под SQL-сервером MySQL 2-е разные вещи? Используя плохо спроектированную базу и неоптимизированные запросы вы можете убить любой сервак вне зависимости от скорости сети на которой он подключен... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.08.2012, 15:47 |
|
||
|
Перенос базы MySQL на отдельную машину
|
|||
|---|---|---|---|
|
#18+
3D-GRAF15 МБ за секунду. Во-первых, меня смущают цифры, как-то слишком много. 1) В современных недосерверах на сетевых платах есть опция tcp offloading/checksumming. Якобы для разгрузки CPU предназначено, на самом деле оно гигабитную плату превращает в 150-200 мегабитную. Кури бабмук на предмет ethtool ethtool --show-offload ethX ethtool -k ethX ethtool --offload ethX rx off tx off 2) То, что вы mysql передвинули на другой сервер (внеся задержки tcp/ip там где их не было), да еще и понизили версию и наверняка не потюнили размер кешей (всякие _buffer_size) это все признак не очень большого ума опыта. Пригласите +- спеца по mysql performance тюнингу, будет вам счастье (если найдете такого). Плюс верните обратно все на один сервер (т.е. просто купите сервер помощнее). А второй ящик лучше задействовать под memcache какой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.08.2012, 16:08 |
|
||
|
|

start [/forum/topic.php?fid=25&msg=37922402&tid=1483390]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
162ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
54ms |
get tp. blocked users: |
2ms |
| others: | 13ms |
| total: | 272ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...