powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Перенос базы MySQL на отдельную машину
22 сообщений из 22, страница 1 из 1
Перенос базы MySQL на отдельную машину
    #37921714
3D-GRAF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Здравствуйте!

Имеется сервер с nginx+php+mysql
В сезонное время стали появляться проблемы с производительностью БД.
Поэтому решили перенести базу данных на отдельную машину.
После переноса и запуска появилась проблема:
Если раньше просто подтормаживал сайт при большой нагрузке, то сейчас даже при маленькой все процессы MySQL долго висят в Writting to net.., потом в Locked... и в итоге все php воркеры заняты и ждут выполнения запросов. Запросы в итоге выполняются, но очень долго. Базу перенесли просто копированием папки /var/db/mysql, не знаю насколько это плохо или хорошо.

Конфиг на отдельный сервер БД был скопирован с исходной машины, так что тут ничего не изменилось. Только версию MySQL сервера пришлось понизить 5.5.9 -> 5.0

На сервере БД стоит SLES, на исходной машине FreeBSD.
Также на сервере БД поставили RAID 0 с двумя дисками по 15 об/мин, что должно было ускорить работу, а не замедлить. Именно из-за рейда пришлось ставить SLES - драйвера контроллера на другие системы было ставить проблематично. Да и тут пришлось ставить сначала систему на другой жесткий диск, поскольку драйвер не удается подключить во время установки, а только уже после. Ещё БД пришлось из /var перенести на смонтированный раздел рейда и изменить datadir в конфиге MySQL.

Кто подскажет в чём может быть проблема, куда копать?

P.S. Загрузка CPU очень низкая на обоих машинах, памяти свободной не меньше половины, сетевого канала тоже.
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37921809
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
3D-GRAFБазу перенесли просто копированием папки /var/db/mysql, не знаю насколько это плохо или хорошо.Если версии мускуля на исходной и целевой машинах идентичны - это нормально.

3D-GRAFверсию MySQL сервера пришлось понизить 5.5.9 -> 5.0Гхм... такой перенос рекомендуют делать через дамп.

3D-GRAFпроцессы MySQL долго висят в Writting to netБольшие объемы данных?
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37921830
3D-GRAF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Вся база 9 Гб занимает, самая большая таблица 6 Гб.
На исходной машине проблем с производительностью почти нет, процессы быстро отрабатывают.

Честно говоря нет опыта переноса дампов такого объёма, стандартных утилит хватит?
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37922006
VGrey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
3D-GRAFВся база 9 Гб занимает, самая большая таблица 6 Гб.
На исходной машине проблем с производительностью почти нет, процессы быстро отрабатывают.

Честно говоря нет опыта переноса дампов такого объёма, стандартных утилит хватит?

Дампы не такие уж и большие, стандартных утилит, конечно-же, за глаза хватит. Если что, обращайтесь, помогу-подскажу.
А вот версию мускула Вы зря понизили, 5.5.Х чуток производительней.
База у Вас в MyIsam? О переводе на InnoDB думали?

---
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37922273
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Попробовать с innodb_flush_log_at_trx_commit=2 ?
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37922277
3D-GRAF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Почти все таблицы MyISAM.
Всего несколько InnoDB.

Раз других предложений нет, я думаю имеет смысл поставить все-таки аналогичную версию MySQL.
Тогда и надобности в дампе не будет, верно?
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37922286
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Предложения уже как минимум 2:
-перевести таблицы в InnoDb
-сменить innodb_flush_log_at_trx_commit
Переставляя версии туда-сюда вряд ли чего-то добьетесь.
А для чего нужен был откат до 5.0?
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37922296
3D-GRAF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
На сервере с БД другая система и там по умолчанию скачался более старый MySQL.
На исходном сервере на MyISAM все неплохо работает, почему на другой машине должно быть по-другому?
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37922402
3D-GRAF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Вот, что ещё заметил.
На машинах вроде как стоят гигабитные карточки, но по scp файлы передавались ~10Mb/s
Может ли быть дело в проводе? Там соединение 50 см кабелем.

В MySQL статистика по трафику
авторТрафик ø в час
Принято 10.0 ГБ 0.3 ГБ
Отправлено 1.9 ТБ 53.1 ГБ
Всего 1.9 ТБ 53.3 ГБ

53.1 ГБ отправляется за час, то есть порядка 15 МБ за секунду.
Во-первых, меня смущают цифры, как-то слишком много.
А во-вторых, если это правда, то скорости 10Mb/s и правда не хватает.
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37922713
VGrey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
3D-GRAFНа исходном сервере на MyISAM все неплохо работает, почему на другой машине должно быть по-другому?

Если у Вас на исходном сервере все так неплохо, то зачем Вам второй сервер?

---
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37922717
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторНа машинах вроде как стоят гигабитные карточки, но по scp файлы передавались ~10Mb/s
Может ли быть дело в проводе? Там соединение 50 см кабелем.
Кабель 8-ми жильный хоть?
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37922718
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VGrey3D-GRAFНа исходном сервере на MyISAM все неплохо работает, почему на другой машине должно быть по-другому?

Если у Вас на исходном сервере все так неплохо, то зачем Вам второй сервер?

---
Сказали же, сервер не справлялся и вынесли СУБД на более мощную машину
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37922732
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
3D-GRAFНа машинах вроде как стоят гигабитные карточки, но по scp файлы передавались ~10Mb/s
Может ли быть дело в проводе?Возможно, провод/сетевухи тут ни при чем. Сам по себе scp работает несколько медленнее, чем, скажем, ftp. Особенно заметно на слабых машинах. Дело в том, что на передаче файл (поток) шифруется, а на приеме - в обратку. Процесс сам по себе достаточно ресурсоемкий.
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37922735
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У меня спокойной до 100МБ доходит скорость по SCP
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37922747
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Зависит от загруженности сервера, производительности процессора... ТС в первом же посте сообщил что на сервере имеются проблемы с производительностью.
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37922762
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да как-то подозрительно, если скорость держится в районе именно 10 :)
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37922763
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
да и

авторP.S. Загрузка CPU очень низкая на обоих машинах, памяти свободной не меньше половины, сетевого канала тоже.
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37923057
3D-GRAF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Про провод спрошу.
Но с цифрами я правильно все понял, что мне скорости сетевой не хватает?
В свое время было написано много запросов вида "SELECT *...". Тогда это никакой роли не играло, потому что все происходило на той же машине. А сейчас трафик гоняется через сеть, так что тут я так понимаю это стало критично и надо исправлять. Но вот 1 Гбит/с по идее все равно бы хватило, но почему-то судя по scp только 100 Мбит/с работает. Я конечно попробую ftp, но врятли это поможет.

По поводу производительности уточняю:
Сейчас, когда сезона нет, посещаемость небольшая, соответственно нагрузки особой нет, но в сезон появляются проблемы с производительностью, поэтому решили сейчас, пока проблем нет, заранее подготовиться и перенести на отдельный.
Но вот вся соль в том, что даже сейчас, в не сезон, на отдельной машине проблемы. А что же будет потом, страшно предположить.
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37923063
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Код: sql
1.
В свое время было написано много запросов вида "SELECT *...". 


Много - это сколько?
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37923066
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37923189
Sergey Orlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
3D-GRAFПро провод спрошу.
Но с цифрами я правильно все понял, что мне скорости сетевой не хватает?
В свое время было написано много запросов вида "SELECT *...". Тогда это никакой роли не играло, потому что все происходило на той же машине. А сейчас трафик гоняется через сеть, так что тут я так понимаю это стало критично и надо исправлять. Но вот 1 Гбит/с по идее все равно бы хватило, но почему-то судя по scp только 100 Мбит/с работает. Я конечно попробую ftp, но врятли это поможет.

Вы хоть понимаете, что скорость по scp и скорость работы базы под SQL-сервером MySQL 2-е разные вещи? Используя плохо спроектированную базу и неоптимизированные запросы вы можете убить любой сервак вне зависимости от скорости сети на которой он подключен...
...
Рейтинг: 0 / 0
Перенос базы MySQL на отдельную машину
    #37923236
3D-GRAF15 МБ за секунду.
Во-первых, меня смущают цифры, как-то слишком много.

1) В современных недосерверах на сетевых платах есть опция tcp offloading/checksumming. Якобы для разгрузки CPU предназначено, на самом деле оно гигабитную плату превращает в 150-200 мегабитную.

Кури бабмук на предмет ethtool

ethtool --show-offload ethX
ethtool -k ethX
ethtool --offload ethX rx off tx off

2) То, что вы mysql передвинули на другой сервер (внеся задержки tcp/ip там где их не было), да еще и понизили версию и
наверняка не потюнили размер кешей (всякие _buffer_size) это все признак не очень большого ума опыта.

Пригласите +- спеца по mysql performance тюнингу, будет вам счастье (если найдете такого).

Плюс верните обратно все на один сервер (т.е. просто купите сервер помощнее). А второй ящик лучше задействовать под memcache какой.
...
Рейтинг: 0 / 0
22 сообщений из 22, страница 1 из 1
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Перенос базы MySQL на отдельную машину
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]