|
|
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
Друзья, добрый день! Помогите, пжлста, не можем понять в чём дело. Есть INNODB-база, размером 6Gb. На сервере практически ничего, кроме базы нет. Размер оперативной памяти -- 16Gb. Всё работало нормально, с недавних пор база начала жутко тормозить и вешать сервер, примерно вот так: Код: powershell 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Вот что показывает mytop: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. В топе самые разные запросы, время выполнения везде нулевое. Вот my.cnf: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. Mysqltuner показывает вот что: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. И вот ещё статус mysql: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2014, 21:35:02 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
Готовы заплатить за оперативное решение проблемы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2014, 21:35:42 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
во временном каталоге (обычно /tmp) что происходит? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2014, 22:23:56 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
Что попадает в mysql-slow.log ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2014, 22:28:08 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
kayuchkin Код: sql 1. Основная проблема мне видится здесь. Что-то произошло, и временные таблицы стали сваливаться на диск. Вспоминайте, что менялось непосредственно перед тем, как возникла проблема. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2014, 22:37:34 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
kayuchkinГотовы заплатить за оперативное решение проблемы. ds, хоть емейл открыли ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2014, 00:03:51 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
miksoftkayuchkin Код: sql 1. Основная проблема мне видится здесь. Что-то произошло, и временные таблицы стали сваливаться на диск. Вспоминайте, что менялось непосредственно перед тем, как возникла проблема. на моё имхо вряд ли. автор Highest connection usage: 100% (101/100) я тупо за ддос. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2014, 00:05:33 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
авторHighest connection usage: 100% (101/100)На мой взгляд это следствие того, что "Temporary tables created on disk: 48%". (пока отрабатывает один запрос, успевают набежать еще несколько). По крайней мере, не наоборот. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2014, 00:31:17 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
kayuchkin, 1. По первой картинке явственно следует что сервак тупо не справляется с нагрузкой. Особых проблем с IO операциями ФС - явно нет. 2. СВОП файл от ОС - не используется, что говорит о достатке оперативы. 3. По тюнеру: а) он прямо утверждает, что нехватает threads. б) недостаточен кеш определений таблиц. в) при избыточном буфере для иннодебилового кеша (8G при используемых 2.2G) г) недостаточно оперативы для временных таблиц. 48% записи на диск - это многа. Ну и из настроек бросается в глаза очень небольшой Join-buffer... не из-за этого создаются "времянки на диске"? Ну и похоже, что дисковая подсистема сервера - явно слабовата. У вас в основном чтение. Поставьте нормальные серверные винты, хотя бы 2шт в raid1 и получите скорость чтения ФС от 240метров в секунду, вместо 60-80. Возможно проблема в ДДОС, или его имитации. Тупо сервер не держит столько коннекций по другим местам и каждый запрос требует много мелких обращений к Мускулю ... кстати, там случаем Мускуль не настроен ДНС-ы искать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2014, 07:29:16 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
Коллеги, спасибо! Если кто-то готов взяться за решение проблемы с оплатой за результат -- пишите на kayuchkin@gmail.com ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2014, 10:13:51 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
В джентльменский набор вопрошающего нужно еще включить pt-summary или даже pt-mysql-summary. Он хотя бы приблизительное представление об конфигурации железа дает. А тут особо халявы нет. Никто еще не смог парой параметров серьезно ускорить mysql. Ну разве что innodb_flush_log_at_trx_commit, но там уже 0. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2014, 17:21:01 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
А хотя тут еще freebsd. Не уверен даже что скрипт для этой умирающей экзотики правильно выдаст конфигурацию оборудования. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2014, 17:28:27 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
miksoftkayuchkin Код: sql 1. Основная проблема мне видится здесь. Что-то произошло, и временные таблицы стали сваливаться на диск. Вспоминайте, что менялось непосредственно перед тем, как возникла проблема. А это ? Код: sql 1. не волнует ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2014, 22:58:46 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
MasterZivА это ? Код: sql 1. не волнует ?я уже отвечал на это - 17026534 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2014, 23:00:36 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
miksoftMasterZivА это ? Код: sql 1. не волнует ?я уже отвечал на это - 17026534 У них проблема скорее всего в авторПомогите, пжлста, не можем понять в чём дело . У них затык вообще в приложении, а они думают, что БД виновата. ТС, 1) включите slow query log. Гуглите прямо так "mysql slow query log". 2) Увеличте максимальное число коннекций к БД. Процентов на 50 для начала. Тут http://dev.mysql.com/doc/refman/5.5/en/too-many-connections.html сказано как. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2014, 23:15:56 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
MasterZivУ них затык вообще в приложении, а они думают, что БД виновата.в БД тоже не все гладко, как минимум. По 2 временных файла на диске каждую секунду в среднем - это все-таки не мало. Если они хотя бы по сотне-другой мегабайт, то могут полностью утилизировать пропускную способность дисковой подсистемы.MasterZiv1) включите slow query log. Гуглите прямо так "mysql slow query log".Он включен. Вопрос о содержимом лога был. Ответа не было. MasterZiv2) Увеличте максимальное число коннекций к БД. Процентов на 50 для начала.А смысл? ну встанут еще 50 сессий в очередь за ресурсами, которых нет, а толку-то? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2014, 23:30:16 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
miksoft, Да, тоже сколоняюсь к моменту о времянках. Там получается на каждый запрос к серверу-клиента (PHP?) создается примерно по 2 времянки, из которых 1 - похоже лезет на диск "всяко". Ещё смушает 17 фрагментированных таблиц... Да, slow log очень бы было полезно глянуть. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.12.2014, 11:39:59 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
Arhat109Там получается на каждый запрос к серверу-клиента (PHP?) создается примерно по 2 времянкиА выделенное откуда следует? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.12.2014, 11:48:09 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
miksoft, Up for: 1d 13h 55m 1s (47M q [346.190 qps], 280K conn и Temporary tables created on disk: 48% (246K on disk / 510K total ) примерно 1 к 2. Не? :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.12.2014, 12:59:36 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
ребята, надо искать конкретику. "сервер тормозит" - это не проблема. надо брать самый тормозящий запрос и тюнить. потом брать следующий и тюнить. и так до тех пор, пока все не будет работать хорошо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.12.2014, 13:28:36 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
MasterZivребята, надо искать конкретику. "сервер тормозит" - это не проблема. надо брать самый тормозящий запрос и тюнить. потом брать следующий и тюнить. и так до тех пор, пока все не будет работать хорошо. сразу видно с вебом вы не сталкивались. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.12.2014, 13:32:44 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
ScareCrowMasterZivребята, надо искать конкретику. "сервер тормозит" - это не проблема. надо брать самый тормозящий запрос и тюнить. потом брать следующий и тюнить. и так до тех пор, пока все не будет работать хорошо. сразу видно с вебом вы не сталкивались. да абсолютно все равно, web там или что. бд запросы выполняет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.12.2014, 13:35:24 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
ScareCrowMasterZivребята, надо искать конкретику. "сервер тормозит" - это не проблема. надо брать самый тормозящий запрос и тюнить. потом брать следующий и тюнить. и так до тех пор, пока все не будет работать хорошо. сразу видно с вебом вы не сталкивались. А в "моем" вебе эта техника нормально работает. Да и чего бы ей не работать, если люди думают и ошибаются примерно одинаково ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.12.2014, 13:39:25 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
Коллеги, добрый день! большое спасибо за ваши ответы и советы! По поводу "брать каждый запрос и тюнить": Мы давно и достаточно долго оптимизировали структуру базы и запросы, проверяли что везде используются нужные индексы и т.д. Более того, этот проект ( http://puzzleit.ru) существует уже несколько лет, до этого он крутился на одном сервере при посещаемости около 200-300 просмотров страниц в сутки, сервер справлялся вообще без напрягов, проблем не было. Недавно перенесли базы на отдельный сервер (он у нас пустовал -- такой же конфигурации, в этом же дата-центре, только оперативной памяти вдвое больше). После этого начались проблемы с базой. Очевидно, что проблема где-то в неправильной настройке базы или сервера, а не в неоптимизированных запросах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.12.2014, 18:58:42 |
|
||
|
Срочно нужна помощь с оптимизацией INNODB
|
|||
|---|---|---|---|
|
#18+
Дополню по результатам просмотра на серверах: 1. С фряхой последний раз общался году в 93-м, поэтому нифига не помню где там и что ... не судить строго. 2. На обоих серверах стоит Мускуль, slow log есть и там и там, но с разным размером и датой: На "основном серваке puzzleit.ru - он большой 366.7М от 21.12 03:10, а на серваке с БД - "маленький" 1.4М от 21.12 20:22. Пока шарился - размеры файлов не менялись. Времена - тоже. Или на серверах не настроено единое время ... или это разные БД. Где лежат файлы настройки Мускуля и файлы реплики, если таковая есть - не нашел. В обоих логах есть запросы с левыми джойнами к 3 табличкам и с временем выполнения от 6.8 до 29 сек. При этом Мускуль просматривает от 1 до 4 миллионов записей с итогом выдачи от пусто до 5000... из характера запросов - не обнаружил необходимость именно левого соединения... но там похоже или какая-то cms или фреймворк. Возможно левое соединение генерится автоматически. Это уже к автору. Можно предположить, что ПХП-клиент с одного сервера обращается к БД на другой ... или нет? В общем, кто лучше знает free bsd unix, тому и карты. :) Не разобравшись с конфигурацией, смотреть саму БД не вижу смысла. Похоже, что косяк именно промеж серверов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.12.2014, 19:56:02 |
|
||
|
|

start [/forum/topic.php?fid=47&msg=38838544&tid=1833754]: |
0ms |
get settings: |
12ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
179ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
87ms |
get tp. blocked users: |
2ms |
| others: | 200ms |
| total: | 512ms |

| 0 / 0 |
