Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / ограничение пользоватей mysql для debian / 15 сообщений из 15, страница 1 из 1
19.02.2014, 12:45
    #38565896
forward12
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
Всем привет.
Вобщем есть вдс под управлением дебиан.
Под ним 2 десятка баз данных и столько же сайтов. Базы не маленькие, некоторые больше 1 гб и активно обновляются. Иногда на столько активно что мускулный сервис еле работает а то и вообще падет и ресурсов не хватает даже для nginx.
Собственно появилось желание ограничить пользователей каждой базы определенным процесорным лимитом или лимитом оперативы.
Сам мускул предоставляет возможность сделать лимиты по количеству запросов.
Но запросы не самый удачный вариант, ибо не всегда их количество определяет загрузку сервера.
Есть ли под дебиан спецаильный сервис для лимитированния нагрузки на БД?
...
Рейтинг: 0 / 0
19.02.2014, 14:41
    #38566201
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
Есть лимитирование для юникс-пользователей. Есть возможность не слишком штатными средствами запустить несколько экземпляров мускуля под различными юникс-пользователями. Таким образом можно сделать какое-то разграничение. Однако, суммарное потребление памяти несколькими экземплярами мускуля может оказаться выше, скорее всего.
...
Рейтинг: 0 / 0
19.02.2014, 14:51
    #38566226
miwaonline
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
forward12Всем привет.
Вобщем есть вдс под управлением дебиан.
Под ним 2 десятка баз данных и столько же сайтов. Базы не маленькие, некоторые больше 1 гб и активно обновляются.

А докупить/проапгрейдить ВДС что мешает?
...
Рейтинг: 0 / 0
19.02.2014, 15:11
    #38566271
forward12
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
miwaonlineforward12Всем привет.
Вобщем есть вдс под управлением дебиан.
Под ним 2 десятка баз данных и столько же сайтов. Базы не маленькие, некоторые больше 1 гб и активно обновляются.

А докупить/проапгрейдить ВДС что мешает?
ресурсов вдс зачастую хватает с головой. Там 24 гб оперативы и проц ай7.
Траблы вызалят иногда, часто это связанно в ошибками кодинга. На сервере ряд самписных движков и другого самописного софта. Ошибки в их кодинге могут скушать ресурсы практически любого вдс :)
...
Рейтинг: 0 / 0
19.02.2014, 15:21
    #38566294
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
forward12Траблы вызалят иногда, часто это связанно в ошибками кодинга. На сервере ряд самписных движков и другого самописного софта. Ошибки в их кодинге могут скушать ресурсы практически любого вдс :)Ошибки наверняка могут приложить не только СУБД. Именно поэтому есть смысл разделять по юникс-пользователям. Каждому - свой лимит ресурсов.
...
Рейтинг: 0 / 0
19.02.2014, 15:27
    #38566301
forward12
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
vkleforward12Траблы вызалят иногда, часто это связанно в ошибками кодинга. На сервере ряд самписных движков и другого самописного софта. Ошибки в их кодинге могут скушать ресурсы практически любого вдс :)Ошибки наверняка могут приложить не только СУБД. Именно поэтому есть смысл разделять по юникс-пользователям. Каждому - свой лимит ресурсов.
пока смотрю в сторону Cgroups
...
Рейтинг: 0 / 0
19.02.2014, 16:01
    #38566387
miwaonline
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
forward12miwaonlineпропущено...


А докупить/проапгрейдить ВДС что мешает?
ресурсов вдс зачастую хватает с головой. Там 24 гб оперативы и проц ай7.
Траблы вызалят иногда, часто это связанно в ошибками кодинга. На сервере ряд самписных движков и другого самописного софта. Ошибки в их кодинге могут скушать ресурсы практически любого вдс :)
С ошибками и нюансами кодинга конечно спорить сложно, но меня в первую очередь волновала бы дисковая подсистема. Пара десятков баз данных с активной работой могуть забить дисковую очередь наглухо и все ваши гигагерцы с гигабайтами будут тупо ждать ответа диска/дисков.

Так что я бы в первую очередь смотрел загрузку по дискам (ну и проц/память тоже, конечно) в момент затыков, а уже потом думал. Но думал бы опять же скорее в сторону железа. Или поиска узких мест в самописном софте.
...
Рейтинг: 0 / 0
19.02.2014, 17:46
    #38566593
forward12
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
miwaonlineforward12пропущено...

ресурсов вдс зачастую хватает с головой. Там 24 гб оперативы и проц ай7.
Траблы вызалят иногда, часто это связанно в ошибками кодинга. На сервере ряд самписных движков и другого самописного софта. Ошибки в их кодинге могут скушать ресурсы практически любого вдс :)
С ошибками и нюансами кодинга конечно спорить сложно, но меня в первую очередь волновала бы дисковая подсистема. Пара десятков баз данных с активной работой могуть забить дисковую очередь наглухо и все ваши гигагерцы с гигабайтами будут тупо ждать ответа диска/дисков.

Так что я бы в первую очередь смотрел загрузку по дискам (ну и проц/память тоже, конечно) в момент затыков, а уже потом думал. Но думал бы опять же скорее в сторону железа. Или поиска узких мест в самописном софте.
баги в софте отловили. Но могут появится новые баги, ибо софт развивается и пишут его часто авральными темпами. Касательно вашего замечания о расходе оперативы и нагрузки на винты то это конечно правильно. На сервере стоит atop. И периодически я на него смотрю. Не все я там еще понимаю но документацию изучаю. Еще настроил протоколирование запросов. Каждые 15 секунд читатю список процесов с мускула и сохраняю в лог. Дабы понять кто больше всего одеяло тянят на себя.
...
Рейтинг: 0 / 0
19.02.2014, 17:56
    #38566613
bga83
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
forward12Каждые 15 секунд читатю список процесов с мускула и сохраняю в лог. Дабы понять кто больше всего одеяло тянят на себя.
логичнее было бы логировать долго выполняющиеся запросы, с целью анализа их оптимизации
...
Рейтинг: 0 / 0
19.02.2014, 18:30
    #38566654
forward12
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
bga83forward12Каждые 15 секунд читатю список процесов с мускула и сохраняю в лог. Дабы понять кто больше всего одеяло тянят на себя.
логичнее было бы логировать долго выполняющиеся запросы, с целью анализа их оптимизации
у меня в логах все запросы, а также срок их выполнения и статусы. Разбором полетов заниматся буду.
...
Рейтинг: 0 / 0
24.02.2014, 12:55
    #38570357
forward12
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
вобщем пока выручает меня лимит запросов в час, установленный на мускульную базу пробелемного сайта. Который полюбили во всех смыслах слова, ддосеры. Смотрел логи сервера. Атакуют его с 3-5 айпишников и много потоков создают. В общей сложности иногда пару сотен запросов в секунду. Айпишники разных стран Европы и Китая. Хотя сайт тупо на русском, и комерческого интереса для иностранцев не представляет вообще.
Пока баню айпишники и на 2-3 дня это помагает. Иногда на пол дня. Так или иначе теперь другие БД сервера не нагружены, когда проблемная БД выбирает лимит запросов.
...
Рейтинг: 0 / 0
24.02.2014, 16:23
    #38570654
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
forward12,

Не знаю, подойдет ли и насколько оно окажется вредно/полезно.... А средствами вебсервера или скриптов сайта не получится ограничит число запросов от айпи-адреса в единицу времени?
...
Рейтинг: 0 / 0
24.02.2014, 19:51
    #38570888
VGrey
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
forward12вобщем пока выручает меня лимит запросов в час, установленный на мускульную базу проблемного сайта. Который полюбили во всех смыслах слова, ддосеры.

Установив лимит запросов в час для проблемного сайта, Вы помогаете ддосерам получить отказ в обслуживании? Не кажется ли Вам странным такой подход?
По идее, Ваша задача должна быть не в помощи ддосерам, а наоборот, сохранить работоспособность сайта для легитимных пользователей.

forward12Атакуют его с 3-5 айпишников и много потоков создают. В общей сложности иногда пару сотен запросов в секунду.

Такого рода "проблемы" решаются с помощью ngx_http_limit_conn_module и ngx_http_limit_req_module . В этом случае ддосер получает ошибку а нормальные пользователи продолжают нормально работать.
Дальше логично предположить, что Ваши проблемы с мускулом вполне могут быть следствием отсутствия соответствующих ограничений.

forward12 , обращайтесь по контактам в профиле, я Вам многое расскажу и покажу на работающих примерах, как о nginx-лимитах, так и о настройке мускула. Тем более, что консультирую я "бездвоздмездно, тоеть даром"(с), особенно тех, кто искренне пытается разобраться :).

---
Виктор
...
Рейтинг: 0 / 0
24.02.2014, 19:55
    #38570889
forward12
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
VGrey,

спасибо. Сейчас займусь конфигурацией сервера, согласно ваших предложений.
...
Рейтинг: 0 / 0
24.02.2014, 21:30
    #38570948
forward12
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ограничение пользоватей mysql для debian
сапорт помог сделать ограничение с помощью модуля mod-evasive.
Посмотрим как будут вести себя досеры.
...
Рейтинг: 0 / 0
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / ограничение пользоватей mysql для debian / 15 сообщений из 15, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]