powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / PHP+MySQL: тормозит добавление записи в таблицу
25 сообщений из 81, страница 3 из 4
PHP+MySQL: тормозит добавление записи в таблицу
    #39718568
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
innodb pool buffer size увеличить еще можно, раз чтение затыкается.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39718577
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hett,

А смысл? На уровне MySQL проблем нет, запросы отрабатывают за доли миллисекунд.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39718601
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ага, интересная ситуация, когда в отдельных точках, проверяемых наугад, проблем нет, а в целом проблема есть.
Наверно, самое время для более подробного описания конфигурации используемого ПО и, вероятно, железа. Думается, есть смысл поглядеть за изменением загрузки CPU, использованием памяти и топом процессов во время теста.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39718617
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
да неее, давайте еще страниц 10 погадаем, потом посмотрим во что сервер упирается, если конечно ТС соизволит
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39718665
gpbetatesting
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Сервер на Debian 7, 4 ядра (4G RAM), PHP 5.6.36. Мысли об апгрейде железа под нагрузки были, но есть ощущение, что первоочередная причина в оптимизации.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39718697
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gpbetatesting,

Про ПО, его архитектуру и конфигурацию расскажите?
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39718703
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
уже спрашивал, но не видел, ответили или пропустили
во время медленной вставки, что показывает htop, atop ? есть ли чрезмерная нагрузка на cpu, диск?
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39718747
gpbetatesting
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Hett,

В top такая картина. Нужные процессы выделены красным, видно, что они занимают 1-4% каждый.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39718770
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Этот скриншот снят во время проблемного запуска? Тормоза ж при околонулевой нагрузке CPU. Либо сеть совсем дохлая (так понимаю, "урл дергается" по сети), либо дисковая подсистема никуда не торопится (мускулю периодически нужно ж сбрасывать данные на диск). Или, может быть, у вебсервера какое-то дурное ограничение на входящие подключения (тупо ставит http-запросы в очередь) но в таком случае секретная "дергалка" должна бы о неразумных таймаутах просигнализировать в логах, если это вообще логгируется.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39718790
gpbetatesting
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vkle,

Да, во время запуска. Единственное отличие от "тихого" режима – ядра начинают использоваться процента на 3.
"Дохлая сеть" в смысле скорость передачи от меня на сервер? Был бы вероятен такой вариант, дабы интернет у меня имеет свойство барахлить, если бы ранее не были зафиксированы подобные тормоза у множества юзеров (сотни тысяч) с таймаутами порядка 10-20с и адские перегрузки с нередким крашем сервера. Но тогда ещё могла быть причина в плохой оптимизации таблиц (unique key – строка на 50 символов и отсутствие иных индексов, а там частый запрос был select с order by и limit), сейчас таблицы оптимизировали и тестируем перед релизом всю эту систему.
Таймауты в дёргалке (в консоли браузера после ответа от сервера) варьируются от 0.2 до 1.5с, но думаю, тут можно учесть скорость соединения и подвисание браузера при множестве запросов.
Про скорость дисков и количество запросов, каким образом можно увеличить эти параметры или посмотреть максимально возможные?
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39718811
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а диск? atop можете показать?
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39718826
gpbetatesting
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Hett,

atop, сверху до "атаки", снизу во время, нужный процесс выделен красным.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39718838
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gpbetatesting,

Ух... Ужас, сколько неучтенных и слабо контролируемых факторов.

Предлагаю во второй раз сузить область тестирования до PHP + MySQL. Локально. Запуск всех тестов исключительно из консоли сервера.

В качестве примера можете попробовать мои туповатые тесты с постов предыдущей страницы. Модифицируйте по собственному усмотрению. На сонном 4-ядернике 50...100 запросов в секунду в тесте main.php должны нормально так загрузить проц. Загрузка - это работа (хоть и не всегда производительная). Нет загрузки - нет работы.

Если на локальных тестах в связке PHP + MySQL нормально будет, то расширить область тестирования на вебсервер. Опять же, локально, без всяких "барахлящих интернетов" и браузеров. Написать скриптик с curl'ом, циклически "дергающий урл" - дело нескольких минут. Curl умеет и множественные запросы, если что, но по мне так для более ровного распределения по времени и простоты логгирования проще запустить 5...10 отдельных процессов с выводом результатов в отдельные файлы или консоли. Таймаут курлу установите в одну секунду (или менее). В лог для начала - время обработки запроса, код ответа вебсервера, вывод скрипта по желанию.

Если в локальных тестах обнаружатся заметные проблемы - следует искать их причины.

По загрузке дискового ввода/вывода - утилита iotop есть. В принципе, в atop тоже видно, только переключаться надо.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39718915
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Диска не влез или его не показывает в atop? (встречал такое на виртуалках kvm)
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39718933
gpbetatesting
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Hett,

Походу не показывает, у нас VDS.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39719010
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну тогда есть очень высокая вероятноть, что по iops имеются ограничения.
В них дело или нет, сказать точно сложно.
Вы все же попробуйте повысить размер innodb-pool-buffer-size.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39719027
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hettпопробуйте повысить размер innodb-pool-buffer-sizeА смысл его повышать, если там данных с гулькин нос? Тормоза ж при таблице в сотню записей, она даже на мегабайт не тянет.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39719059
gpbetatesting
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Hett,

innodb_pool_buffer_size уже 3G при четырёх гигах оперативы.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39719079
gpbetatesting
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vkle,

Посмотрел ваши тесты, провёл аналогичные на локалке со своей таблицей. Скорость не поменялась, всё те же 3-5 записей в секунду. Т.е. скорее всего, повысить можно лишь через обновление ПО.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39719084
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gpbetatesting,

Простой тест one.php тоже показал низкую производительность или, хотя бы, тысячу запросов прогнал в приемлемое время? Это простейший тест, он не должен тормозить при мало-мальски исправном железе.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39719087
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gpbetatestingу нас VDSА не тут ли собака порылась?
Если самый низкий тарифный план или плохо настроена изоляция между клиентами, то можно любых просадок производительности ожидать.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39719089
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gpbetatesting,

А, у Вас же виртуалка... На виртуалку могут всяких ограничений понавешать - и на проц, и на диск...
Там запросто подобное может пойти в десять раз хуже.
Поинтересуйтесь у хостера, не навалял ли он каких-то дурных ограничений. А то мож там ядер то четыре, да по 500 МГц каждое в эквиваленте. Дисковая подсистема хост-машины тоже может быть чем-то перегружена и покажет производительность на уровне дерьмовой флешки, она же не в Вашем личном распоряжении.

Найдите на битриксяческом сайте тестовый скрипт, предназначенный для проверки сервера перед установкой Битрикса. Называется bx_server_test.php или как-то так. Там есть простые тесты и для СУБД и для ФС. На остальные можете не обращать внимания. Для Вашего случая результаты тестов должны быть на "отлично". Если это не так, попробуйте потребовать объяснений у хостера. По крайней мере, оный скрипт является официальным и Вам будет на что сослаться.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39719107
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vkleПо крайней мере, оный скрипт является официальным и Вам будет на что сослаться.Это если тариф официально заявлен как совместимый с Битриксом. В иных случаях это вряд ли получится.
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39719108
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Но я все равно предложил бы не бросать исследования и продолжить, либо сокращая front (локальный curl вместо удаленного браузера), либо сокращая back (убрать из кода обращения к MySQL, заменить весь код одной строчкой с логированием и т.д.).
...
Рейтинг: 0 / 0
PHP+MySQL: тормозит добавление записи в таблицу
    #39719113
gpbetatesting
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vkle,

Под тестом я имел в виду "запустить свой скрипт на локалке (xampp, т.е. другая конфигурация сервера) и посмотреть на скорость добавления в локальную же таблицу". По вашему тесту выходят аналогичные результаты, только ещё ругается на превышение максимального времени работы скрипта.

Тест Битрикса показал отличные результаты.
...
Рейтинг: 0 / 0
25 сообщений из 81, страница 3 из 4
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / PHP+MySQL: тормозит добавление записи в таблицу
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]