Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / MySQL [игнор отключен] [закрыт для гостей] / MySql, ON DUPLICATE KEY UPDATE и Too many connections медленно работает и много ошибок / 10 сообщений из 10, страница 1 из 1
30.03.2018, 15:15
    #39623371
MySql, ON DUPLICATE KEY UPDATE и Too many connections медленно работает и много ошибок
Ребят помогите плиз...
У меня идет очень много запросов на сервер, 1500-2000 в секунду. Данные надо инсертить или апдейтить если они есть.

Как на данный момент решена задача:
$eventinsert = mysqli_query ($db,"
INSERT INTO `events` (
`event_id`,
`provider`,
`type`,
`sport_id`,
`sport_ru`,
`sport_en`,
`league_id`,
`league_ru`,
`league_en`,
`players_ru`,
`players_en`,
`period`,
`sub`,
`time_game`,
`information`,
`time_upd`,
`time_add`,
`count_upd`)
VALUES $addsql ON DUPLICATE KEY UPDATE `information` = VALUES(information), `time_game` = VALUES(time_game), `time_upd` = VALUES(time_upd), `count_upd` = `count_upd` + 1");

Но мне кажется что этот код это полный крах.
Коротко о симптомах, постоянно ловим ошибку Too many connections.
В настройках сервера изменили max_connections=1000. Не помогает, все равно идет ошибка.

Я полагаю что сам ODKU не подходит для таких нагрузок.

Помогите понять что не так и как можно это исправить...

p.s. Иногда захожу в базу данных при больших нагрузках и вижу количество записей в таблице, оно постоянно скачет. То 3к после обновления 150к потом 300к снова 3к. Я подозреваю что это кривая работа ODKU
...
Рейтинг: 0 / 0
30.03.2018, 15:52
    #39623399
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySql, ON DUPLICATE KEY UPDATE и Too many connections медленно работает и много ошибок
Как именно вы проверяете количество записей в таблице?
...
Рейтинг: 0 / 0
30.03.2018, 17:03
    #39623479
MySql, ON DUPLICATE KEY UPDATE и Too many connections медленно работает и много ошибок
В phpMyAdmin ведь это есть:

Отображение строк 0 - 24 (227117 всего, Запрос занял 0.0067 сек.)

Сейчас как раз такой баг поймал когда копирывал))
Должно быть 4к записей а он показывает 230к
ну бред)
...
Рейтинг: 0 / 0
30.03.2018, 17:09
    #39623486
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySql, ON DUPLICATE KEY UPDATE и Too many connections медленно работает и много ошибок
Иван Фамилиямного запросов на сервер, 1500-2000 в секунду
Иван Фамилияпостоянно ловим ошибку Too many connections.
Ну и кто тут ССЗБ? зачем для каждого запроса создавать новое соединение?
Поставьте запредельное количество max_connections (заодно не забудьте увеличить open-files-limit) и мониторьте количество процессов. По крайней мере поймёте, сколько же получается реально соединений.
...
Рейтинг: 0 / 0
30.03.2018, 18:39
    #39623534
MySql, ON DUPLICATE KEY UPDATE и Too many connections медленно работает и много ошибок
А как не создавать соединение для каждого запроса?))
...
Рейтинг: 0 / 0
30.03.2018, 19:16
    #39623547
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySql, ON DUPLICATE KEY UPDATE и Too many connections медленно работает и много ошибок
Иван Фамилия,

Включите Slow Query Log и проверьте какие запросы на самом деле тормозят работу.
...
Рейтинг: 0 / 0
30.03.2018, 19:20
    #39623549
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySql, ON DUPLICATE KEY UPDATE и Too many connections медленно работает и много ошибок
Иван Фамилия,

И зачем вам вообще этот запрос?
Меня терзают сомнения в необходимости такого рода запроса на обычном сайте.

И нужен ли он именно в момент отдачи страницы?
Может быть, можно писать лог в файл, а в базу грузить, например, раз в сутки ночью.
...
Рейтинг: 0 / 0
30.03.2018, 19:38
    #39623558
MySql, ON DUPLICATE KEY UPDATE и Too many connections медленно работает и много ошибок
Это совсем не обычный сайт. Это Mysql который принимает данные от парсеров.
Ребят я много не понимаю того что вы тут пишите, "Включите Slow Query Log", "зачем для каждого запроса создавать новое соединение".

Кто может помочь мне с этим всем на платной основе?

И почему никто не говорит мне что мой SQL говно. Или он не говно??))
В общем готов финансировать решение задачи, пишите ваши предложения)
...
Рейтинг: 0 / 0
30.03.2018, 19:42
    #39623560
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySql, ON DUPLICATE KEY UPDATE и Too many connections медленно работает и много ошибок
Иван ФамилияИ почему никто не говорит мне что мой SQL говно. Или он не говно??))Сам по себе запрос нормальный. Но насколько он адекватен задаче можно сказать только зная задачу.
...
Рейтинг: 0 / 0
31.03.2018, 21:01
    #39623783
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySql, ON DUPLICATE KEY UPDATE и Too many connections медленно работает и много ошибок
Иван Фамилиякак не создавать соединение для каждого запроса?У Вас что, каждый запрос посылается новым экземпляром приложения? или одна программа шлёт все 1000 запросов (ну или десять программ по 100)?
...
Рейтинг: 0 / 0
Форумы / MySQL [игнор отключен] [закрыт для гостей] / MySql, ON DUPLICATE KEY UPDATE и Too many connections медленно работает и много ошибок / 10 сообщений из 10, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]