как оптимизировать запрос, если в таблицах по 100 000+ записей / MySQL

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / MySQL [игнор отключен] [закрыт для гостей] / как оптимизировать запрос, если в таблицах по 100 000+ записей

21 сообщений из 21, страница 1 из 1

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39330820

khurshed

Гость

как оптимизировать этот запрос когда в обоих таблицах по 100 000+ записей

select count(*) FROM user WHERE `user`.`email` !="" AND `user`.`last_login` <= "2016-08-01 00:00:00" AND (`user`.`banned` = 0 OR `user`.`banned` is NULL) AND NOT EXISTS (SELECT 1 FROM `notify_user` WHERE (`notify_user`.user_id = `user`.`id` OR `notify_user`.email = `user`.`email`) AND (`notify_user`.`event`=103 OR `notify_user`.`event`=105)) AND user.email != '' GROUP BY user.email ORDER BY user.id ASC

сейчас выполняется по часу или даже больше

...

Рейтинг:

0 / 0

20.10.2016, 16:02

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39330901

trew

Участник

Откуда: Москва

Сообщения: 2 626

Рейтинг: 0 / 0

khurshed,

Сколько записей возвращают запросы

Код: sql

1.
2.
3.
4.
5.
6.
7.
8.

select count(*) 
FROM user 
WHERE `user`.`last_login` <= "2016-08-01 00:00:00" 


select count(*) 
FROM user 
WHERE (`user`.`banned` = 0 OR `user`.`banned` is NULL)

На поле last_login и banned индексы есть?

Можно получить предварительную выборку, ниже. Она быстро формируется?

Код: sql

1.
2.
3.
4.
5.
6.
7.

SELECT  `user`.`id`, `user`.`email` 
FROM user 
WHERE `user`.`last_login` <= "2016-08-01 00:00:00" 
AND NOT EXISTS (
SELECT 1 FROM `notify_user` 
WHERE `notify_user`.user_id = `user`.`id`
)

Какие индексы на таблицах пока не известно.

...

Рейтинг:

0 / 0

20.10.2016, 17:16

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39330914

Fitter2

Гость

Еще можно попробовать заменить AND NOT EXISTS на LEFT JOIN и искать/считать NULL с правой части запроса.
И еще ко всем заметкам от trew Я бы добавил EXPLAIN.
Этот запрос должен отрабатывать за 3 минуты максимум. (личный опыт на 650к строк)

...

Рейтинг:

0 / 0

20.10.2016, 17:25

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39330928

khurshed

Гость

trewkhurshed,

Сколько записей возвращают запросы

Код: sql

1.
2.
3.
4.
5.
6.
7.
8.

select count(*) 
FROM user 
WHERE `user`.`last_login` <= "2016-08-01 00:00:00" 


select count(*) 
FROM user 
WHERE (`user`.`banned` = 0 OR `user`.`banned` is NULL)

На поле last_login и banned индексы есть?

Можно получить предварительную выборку, ниже. Она быстро формируется?

Код: sql

1.
2.
3.
4.
5.
6.
7.

SELECT  `user`.`id`, `user`.`email` 
FROM user 
WHERE `user`.`last_login` <= "2016-08-01 00:00:00" 
AND NOT EXISTS (
SELECT 1 FROM `notify_user` 
WHERE `notify_user`.user_id = `user`.`id`
)

Какие индексы на таблицах пока не известно.

1. По первому запросу 99970
2. По второму 113217
3. Индекс был только у banned last_login добавил
4. Да сформировалось быстро
5. В таблице notify_user почти не было индексов добавил по нужным полям

...

Рейтинг:

0 / 0

20.10.2016, 17:34

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39330933

khurshed

Гость

Fitter2Еще можно попробовать заменить AND NOT EXISTS на LEFT JOIN и искать/считать NULL с правой части запроса.
И еще ко всем заметкам от trew Я бы добавил EXPLAIN.
Этот запрос должен отрабатывать за 3 минуты максимум. (личный опыт на 650к строк)

Код: plsql

select count(*) FROM user LEFT JOIN notify_user on notify_user.user_id = user.id WHERE `user`.`email` !="" AND `user`.`last_login` <= "2016-08-01 00:00:00" AND (`user`.`banned` = 0 OR `user`.`banned` is NULL)  AND (`notify_user`.user_id = `user`.`id` OR `notify_user`.email = `user`.`email`) AND (`notify_user`.`event`=103 OR `notify_user`.`event`=105)) AND user.email != '' GROUP BY user.email ORDER BY user.id ASC

так что ли?

...

Рейтинг:

0 / 0

20.10.2016, 17:42

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39330980

khurshed

Гость

Код: plsql

1.
2.
3.
4.
5.
6.
7.

SELECT  `user`.`id`, `user`.`email` 
FROM user 
WHERE `user`.`last_login` <= "2016-08-01 00:00:00" 
AND NOT EXISTS (
SELECT 1 FROM `notify_user` 
WHERE `notify_user`.user_id = `user`.`id`  OR `notify_user`.email = `user`.`email`
)

это уже занимает больше времени

...

Рейтинг:

0 / 0

20.10.2016, 18:39

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39331038

Fitter2

Гость

Чтоб мне не расписывать вашу колбасу, опишу идею:
LEFT JOIN если посмотреть теоритически должен дать вам
user.idnotify_user.user_id22NULL231725NULL

получается, что вам нужно подсчитать все NULL, типа
SELECT SUM(IF(notify_user.user_id, 0, 1) FROM .... - думаю это будет быстрее.

Хотя я не понял после вашего ответа, может индексы решили вашу проблему.
Вы хоть результаты свои публикуйте, мне вот интересны результаты.

...

Рейтинг:

0 / 0

20.10.2016, 19:53

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39331156

khurshed

Гость

Fitter2, все идею понял теперь. но он по дублям криво подбирает

Код: plsql

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.

SELECT user.id, user.email, notify_user.user_id, notify_user.email AS notify_email
FROM user
LEFT JOIN notify_user ON notify_user.user_id = user.id
WHERE `user`.`last_login` <= "2016-08-01 00:00:00"
AND (
`user`.`banned` =0
OR `user`.`banned` IS NULL
)
AND `notify_user`.`email` IS NULL
AND user.email != ''
GROUP BY user.email
ORDER BY `user`.`id`  ASC

один email он брал и уже существует в таблице notify_user .
Делаю вторую выборку туда уже попадает другой пользователь с таким email-ом

...

Рейтинг:

0 / 0

21.10.2016, 06:10

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39331206

paver

Гость

khurshed,

а объясните чайнику, для чего у вас конструкция GROUP BY?

...

Рейтинг:

0 / 0

21.10.2016, 09:20

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39331210

MasterZiv

Участник

Откуда: Питер

Сообщения: 32 427

Рейтинг: 0 / 0

khurshedкак оптимизировать этот запрос когда в обоих таблицах по 100 000+ записей

select count(*) FROM user WHERE `user`.`email` !="" AND `user`.`last_login` <= "2016-08-01 00:00:00" AND (`user`.`banned` = 0 OR `user`.`banned` is NULL) AND NOT EXISTS (SELECT 1 FROM `notify_user` WHERE (`notify_user`.user_id = `user`.`id` OR `notify_user`.email = `user`.`email`) AND (`notify_user`.`event`=103 OR `notify_user`.`event`=105)) AND user.email != '' GROUP BY user.email ORDER BY user.id ASC

сейчас выполняется по часу или даже больше

создать нужные индексы.

запрос надо немного переделать - or вынести из подзапроса, и использовать два подзапроса без or. Снаружи позволяла они будут объединяться уже по AND.

индексы в notify user нужно два по (event,user ID ) и по (event,email)

в user по last logon.

...

Рейтинг:

0 / 0

21.10.2016, 09:27

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39331211

MasterZiv

Участник

Откуда: Питер

Сообщения: 32 427

Рейтинг: 0 / 0

paverkhurshed,

а объясните чайнику, для чего у вас конструкция GROUP BY?
кстати, да...

...

Рейтинг:

0 / 0

21.10.2016, 09:28

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39331214

MasterZiv

Участник

Откуда: Питер

Сообщения: 32 427

Рейтинг: 0 / 0

khurshed,
вообще, когда у автора запросе в голове каша, то такие вот неработающие запросы и получается.

автор, попробуй вообще добиться того, чтобы у тебя не было ни одного OR в запросе.

для этого придется менять базу данных и приложение....

...

Рейтинг:

0 / 0

21.10.2016, 09:30

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39331346

khurshed

Гость

MasterZiv, получилось так, что в таблице юзеров появились несколько юзеров с одинаковыми email, отсюда и group by, чтобы повторно не отправлять некое письмо, надеюсь понятно объяснил.

...

Рейтинг:

0 / 0

21.10.2016, 11:30

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39331447

paver

Гость

khurshedв таблице юзеров появились несколько юзеров с одинаковыми email, отсюда и group by, чтобы повторно не отправлять некое письмо
Несколько разных юзеров или дубли?
Если разные, кому именно нужно/не нужно отправлять?

Вот это вот и есть каша

...

Рейтинг:

0 / 0

21.10.2016, 12:29

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39331482

khurshed

Гость

paver, разные юзеры, данные разные кроме email.
Надо перым email -ом в таких случаях надо отправить.
Да не спорю, просто не учли один момент и получилось пользователи с одинаковым email , их от силы наберется 150 из 120000
Но все же надо исключать повторную отправку

...

Рейтинг:

0 / 0

21.10.2016, 13:02

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39331637

khurshed

Гость

Таблица user

Таблице notify_user

Надо сделать выборку из user. которых нет в таблице notify_user по user_id и по email, для примера добавил одинаковые email, их надо исключить

...

Рейтинг:

0 / 0

21.10.2016, 14:59

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39331695

MasterZiv

Участник

Откуда: Питер

Сообщения: 32 427

Рейтинг: 0 / 0

khurshedMasterZiv, получилось так, что в таблице юзеров появились несколько юзеров с одинаковыми email, отсюда и group by, чтобы повторно не отправлять некое письмо, надеюсь понятно объяснил.

DISTINCT

...

Рейтинг:

0 / 0

21.10.2016, 15:37

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39331754

khurshed

Гость

Вот так выполняется за 10 секунд

Код: sql

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.

SELECT id, email
FROM user
WHERE `user`.`email` != ""
AND user.last_login <= '2016-08-01'
AND NOT
EXISTS (

SELECT 1
FROM `notify_user`
WHERE `notify_user`.`user_id` = `user`.`id`
AND (
`notify_user`.`event` =103
OR `notify_user`.`event` =105
)
)
AND NOT
EXISTS (

SELECT 1
FROM `notify_user`
WHERE `notify_user`.email = `user`.`email`
AND (
`notify_user`.`event` =103
OR `notify_user`.`event` =105
)
)
GROUP BY user.email
ORDER BY user.id ASC

...

Рейтинг:

0 / 0

21.10.2016, 16:19

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39331828

netwind

Участник

Сообщения: 14 195

Рейтинг: 0 / 0

MasterZivkhurshedMasterZiv, получилось так, что в таблице юзеров появились несколько юзеров с одинаковыми email, отсюда и group by, чтобы повторно не отправлять некое письмо, надеюсь понятно объяснил.

DISTINCT
Так ведь это опять может вызвать сортировку.

Так что лучше всего провести мероприятия по блокировке таких пользователей по выдуманным поводам.

...

Рейтинг:

0 / 0

21.10.2016, 17:28

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39333191

Fitter2

Гость

Прочитав ваши посты запутался, мне казалось вы что-то хотели подсчитать, а по последним постам вижу вы там выборку берете.
Всегда лучше проговаривать о том что вы имеете и что хотите получить.
В любом случае 1 час и 10 сек - прогресс заметен :)

...

Рейтинг:

0 / 0

24.10.2016, 23:58

| Ответить | Цитировать | Написать

как оптимизировать запрос, если в таблицах по 100 000+ записей

#39334910

khurshed

Гость

Fitter2, ну выборку делаю после того как делаю расчет количества

...

Рейтинг:

0 / 0

27.10.2016, 06:13

| Ответить | Цитировать | Написать

21 сообщений из 21, страница 1 из 1

Форумы / MySQL [игнор отключен] [закрыт для гостей] / как оптимизировать запрос, если в таблицах по 100 000+ записей

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=47&fpage=89&tid=1831273]:	0ms
get settings:	11ms
get forum list:	20ms
check forum access:	4ms
check topic access:	4ms
track hit:	74ms
get topic data:	12ms
get forum data:	3ms
get page messages:	64ms
get tp. blocked users:	1ms
others:	232ms

total:	425ms

	Необходимые cookie
	Cookie для сбора статистики
	Cookie для маркетинга и рекламы