powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Медленно работает запрос.
25 сообщений из 59, страница 1 из 3
Медленно работает запрос.
    #38469946
Korni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Здравствуйте уважаемые форумчане.

Недавно стала работать с MySQL, плаваю еще во всем. До этого писала только SQL запросы для БД Access. Там вроде особых проблем не возникало. А тут что-то запрос уж совсем медленно работает, у меня на тестовой базе до 10 минут, а у клиента вообще редко отрабатывает полностью. На Access почти аналогичный запрос работает гораздо быстрее, но там и данных значительно меньше, только одного филиала. А на MySQL скидываются данные из 30 филиалов и вот потом надо делать выборку.

Попробую в кратце описать, что у меня есть.

Есть таблица клиентов Clients с первычным ключем по двум полям ClientID, BranchID. Основное для запроса поле: TRPID - это значение присваивается клиенту, который ходит в несколько филиалов и в них уже зарегистрирован по своему ClientID, чтобы потом смотреть его общую статистику посещений.
Есть таблица посещений клиентов Visits, так же с первичным ключем по двум полям VisitID, BranchID. Которая содержит ClientID. Поле VisitIN - дата посещения. В тестовой базе 500 000 записей
И есть таблица маркетинговых расходов, которые были при посещении клиента ClientsMarketingExp с первичным ключем по двум полям ClientsMarketingExpID, BranchID. В которую входит VisitID. Одно посещение может содержать несколько расходов. В тестовой базе 95 000 записей.
Таблица Branches содержит BranchID и BranchName - название филиала.

Мне надо выбрать все посещения с маркетинговыми расходами, если таковые были, клиентов с TRPID = 70010, за заданный период. Т.е. если посещение включает два расхода, то в результате мы должны иметь и две строки. А если расходов не было, то одну сроку, в которой информация о маркетнговых расходах пустая.

В Access я все таблицы подключала через LEFT JOIN. Написала аналогичный запрос и для MySQL. Но он работает медленно. Почитала что лучше вместо LEFT JOIN использовать другой JOIN. Но не могу понять какой.

Вот мой немного упрощенный запрос, он все равно работает очень медленно.
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
SELECT V.VisitID, CME.ClientsMarketingExpID, V.BranchID as BranchID, 
      V.ClientID, V.`Group` as "Group", V.ClientType, V.ClientSize, 
      V.VisitType, V.VisitIn as `In`, V.VisitOut as `Out`, V.Balance, V.Rate, V.MaxRisk, 
      V.Automat, V.MarketingSum, V.MarketingNotes,
      V.ChangeTime, V.VersionID, V.UserID, V.Is2ndVisit, V.IsTypicalClient,
      CME.Code, CME.Sum, CME.Notes, CME.PlayMachineID, 
      CME.TimeIn, CME.PlayMachineID, C.GamblerCode, 
      C.NickName, C.Type, C.TRPID, Date(Date_Format(V.VisitIn, '%Y-%m-%d')) as DateIn, IF(B.BranchName is null, Cast(V.BranchID as char), B.BranchName) as BranchName
FROM (Visits V
  LEFT JOIN  ClientsMarketingExp CME ON V.VisitID=CME.VisitID AND V.BranchID=CME.BranchID)
  LEFT JOIN Clients C ON V.ClientID=C.ClientID AND V.BranchID=C.BranchID
  LEFT JOIN Branches B ON V.BranchID=B.BranchID
WHERE V.VersionID<>-1  AND IF(IsNull(CME.Versionid),0,CME.VersionID)<>-1 AND V.VisitIn BETWEEN '2013-10-01' AND '2013-10-30' AND C.TRPID ='70010' AND V.BranchID<>1 
ORDER BY V.VisitIn, TimeIn;



Запрос отрабатывает 4-5 минут на MySQLWorkbench и в результате возвращает 57 записей. Пробовала делать выборку сначала из таблица клиентов, а потом уже присоединять к ней визиты и расходы. На скорость почти не влияет. Выборку из клиентов и визитов делает быстро, но стоит добавить маркетинги сразу скорость падает.

Поскажите, как мне видоизменить запрос? А может нужно добавить индексы на какие-то поля?

Извините за "много букв".
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38469978
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
план запроса?
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38469990
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Korni,

Вы таблицы ClientsMarketingExp и Clients соединяете по LEFT JOIN, однако в секции WHERE выкидываете записи, где поля из этих таблиц оказываются NULL. Тут либо не нужно слово LEFT, либо неверные условия в секции WHERE.
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38469996
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
фрагмент
Код: sql
1.
IF(IsNull(CME.Versionid),0,CME.VersionID)<>-1

можно заменить на
Код: sql
1.
CME.Versionid<>-1
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470009
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Korni,

Для начала убирайте во FROM скобки -- они там вообще ни на фиг не нужны.

Далее, Во-первых, убирайте отсюда

LEFT JOIN Clients C ON V.ClientID=C.ClientID AND V.BranchID=C.BranchID


LEFT JOIN, заменяйте его просто JOIN -- у вас всё равно на эту таблицу условие:

C.TRPID ='70010'


Во-вторых, это условие

AND IF(IsNull(CME.Versionid),0,CME.VersionID)<>-1

видимо должно быть в JOIN а не в WHERE.


Итого, у вас остаётся один единственный вразумительный
SARG --
V.VisitIn BETWEEN '2013-10-01' AND '2013-10-30'
Это за месяц.

Есть у вас индекс по полю VisitIn ?

Сколько записей за один месяц ?

Если их много, то шансов у запроса выполняться быстро просто нет.

Ну и если оно действительно "у клиента вообще редко отрабатывает полностью", то хочу напомнить, что на все условия JOIN-ов должны быть индексы, если JOIN по двум полям -- составные из этих двух полей.
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470011
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ScareCrowплан запроса?

Да и без плана всё ясно.
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470053
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
несовсем. есть сильное подозрение на отсутсвие индексов по полям джойна.
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470073
Korni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miksoftKorni,

Вы таблицы ClientsMarketingExp и Clients соединяете по LEFT JOIN, однако в секции WHERE выкидываете записи, где поля из этих таблиц оказываются NULL. Тут либо не нужно слово LEFT, либо неверные условия в секции WHERE.

что-то я не понимаю, где у меня такие условия в секции WHERE?
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470075
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Korni,

Я явным образом написал.
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470077
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
KornimiksoftKorni,

Вы таблицы ClientsMarketingExp и Clients соединяете по LEFT JOIN, однако в секции WHERE выкидываете записи, где поля из этих таблиц оказываются NULL. Тут либо не нужно слово LEFT, либо неверные условия в секции WHERE.что-то я не понимаю, где у меня такие условия в секции WHERE?IF(IsNull(CME.Versionid),0,CME.VersionID)<>-1 и C.TRPID ='70010'
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470090
Korni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
MasterZivKorni,

Для начала убирайте во FROM скобки -- они там вообще ни на фиг не нужны.

скобки убрала - это отголосок синтаксиса Access'a.

MasterZivДалее, Во-первых, убирайте отсюда

LEFT JOIN Clients C ON V.ClientID=C.ClientID AND V.BranchID=C.BranchID

LEFT JOIN, заменяйте его просто JOIN -- у вас всё равно на эту таблицу условие:

C.TRPID ='70010'

заменила

MasterZivИтого, у вас остаётся один единственный вразумительный
SARG --
V.VisitIn BETWEEN '2013-10-01' AND '2013-10-30'
Это за месяц.

Есть у вас индекс по полю VisitIn ?

Сколько записей за один месяц ?

Если их много, то шансов у запроса выполняться быстро просто нет.

Ну и если оно действительно "у клиента вообще редко отрабатывает полностью", то хочу напомнить, что на все условия JOIN-ов должны быть индексы, если JOIN по двум полям -- составные из этих двух полей

посмотрела записей за месяц в среднем 23 000.
Добавила индекc по VisitIn и по полям VisitID и BranchID в таблице ClientsMarketingExp

В результате запрос отрабатывает за 45 секунд.

MasterZivВо-вторых, это условие

AND IF(IsNull(CME.Versionid),0,CME.VersionID)<>-1

видимо должно быть в JOIN а не в WHERE.
Здесь надо бы данные обновить на сервере и тогда можно будет убрать это условие.

Трудно с клиентом работать, он не хочет полностью мигрировать на MySQL сервер. Филиалы работают на Access и часть данных уходит на сервер. И они потом уже работают с обобщенными данными по филиалам.

Можно ли еще что-то улучшить или 45 секунд уже хороший результат? Компик у меня староват, может будь он помощнее и запрос веселее будет работать?
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470095
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
explain запроса таки дайте
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470098
Korni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ScareCrowexplain запроса таки дайте
а как его делать? Я только осваиваю MySQL.
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470102
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
перед запросом написать explain
выполнить.
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470115
Korni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ScareCrow,
вот что получилось
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470142
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вам точно нужны 45 тыщ строк?
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470169
Korni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
точно НЕ нужны.
если бы я еще понимала откуда они берутся, ведь месяц в среднем 23 тысячи.
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470190
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
из за джойнов скорее всего. попробуйте убирать джойны и смотреть сколько строк получается.
либо из за устаревшей статистики. попробуйте сделать analyze table для всех таблиц.
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470254
Korni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ScareCrow,
убрала все джойны. Оставила только выборку из таблицы визитов. Explain все равно выдает 45 тысяч записей. Хотя если запускаю сам SELECT, он мне в результате запроса дает 21 тысячу.
вот сам запрос
авторexplain
SELECT V.VisitID, V.BranchID,
V.ClientID, V.`Group` as "Group", V.ClientType, V.ClientSize,
V.VisitType, V.VisitIn as `In`, V.VisitOut as `Out`, V.Balance, V.Rate, V.MaxRisk,
V.Automat, V.MarketingSum, V.MarketingNotes,
V.ChangeTime, V.VersionID, V.UserID, V.Is2ndVisit, V.IsTypicalClient
FROM Visits V
WHERE V.VersionID<>-1 AND V.VisitIn BETWEEN '2013-10-01' AND '2013-10-30' AND V.BranchID<>1
ORDER BY V.VisitIn
LIMIT 500000

Сделала analyze table. В результате получаю "status OK". Или я не то делаю, или там действительно все хорошо.
авторanalyze table visits - это надо было делать?
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470264
Korni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Еще убрала из основного запроса условие IF(IsNull(CME.Versionid),0,CME.VersionID)<>-1. Оказалось, в программе баг и это поле вообще на сервер не уходит. Но на скорость выполнения запроса это никак не повлияло. Так и осталось 40 секунд.
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470265
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ну понятно. вам сколько записей то нужно? ставьте limit сколько нужно.
дальше варианта 2. или подкрутить sort_buffer_size чтобы убрать filesort или добавить в таблицу Visits поле TimeIn из ClientsMarketingExp и сделать индекс (VisitIn, TimeIn )
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470285
Korni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Мне все записи нужны. В результате моего запроса возвращается всего 57 записей.

Убрала сортировку из запроса. Время выполнения не изменилось.

Я еще думала, а не лучше ли начать с таблицы клиентов и уже к ней джойнить остальные таблицы? Если делать выборку из таблицы клиентов по моему условию, там всего 10 записей будет и сама таблица клиентов гораздо меньше визитов. А потом к ним уже "лепить" посещения. Или это на скорость работы не влияет?
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470294
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторУбрала сортировку из запроса. Время выполнения не изменилось.

explain?

авторЯ еще думала, а не лучше ли начать с таблицы клиентов и уже к ней джойнить остальные таблицы
оптимизатор это сам разруливает.
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470316
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
фильтром по дате отфильтровывается 23 тыщи
автормесяц в среднем 23 тысячи.
вопрос - чем отфильтровывется еще 22943 записи?

ибо
авторВ результате моего запроса возвращается всего 57 записей.
...
Рейтинг: 0 / 0
Медленно работает запрос.
    #38470367
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
KorniМне все записи нужны. В результате моего запроса возвращается всего 57 записей.

Убрала сортировку из запроса. Время выполнения не изменилось.

Я еще думала, а не лучше ли начать с таблицы клиентов и уже к ней джойнить остальные таблицы? Если делать выборку из таблицы клиентов по моему условию, там всего 10 записей будет и сама таблица клиентов гораздо меньше визитов. А потом к ним уже "лепить" посещения. Или это на скорость работы не влияет?

Не лучше. У вас фильтр по визитам.
Но фильтр не самый лучший -- 27тыщ строк.
...
Рейтинг: 0 / 0
25 сообщений из 59, страница 1 из 3
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Медленно работает запрос.
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]