ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Сортировка после distinct SUBSTRING_INDEX(...)
31 сообщений из 31, показаны все 2 страниц
  все  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39124531
Николай Жуков
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Николай Жуков
Гость
Имеется стандартная база Syslog
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
CREATE TABLE IF NOT EXISTS `SystemEvents` (
  `ID` int(10) unsigned NOT NULL,
  `CustomerID` bigint(20) DEFAULT NULL,
  `ReceivedAt` datetime DEFAULT NULL,
  `DeviceReportedTime` datetime DEFAULT NULL,
  `Facility` smallint(6) DEFAULT NULL,
  `Priority` smallint(6) DEFAULT NULL,
  `FromHost` varchar(60) COLLATE utf8_unicode_ci DEFAULT NULL,
  `Message` text COLLATE utf8_unicode_ci,
  `NTSeverity` int(11) DEFAULT NULL,
  `Importance` int(11) DEFAULT NULL,
  `EventSource` varchar(60) COLLATE utf8_unicode_ci DEFAULT NULL,
  `EventUser` varchar(60) COLLATE utf8_unicode_ci DEFAULT NULL,
  `EventCategory` int(11) DEFAULT NULL,
  `EventID` int(11) DEFAULT NULL,
  `EventBinaryData` text COLLATE utf8_unicode_ci,
  `MaxAvailable` int(11) DEFAULT NULL,
  `CurrUsage` int(11) DEFAULT NULL,
  `MinUsage` int(11) DEFAULT NULL,
  `MaxUsage` int(11) DEFAULT NULL,
  `InfoUnitID` int(11) DEFAULT NULL,
  `SysLogTag` varchar(60) COLLATE utf8_unicode_ci DEFAULT NULL,
  `EventLogType` varchar(60) COLLATE utf8_unicode_ci DEFAULT NULL,
  `GenericFileName` varchar(60) COLLATE utf8_unicode_ci DEFAULT NULL,
  `SystemID` int(11) DEFAULT NULL
) ENGINE=InnoDB AUTO_INCREMENT=419356 DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;



В SysLogTag много всего но в основном 'web-proxy,account'
В Message приблизительно ' 192.168.127.23 GET http://i47.fastpic.ru/big/2013/0504/4b/c7d17bcb8543bd367cdd17416ce8424b.gif action=allow cache=MISS'

Выборка из 400000+ строк (61 всего, Запрос занял 0.0538 сек.) Терпимо
Код: sql
1.
2.
3.
4.
5.
SELECT distinct SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1) AS ip
FROM SystemEvents AS se
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0
ORDER BY ip


Но когда пытаюсь сортировать все плохо (61 всего, Запрос занял 3.4549 сек.)
Код: sql
1.
ORDER BY ip ASC
...
Рейтинг: 0 / 0
10.12.2015, 00:23
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39124540
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Николай Жуков,

Показывайте точные запросы и их планы.
...
Рейтинг: 0 / 0
10.12.2015, 00:55
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39124543
Николай Жуков
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Николай Жуков
Гость
miksoft,
это и есть точный запрос
Без сортировки
Код: sql
1.
2.
3.
4.
SELECT distinct SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1) AS ip
FROM SystemEvents AS se
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0


С сортировкой
Код: sql
1.
2.
3.
4.
5.
SELECT distinct SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1) AS ip
FROM SystemEvents AS se
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0
ORDER BY ip ASC


первый 0.0538 сек. второй 3.4549 сек.
...
Рейтинг: 0 / 0
10.12.2015, 01:13
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39124545
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
И планы запросов, пожалуйста.

Попутно попробуйте такие варианты:
Код: sql
1.
2.
3.
4.
5.
SELECT SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1) AS ip
FROM SystemEvents AS se
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0
GROUP BY ip ASC

Код: sql
1.
2.
3.
4.
5.
6.
7.
SELECT ip FROM (
SELECT distinct SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1) AS ip
FROM SystemEvents AS se
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0
) t
ORDER BY ip ASC
...
Рейтинг: 0 / 0
10.12.2015, 01:18
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39124546
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Николай Жуковпервый 0.0538 секА это точно результат не из кэша? добавьте слово SQL_NO_CACHE сразу после слова SELECT, чтобы кэш запросов не влиял.
...
Рейтинг: 0 / 0
10.12.2015, 01:20
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39124547
Николай Жуков
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Николай Жуков
Гость
EXTPLAN



без сортировки

select_type:SIMPLE
Table:se
Type:ALL
possible_keys:NULL
key:NULL
key_len:NULL
ref:NULL
rows:400635
Extra:Using where; Using temporary

с сортировкой
Extra:Using where; Using temporary; Using filesort
...
Рейтинг: 0 / 0
10.12.2015, 01:22
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39124548
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Николай Жуков
Код: sql
1.
se.SysLogTag='web-proxy,account'

Для какой доли записей выполняется это условие?
...
Рейтинг: 0 / 0
10.12.2015, 01:24
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39124549
Николай Жуков
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Николай Жуков
Гость
Код: sql
1.
2.
3.
4.
SELECT SQL_NO_CACHE distinct SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1) AS ip
FROM SystemEvents AS se
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0


61 всего, Запрос занял 0.0560 сек.
...
Рейтинг: 0 / 0
10.12.2015, 01:25
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39124552
Николай Жуков
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Николай Жуков
Гость
miksoftНиколай Жуков
Код: sql
1.
se.SysLogTag='web-proxy,account'

Для какой доли записей выполняется это условие?
Сейчас 70% планируется 90-98%

miksoftПопутно попробуйте такие варианты:
(61 всего, Запрос занял 3.3338 сек.) для GROUP
3.56 ORDER
...
Рейтинг: 0 / 0
10.12.2015, 01:31
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39124554
Николай Жуков
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Николай Жуков
Гость
miksoftНиколай Жуков
Код: sql
1.
se.SysLogTag='web-proxy,account'

Для какой доли записей выполняется это условие?

Исправляюсь 400635 из 419356 как раз уже 96-98%
...
Рейтинг: 0 / 0
10.12.2015, 01:36
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39124563
Николай Жуков
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Николай Жуков
Гость
Заметил что
Код: sql
1.
2.
3.
4.
5.
SELECT distinct @ip:=INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1)) AS ip,INET_NTOA(@ip) AS ip2
FROM SystemEvents AS se
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0
ORDER BY ip ASC


работает быстрее но не значительно 3.1-3.2 сек.
А без сортировки вообще летает (61 всего, Запрос занял 0.0484 сек.)
Также сортировка без повторной распаковки IP в два раза быстрее (61 всего, Запрос занял 1.7083 сек.)
Код: sql
1.
2.
3.
4.
5.
SELECT distinct @ip:=INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1)) AS ip
FROM SystemEvents AS se
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0
ORDER BY ip ASC
...
Рейтинг: 0 / 0
10.12.2015, 02:15
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39125745
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
Николай Жуковmiksoftпропущено...
Для какой доли записей выполняется это условие?

Исправляюсь 400635 из 419356 как раз уже 96-98%т.е. 400 тысяч записей, но из них условию INET_ATON(...)>0 удовлетворяют только 61?
...
Рейтинг: 0 / 0
11.12.2015, 12:41
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39125788
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
tanglirт.е. 400 тысяч записей, но из них условию INET_ATON(...)>0 удовлетворяют только 61?Это же после distinct-а. Т.е. они сильно повторяются.
...
Рейтинг: 0 / 0
11.12.2015, 13:05
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39125828
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
miksofttanglirт.е. 400 тысяч записей, но из них условию INET_ATON(...)>0 удовлетворяют только 61?Это же после distinct-а. Т.е. они сильно повторяются.Упустил этот момент. Если целых три секунды, то наверное да, повторяются. Ну тут кроме выделения этого INET_ATON(...) в отдельное индексированное поле вариантов, наверное, и нет.
Хотя... ТС так и не ответил, сколько работает этот запрос
miksoft
Код: sql
1.
2.
3.
4.
5.
6.
7.
SELECT ip FROM (
SELECT distinct SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1) AS ip
FROM SystemEvents AS se
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0
) t
ORDER BY ip ASC
...
Рейтинг: 0 / 0
11.12.2015, 13:52
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39125836
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
tanglirХотя... ТС так и не ответил, сколько работает этот запросНасколько я понял, ответил тут - 18538268 в последней строке поста.

Меня вот смущает ситуация, когда 61 запись "добывается" довольно быстро (хотя перелопатить нужно много), а их же отсортировать - долго (хотя объем копеечный).
Не первый раз вижу такой "заскок" у MySQL, но как лечить - не знаю. До сих пор если и удавалось, только только вариациями запроса. Или вообще записать в промежуточную таблицу и читать с сортировкой из нее.
...
Рейтинг: 0 / 0
11.12.2015, 13:56
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39133185
Николай Жуков
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Николай Жуков
Гость
Извиняюсь за пробел во времени, в командировке был.
Попытаюсь ответить на все что пропустил.

База уже 968k записей.
Строка с которой производятся манипуляции ( 192.168.127.23 GET http://i47.fastpic.ru/big/2013/0504/4b/c7d17bcb8543bd367cdd17416ce8424b.gif action=allow cache=MISS)

Запрос без сортировки. Всего отвечающий требованию строк после DISTINCT (80 всего, Запрос занял 0.0495 сек.)
Код: sql
1.
2.
3.
4.
5.
SELECT DISTINCT @tmp:=INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1)) AS tmp,
	INET_NTOA(@tmp) AS ip
FROM SystemEvents AS se 
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0



Я так понимаю что ORDER с начало сортирует 970k записей а потом делает DISTINCT
Иначе объяснить что аналогичный запрос с сортировкой (80 всего, Запрос занял 6.8354 сек.)
Код: sql
1.
2.
3.
4.
5.
6.
SELECT DISTINCT @tmp:=INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1)) AS tmp,
	INET_NTOA(@tmp) AS ip
FROM SystemEvents AS se 
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0
ORDER BY @tmp DESC



(80 всего, Запрос занял 8.4260 сек.)
miksoft
Код: sql
1.
2.
3.
4.
5.
6.
7.
SELECT ip FROM (
SELECT distinct SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1) AS ip
FROM SystemEvents AS se
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0
) t
ORDER BY ip ASC



miksoftНасколько я понял, ответил тут - 18538268 в последней строке поста.
Прирост в скорости между DISTINCT+ORDER и GROUP я бы списал на временную загрузку железа

И если можно то по подробнее вот об этом
miksoftИли вообще записать в промежуточную таблицу и читать с сортировкой из нее.
...
Рейтинг: 0 / 0
21.12.2015, 14:57
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39133302
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Николай ЖуковИ если можно то по подробнее вот об этом
miksoftИли вообще записать в промежуточную таблицу и читать с сортировкой из нее.Да прям буквально и сделать - создать табличку, заполнить ее запросом без сортировки из начала топика (который выполняется 0.0538 сек.), а потом сделать выборку из этой таблички с сортировкой.
...
Рейтинг: 0 / 0
21.12.2015, 15:50
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39133546
Николай Жуков
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Николай Жуков
Гость
miksoftНиколай ЖуковИ если можно то по подробнее вот об этом
пропущено...
Да прям буквально и сделать - создать табличку, заполнить ее запросом без сортировки из начала топика (который выполняется 0.0538 сек.), а потом сделать выборку из этой таблички с сортировкой.


Создал таблицу
Код: sql
1.
2.
3.
CREATE TABLE IF NOT EXISTS `_sort` (
  `ip` varchar(40) COLLATE utf8_unicode_ci NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;


Добавлено 80 строк. (Запрос занял 8.9161 сек.)
Код: sql
1.
2.
3.
4.
5.
INSERT INTO _sort (`ip`)
SELECT DISTINCT SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1) AS ip
FROM SystemEvents AS se 
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0



Результат для запроса без INSERT(80 всего, Запрос занял 0.0511 сек.)
Код: sql
1.
2.
3.
4.
SELECT DISTINCT SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1) AS ip
FROM SystemEvents AS se 
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0
...
Рейтинг: 0 / 0
21.12.2015, 17:25
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39133570
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Николай ЖуковДобавлено 80 строк. (Запрос занял 8.9161 сек.)А если очистить табличку и повторить?
...
Рейтинг: 0 / 0
21.12.2015, 17:38
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39133598
Николай Жуков
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Николай Жуков
Гость
miksoft,
Это сразу после очистки
...
Рейтинг: 0 / 0
21.12.2015, 17:52
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39133608
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Николай Жуковmiksoft,
Это сразу после очисткиСуть не в очистке, а в повторе запроса.
Не понимаю, куда там могут 8 секунд потратиться.
...
Рейтинг: 0 / 0
21.12.2015, 17:59
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39133752
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
Николай Жуков,

а если табличку сделать engine=memory? ну так, в порядке бреда.
...
Рейтинг: 0 / 0
21.12.2015, 20:11
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39134137
Николай Жуков
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Николай Жуков
Гость
tanglirНиколай Жуков,

а если табличку сделать engine=memory? ну так, в порядке бреда.

Готов проверить любой бред
Знать бы как
...
Рейтинг: 0 / 0
22.12.2015, 09:32
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39134156
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
Николай ЖуковЗнать бы как
Код: sql
1.
2.
3.
CREATE TABLE IF NOT EXISTS `_sort` (
  `ip` varchar(40) COLLATE utf8_unicode_ci NOT NULL
) ENGINE=MEMORY DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;
...
Рейтинг: 0 / 0
22.12.2015, 10:01
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39134262
Николай Жуков
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Николай Жуков
Гость
tanglirНиколай ЖуковЗнать бы как
Код: sql
1.
2.
3.
CREATE TABLE IF NOT EXISTS `_sort` (
  `ip` varchar(40) COLLATE utf8_unicode_ci NOT NULL
) ENGINE=MEMORY DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;



Честно в полном недоумении
(Запрос занял 0.0049 сек.)
Код: sql
1.
2.
3.
CREATE TABLE IF NOT EXISTS `_sort` (
  `ip` varchar(40) COLLATE utf8_unicode_ci NOT NULL
) ENGINE=MEMORY DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci


Добавлено 80 строк. (Запрос занял 9.0948 сек.)
Код: sql
1.
2.
3.
4.
5.
INSERT INTO _sort (`ip`) 
SELECT DISTINCT SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1) AS ip
FROM SystemEvents AS se 
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0


Сам запрос (80 всего, Запрос занял 0.0561 сек.)
Код: sql
1.
2.
3.
4.
SELECT DISTINCT SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1) AS ip
FROM SystemEvents AS se 
WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0
...
Рейтинг: 0 / 0
22.12.2015, 11:32
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39134516
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
Да уж, это круче чем мой баг с рандомом
А такой запрос
Код: sql
1.
2.
3.
4.
5.
6.
select * from (
 SELECT DISTINCT SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1) AS ip
 FROM SystemEvents AS se
 WHERE se.SysLogTag='web-proxy,account' AND 
	INET_ATON(SUBSTRING_INDEX(SUBSTRING_INDEX(se.Message,' ',2),' ',-1))>0
) t0

тоже выдаст 9 и 0.05 с инсертом и без соответственно?
...
Рейтинг: 0 / 0
22.12.2015, 13:47
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39142934
Artemeey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Artemeey
Участник
Можно добавить индекс на поле `Message` и сортировать по нему.
Если оно начинается с IP - то сортировка будет работать как надо и очень быстро. Длину индекса кстати можно указать - varchar(17), так как для сортировки нам важный первые 17 символов (_XXX.XXX.XXX.XXX)

Рекомендую никогда не делать сортировку по не индексированному полю.

В вашем случае конечно интерпретатор работает интересно. Может быть он считает сортировку в данном случае более простой операцией, чем условия WHERE и выполняет ее раньше. Для всех строк - это долго. При использовании LIMIT это было бы оправдано.
Но это лишь мое предположение.
...
Рейтинг: 0 / 0
07.01.2016, 05:24
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39142937
Фотография javajdbc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
javajdbc
Участник
Николай Жуков,

зачем вам скорость? кто пользователь?
у вас такие запросы идут по 5 штук в секунду?

Если нужно часто, имеет смысл копать в сторону
логический улучшений:

1. Вместо постояной дро..и распоковки и пасинга
можно распарсить message на вставке. добарить деривативные (расчетные)
поля IP и ValidIpFlag=(0|1) и соответсвыюший индекс(ы)

Код: sql
1.
2.
3.
4.
5.
6.
7.
select * from
(
SELECT distinct IP DistIP
FROM SystemEvents AS se
WHERE se.SysLogTag='web-proxy,account' AND ValidIpFlag=1
) Z
ORDER BY DistIP




2. создать агрегированую таблицу уникальных ИП на каждый день или там каждый час.
Дополнять таблицу по истечении очередного промежутка.
Если надо иметь результат до последней секунды, то
выбирать значения из пре-агрегатной таблицы до поледнего часа
а потом просчитывать динамически только последние минуты после часа.
Это вариант грамчик сложноватенький по организации
зато получите результат порядка нескольких милисекунд
...
Рейтинг: 0 / 0
07.01.2016, 06:19
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39143009
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
javajdbcзато получите результат порядка нескольких милисекундУ него и так было 50-60 мс. Хотя я не понимаю, почему так быстро.
А при вставке в таблицу или еще каком-либо использовании результата запроса размером в 80 несчастных записей вдруг время подскакивает до 9 секунд.
...
Рейтинг: 0 / 0
07.01.2016, 13:41
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39143206
Фотография javajdbc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
javajdbc
Участник
miksoftjavajdbcзато получите результат порядка нескольких милисекундУ него и так было 50-60 мс. Хотя я не понимаю, почему так быстро.
А при вставке в таблицу или еще каком-либо использовании результата запроса размером в 80 несчастных записей вдруг время подскакивает до 9 секунд.


да, тут какая-то техническая проблема.
Но кроме любопытсва почему имено такой запрос
рабодает через пень-колоду -- мне не нравится сама
идея часто перелопачивать (в основном статические) милион записей чтобы
выташить 80 значений. Интереснее решать
бизнес / логические задачи, заранее приготовить данные
для быстрого потребления , пре-агрегировать, итд...

Однозначно плохо иметь такую недетерминированую ситуацию, но как бы
база сама намекает что запрос "корявый"...
...
Рейтинг: 0 / 0
08.01.2016, 01:49
| Ответить | Цитировать | Написать  
Сортировка после distinct SUBSTRING_INDEX(...)
    #39187739
Николай Жуков
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Николай Жуков
Гость
javajdbcзаранее приготовить данные
для быстрого потребления , пре-агрегировать, итд...

Однозначно плохо иметь такую недетерминированую ситуацию, но как бы
база сама намекает что запрос "корявый"...

Я и забыл про этот пост уже

Подготовить данные нет возможности
Речь идет о стандартном syslogd mysql На Ubuntu
Все что могу это добавлять индексы но колонка messages - text
А лог отправляют аппаратные маршрутизаторы
Мне если честно и сортировка то не нужно
Но просматривает начальство а им подавай цифры по порядку чтоб искать проще

Если есть возможность связать две таблицы вместе (средствами mysql)
И во вторую таблицу автоматически распарсивать messages из первой по колонкам с индексами по мере добавления.
то это наверно единственный вариант, после переписывания syslog под себя.
...
Рейтинг: 0 / 0
09.03.2016, 01:36
| Ответить | Цитировать | Написать  
31 сообщений из 31, показаны все 2 страниц
  все  
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Сортировка после distinct SUBSTRING_INDEX(...)
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=47&tid=1832082]:
 0ms
get settings:
 9ms
get forum list:
 18ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 177ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 61ms
get tp. blocked users:
 1ms
others: 211ms
total:  494ms
созд. / загр.: 494ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]