Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / MySQL [игнор отключен] [закрыт для гостей] / самый быстрый способ найти не уникальные значения. / 13 сообщений из 13, страница 1 из 1
14.02.2014, 15:24:32
    #38561164
alex564657498765453
alex564657498765453
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
самый быстрый способ найти не уникальные значения.
ситуация - имеем индекс уникальности uniq_index(field1,field2)

как в этом случае написать запрос(самый еффективный вариант)
для получения списка не уникальных значений по полю field1

предполагаем что ситуация гдето такая.
записей пол милиарда, возможно там есть 10-50 записей имеющие двойника, может даже ктото тройника.

Код: sql
1.
select field1 from table group by field1 having count(*) >1;



прямой вариант , но интуитивно чувсвую, что не самый эффективный.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.02.2014, 15:28:19
    #38561171
Добрый Э - Эх
Добрый Э - Эх
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
самый быстрый способ найти не уникальные значения.
попробовать уйти в сторону JOIN-а или [not]exists-подзапроса. чтобы не группировать весь миллиард записей...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.02.2014, 15:49:14
    #38561205
miksoft
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
самый быстрый способ найти не уникальные значения.
alex564657498765453
Код: sql
1.
select field1 from table group by field1 having count(*) >1;




прямой вариант , но интуитивно чувсвую, что не самый эффективный.А я бы предложил посмотреть план этого запроса. Если он будет использовать индекс, то он должен быть эффективным.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.02.2014, 15:57:15
    #38561211
retvizan
retvizan
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
самый быстрый способ найти не уникальные значения.
Добрый Э - Эх,
Имхо, это будет дольше. В обоих вариантах придется пройти весь миллиард записей и для каждой проверять соответствие.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.02.2014, 16:01:53
    #38561221
retvizan
retvizan
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
самый быстрый способ найти не уникальные значения.
miksoftА я бы предложил посмотреть план этого запроса. Если он будет использовать индекс, то он должен быть эффективным.Ну, да. Тс не уточнил, что индекс b-tree.
Или вы подразумеваете, что возможна ситуация при которой в случае b-tree не будет использован индекс для данного запроса?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.02.2014, 16:05:52
    #38561229
miksoft
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
самый быстрый способ найти не уникальные значения.
retvizanИли вы подразумеваете, что возможна ситуация при которой в случае b-tree не будет использован индекс для данного запроса?Ничего особенного я не подразумеваю, просто надо проверить. Попадались случаи странного поведения оптимизатора в подобных случаях.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.02.2014, 17:25:51
    #38561342
javajdbc
javajdbc
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
самый быстрый способ найти не уникальные значения.
alex564657498765453ситуация - имеем индекс уникальности uniq_index(field1,field2)

как в этом случае написать запрос(самый еффективный вариант)
для получения списка не уникальных значений по полю field1

предполагаем что ситуация гдето такая.
записей пол милиарда, возможно там есть 10-50 записей имеющие двойника, может даже ктото тройника.

Код: sql
1.
select field1 from table group by field1 having count(*) >1;



прямой вариант , но интуитивно чувсвую, что не самый эффективный.

как вариант для проверки скорости: NOT EXISTS
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.02.2014, 17:28:22
    #38561348
javajdbc
javajdbc
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
самый быстрый способ найти не уникальные значения.
... скорее просто EXISTS

select * from tbl T1
WHERE EXISTS
(select 1
FROM tbl T2
where условия двойника
AND T1.ID != T2.id)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.02.2014, 18:06:25
    #38561401
alex564657498765453
alex564657498765453
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
самый быстрый способ найти не уникальные значения.
javajdbc,

смелее даём варианты...

счас закончиться генерация случайных данных для базы, там будет под 10млн записей.

попробую, отпишу.

ну и генератор запущу на создание ещо 490млн записей
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.02.2014, 18:13:46
    #38561410
artas
artas
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
самый быстрый способ найти не уникальные значения.
alex564657498765453javajdbc,

смелее даём варианты...


мне кажется, это не тот случай, где может быть много нормальный вариантов запроса по вашему заданию
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.02.2014, 18:24:32
    #38561423
javajdbc
javajdbc
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
самый быстрый способ найти не уникальные значения.
alex564657498765453javajdbc,

смелее даём варианты...

счас закончиться генерация случайных данных для базы, там будет под 10млн записей.

попробую, отпишу.

ну и генератор запущу на создание ещо 490млн записей

Смелость -- дело хорошее, но на милионных обьемах
легко можно сервер заморозить, как два байта переслать.
Я бы начал с 100К для начала, просто прошупать почву...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.02.2014, 16:12:30
    #38561859
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
самый быстрый способ найти не уникальные значения.
javajdbc... скорее просто EXISTS

Это вариант проверки не скорости, а силы тормозов. Nested Loop вместо одного прохода по индексу...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
16.02.2014, 04:49:59
    #38562102
javajdbc
javajdbc
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
самый быстрый способ найти не уникальные значения.
Dimitry Sibiryakovjavajdbc... скорее просто EXISTS

Это вариант проверки не скорости, а силы тормозов. Nested Loop вместо одного прохода по индексу...

возможно, вы и правы, а может и нет.
клаву давить -- не мешки таскать.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / MySQL [игнор отключен] [закрыт для гостей] / самый быстрый способ найти не уникальные значения. / 13 сообщений из 13, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 359ms
Закрыть
start [/forum/topic.php?fid=47&mobile=1&tid=1835214]:
 0ms
get settings:
 7ms
get forum list:
 15ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 51ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 49ms
get tp. blocked users:
 1ms
others: 217ms
total:  359ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]