ReSQL.ru
     
powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Сравнить 2 большие таблицы по PK ??
10 сообщений из 10, страница 1 из 1
Сравнить 2 большие таблицы по PK ??
    #40010053
teCa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
teCa
Участник
Всем привет.
Подскажите, как лучше сравнить 2 большие таблицы (1.8млрд) по PK?

Есть 2 таблицы, из одной переносились данные в копию разными методами (триггер+insert into), хочу проверить, не потерялись ли при переносе какие то строки. Возможно ли на таком массиве выявить, каких ID недостает в таблице получателе?
...
Рейтинг: 0 / 0
20.10.2020, 03:52
| Ответить | Цитировать | Написать  
Сравнить 2 большие таблицы по PK ??
    #40010054
fkthat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fkthat
Участник
Код: sql
1.
2.
3.
4.
select c1.id from
  customers1 c1 left outer join customers2 c2
   on c1.id = c2.id
  where c2.id is null
...
Рейтинг: 0 / 0
20.10.2020, 04:22
| Ответить | Цитировать | Написать  
Сравнить 2 большие таблицы по PK ??
    #40010124
teCa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
teCa
Участник
fkthat,

Сколько по времени данная конструкция обработает такой объём?
...
Рейтинг: 0 / 0
20.10.2020, 11:43
| Ответить | Цитировать | Написать  
Сравнить 2 большие таблицы по PK ??
    #40010132
felix_ff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
felix_ff
Участник
teCa,

на таких объемах может достаточно долго.

я бы написал так:
Код: sql
1.
select c1.id from customers1 c1 where not exists (select 1 from customers2 c2 where c2.id = c1.id)



что бы добиться оператора MJ:right anti semi join

иначе у вас может получиться план где будет соединение слиянием с последующим оператором фильтра по c2.id is null
...
Рейтинг: 0 / 0
20.10.2020, 12:17
| Ответить | Цитировать | Написать  
Сравнить 2 большие таблицы по PK ??
    #40010165
fkthat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fkthat
Участник
felix_ff,

На миллионе записей:



Как видно цена фильтрации невысока на самом деле.
...
Рейтинг: 0 / 0
20.10.2020, 15:02
| Ответить | Цитировать | Написать  
Сравнить 2 большие таблицы по PK ??
    #40010168
fkthat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fkthat
Участник
felix_ff,

Впрочем, судя по планам, твой вариант пошустрее должен быть.
...
Рейтинг: 0 / 0
20.10.2020, 15:28
| Ответить | Цитировать | Написать  
Сравнить 2 большие таблицы по PK ??
    #40010173
felix_ff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
felix_ff
Участник
fkthat,

на мелких объемах разницы видно не будет. + важным фактором является как раз количество отсутствующих строк во второй таблице.

если скажем в обоих таблицах по 2 лярда, а разница между строками ~100k, то оба запроса в плане потребления ресурсов будут почти идентичны.
а вот если разница будет большой, к примеру ~овер 10 лямов строк, то тогда план с оператором фильтра потребит больше циклов CPU
...
Рейтинг: 0 / 0
20.10.2020, 15:36
| Ответить | Цитировать | Написать  
Сравнить 2 большие таблицы по PK ??
    #40010174
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
Есть смысл попробовать вариант с EXCEPT, он работает вполне сносно при сверке крупных массивов данных.
...
Рейтинг: 0 / 0
20.10.2020, 15:36
| Ответить | Цитировать | Написать  
Сравнить 2 большие таблицы по PK ??
    #40010178
felix_ff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
felix_ff
Участник
Владислав Колосов,

вот кстати хорошая статья по сравнению
https://sqlperformance.com/2012/12/t-sql-queries/left-anti-semi-join
...
Рейтинг: 0 / 0
20.10.2020, 15:49
| Ответить | Цитировать | Написать  
Сравнить 2 большие таблицы по PK ??
    #40010220
teCa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
teCa
Участник
felix_ff
teCa,

на таких объемах может достаточно долго.

я бы написал так:
Код: sql
1.
select c1.id from customers1 c1 where not exists (select 1 from customers2 c2 where c2.id = c1.id)



что бы добиться оператора MJ:right anti semi join

иначе у вас может получиться план где будет соединение слиянием с последующим оператором фильтра по c2.id is null


Воспользовался этим вариантом, сравнилось за 22 минуты, более чем хорошо. Выявил 650 тысяч отсутствующих строк.
...
Рейтинг: 0 / 0
20.10.2020, 16:53
| Ответить | Цитировать | Написать  
10 сообщений из 10, страница 1 из 1
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Сравнить 2 большие таблицы по PK ??
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=46&fpage=45&tid=1685515]:
 0ms
get settings:
 8ms
get forum list:
 10ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 45ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 51ms
get tp. blocked users:
 2ms
others: 13ms
total:  149ms
созд. / загр.: 149ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]