УткъДобрый день, есть два сервера.

И в каждом есть огроменная таблица (300+ Гб).

Надо как-то сравнить эти две траблицы по одному текстовому полю (по полю есть индекс).





Подскажите как это сделать?




Запрос с дб_линком выполняется бесконечно долго:




А вообще вы бы планы показали чтоли.
И 20 раз уже писалось (и кажется вам тоже что not in в postresql не используют кроме случая not in (1,2,3) и подобных.
Тем более что 300gb через db_link не пролезет нормально никогда.

1)вам надо fdw
2)какая толщина канала между серверами? (ожидайте около 600gb траффика)
3)переделайте запрос на fdw + not exists и выдайте очень много work_mem на том сервере где запрос выполняется (гигабайт 4-16 если есть возможность)
4)в любом случае если у вас сетка не 10+gbit - это будут часы (а то и сутки).

Костыльный метод - dump таблицы на одном сервере восстановление на другом под другим названием в туже базу где сверять и сверить локальным запросом (если сеть медленная это может быть единственным рабочим вариантом).

qwwqпоправка:
qwwqя как то проверил create table a as select * from fdw_a; -- по одной оно записи фетчит.

припоминаю, что соврал. гнал инсертом селект всего с фдв в только-что созданную пустую с индексами. задача на много дней и недель. т.к. на удаленном идёт фетч по одной, а на целевом -- вставка по одной с перестроением индексов после каждого фетча. невзлетело

Странно что на удаленном сервере fetch по одной идет.
По умолчанию - блоками по 100... если быстрая сеть я бы для такой задачи поставил бы блоки в 10000-100000.
Настройки см https://www.postgresql.org/docs/11/postgres-fdw.html
в части
fetch_size
This option specifies the number of rows postgres_fdw should get in each fetch operation. It can be specified for a foreign table or a foreign server. The option specified on a table overrides an option specified for the server. The default is 100.
Может вы для какой то другой задачи поставили в настройках сервера или таблицы размер fetch_size в 1?

Но поскольку limit на сторону удаленную сторону не пробрасывается - там начинаются проблемы наоборот - а именно лишние записи могут по сети ездить.