powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Как распаралерить запрос? (несколько dblink одновременно)
16 сообщений из 16, страница 1 из 1
Как распаралерить запрос? (несколько dblink одновременно)
    #39560786
Добрый вечер.

Требуется выполнить SELECT на нескольких десятках серверов.

Выполнять последовательно подключаясь dblink-ом к каждому серверу очень долго.



Подскажите, как можно распралеллить подключения?


Т.е. запустить одновременно 50-100 dblink-ов.


Ну думаю суть вопроса вы поняли.
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39560789
версия 9.4
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39560790
fte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мандатная метка,
Вам Сюда
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39560792
fteмандатная метка,
Вам Сюда

хотелось бы без свисто-поделок.

на стандартном PostgreSQL.
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39560826
fte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мандатная метка,

тогда, пишите свой proxy (а-ля pgPool, pgBouncer) ...
с разбором where clause
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39560830
fte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мандатная метка,

Я так понимаю, Вам нужен sharding
не берусь утверждать, но вроде как pgPool или pgBouncer что-то похожее умеют...
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39560840
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мандатная метка,
plproxy

если именно селект, и не заморачиваться распределенной транзой.
свисто поделка более чем удобная.
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39561085
qwwqмандатная метка,
plproxy

если именно селект, и не заморачиваться распределенной транзой.
свисто поделка более чем удобная.

А скажите, с распределенной транзакцией как это реализовать заморочившись?
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39561104
Павел Лузанов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мандатная меткаВыполнять последовательно подключаясь dblink-ом к каждому серверу очень долго.

А ведь dblink умеет выполнять запросы асинхронно. Или это не то?
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39561112
Павел Лузановмандатная меткаВыполнять последовательно подключаясь dblink-ом к каждому серверу очень долго.

А ведь dblink умеет выполнять запросы асинхронно. Или это не то?

Возможно то, но я не знаю как их ассинхронно запустить, подскажите.
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39561114
Павел Лузанов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39561117
Павел Лузановмандатная метка,

https://postgrespro.ru/docs/postgresql/9.4/dblink.html


О, спасибо.

Попробую dblink_send_query.

По описанию вроде то что надо.
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39561277
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мандатная меткаqwwqмандатная метка,
plproxy

если именно селект, и не заморачиваться распределенной транзой.
свисто поделка более чем удобная.

А скажите, с распределенной транзакцией как это реализовать заморочившись?не скажу.
вам селект, или распределенную пишущую транзу ?

про селект вам сказали -- плпрокси.

про распределенную транзу на 60 серверов ничего не скажу. я в сказки не верю, и лгунов не слушаю. посему слушать некого. все врут.
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39561284
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мандатная меткаПавел Лузановмандатная метка,

https://postgrespro.ru/docs/postgresql/9.4/dblink.html


О, спасибо.

Попробую dblink_send_query.

По описанию вроде то что надо.
там ждать приходится пг_слипом (чтобы не грузить проц долбяком, ожидая ). а это опасно, поскольку пг_слип в том виде , в каком он был, не знал о непрерывном системном времени и был кривым поделием пионеров. вряд ли его переписали.

прочитайте уже про плпрокси. это много удобнее, хотя и не столь универсально. (еще можете через postgres_fdw попробовать. в последний раз в нем была бага -- для случаев наследования , авось уже всё починили. там как--бы встроена попарная транзакционность. )
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39561996
Author the new one
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Посмотрите pmpp
...
Рейтинг: 0 / 0
Как распаралерить запрос? (несколько dblink одновременно)
    #39590069
Author the new oneПосмотрите pmpp

как буд-то жигуль завожу...
...
Рейтинг: 0 / 0
16 сообщений из 16, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Как распаралерить запрос? (несколько dblink одновременно)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]