|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
Добрый вечер. Требуется выполнить SELECT на нескольких десятках серверов. Выполнять последовательно подключаясь dblink-ом к каждому серверу очень долго. Подскажите, как можно распралеллить подключения? Т.е. запустить одновременно 50-100 dblink-ов. Ну думаю суть вопроса вы поняли. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.11.2017, 18:24 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
версия 9.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
28.11.2017, 18:31 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
мандатная метка, Вам Сюда ... |
|||
:
Нравится:
Не нравится:
|
|||
28.11.2017, 18:33 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
28.11.2017, 18:35 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
мандатная метка, тогда, пишите свой proxy (а-ля pgPool, pgBouncer) ... с разбором where clause ... |
|||
:
Нравится:
Не нравится:
|
|||
28.11.2017, 19:26 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
мандатная метка, Я так понимаю, Вам нужен sharding не берусь утверждать, но вроде как pgPool или pgBouncer что-то похожее умеют... ... |
|||
:
Нравится:
Не нравится:
|
|||
28.11.2017, 19:34 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
мандатная метка, plproxy если именно селект, и не заморачиваться распределенной транзой. свисто поделка более чем удобная. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.11.2017, 19:56 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
qwwqмандатная метка, plproxy если именно селект, и не заморачиваться распределенной транзой. свисто поделка более чем удобная. А скажите, с распределенной транзакцией как это реализовать заморочившись? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2017, 10:31 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
мандатная меткаВыполнять последовательно подключаясь dblink-ом к каждому серверу очень долго. А ведь dblink умеет выполнять запросы асинхронно. Или это не то? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2017, 10:45 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
Павел Лузановмандатная меткаВыполнять последовательно подключаясь dblink-ом к каждому серверу очень долго. А ведь dblink умеет выполнять запросы асинхронно. Или это не то? Возможно то, но я не знаю как их ассинхронно запустить, подскажите. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2017, 10:54 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2017, 10:56 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
Павел Лузановмандатная метка, https://postgrespro.ru/docs/postgresql/9.4/dblink.html О, спасибо. Попробую dblink_send_query. По описанию вроде то что надо. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2017, 10:59 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
мандатная меткаqwwqмандатная метка, plproxy если именно селект, и не заморачиваться распределенной транзой. свисто поделка более чем удобная. А скажите, с распределенной транзакцией как это реализовать заморочившись?не скажу. вам селект, или распределенную пишущую транзу ? про селект вам сказали -- плпрокси. про распределенную транзу на 60 серверов ничего не скажу. я в сказки не верю, и лгунов не слушаю. посему слушать некого. все врут. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2017, 14:21 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
мандатная меткаПавел Лузановмандатная метка, https://postgrespro.ru/docs/postgresql/9.4/dblink.html О, спасибо. Попробую dblink_send_query. По описанию вроде то что надо. там ждать приходится пг_слипом (чтобы не грузить проц долбяком, ожидая ). а это опасно, поскольку пг_слип в том виде , в каком он был, не знал о непрерывном системном времени и был кривым поделием пионеров. вряд ли его переписали. прочитайте уже про плпрокси. это много удобнее, хотя и не столь универсально. (еще можете через postgres_fdw попробовать. в последний раз в нем была бага -- для случаев наследования , авось уже всё починили. там как--бы встроена попарная транзакционность. ) ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2017, 14:29 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
Посмотрите pmpp ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2017, 15:11 |
|
|
start [/forum/topic.php?fid=53&msg=39560792&tid=1995987]: |
0ms |
get settings: |
7ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
40ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
59ms |
get tp. blocked users: |
1ms |
others: | 15ms |
total: | 151ms |
0 / 0 |