|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
Добрый вечер. Требуется выполнить SELECT на нескольких десятках серверов. Выполнять последовательно подключаясь dblink-ом к каждому серверу очень долго. Подскажите, как можно распралеллить подключения? Т.е. запустить одновременно 50-100 dblink-ов. Ну думаю суть вопроса вы поняли. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.11.2017, 18:24 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
версия 9.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
28.11.2017, 18:31 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
мандатная метка, Вам Сюда ... |
|||
:
Нравится:
Не нравится:
|
|||
28.11.2017, 18:33 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
28.11.2017, 18:35 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
мандатная метка, тогда, пишите свой proxy (а-ля pgPool, pgBouncer) ... с разбором where clause ... |
|||
:
Нравится:
Не нравится:
|
|||
28.11.2017, 19:26 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
мандатная метка, Я так понимаю, Вам нужен sharding не берусь утверждать, но вроде как pgPool или pgBouncer что-то похожее умеют... ... |
|||
:
Нравится:
Не нравится:
|
|||
28.11.2017, 19:34 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
мандатная метка, plproxy если именно селект, и не заморачиваться распределенной транзой. свисто поделка более чем удобная. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.11.2017, 19:56 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
qwwqмандатная метка, plproxy если именно селект, и не заморачиваться распределенной транзой. свисто поделка более чем удобная. А скажите, с распределенной транзакцией как это реализовать заморочившись? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2017, 10:31 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
мандатная меткаВыполнять последовательно подключаясь dblink-ом к каждому серверу очень долго. А ведь dblink умеет выполнять запросы асинхронно. Или это не то? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2017, 10:45 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
Павел Лузановмандатная меткаВыполнять последовательно подключаясь dblink-ом к каждому серверу очень долго. А ведь dblink умеет выполнять запросы асинхронно. Или это не то? Возможно то, но я не знаю как их ассинхронно запустить, подскажите. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2017, 10:54 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2017, 10:56 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
Павел Лузановмандатная метка, https://postgrespro.ru/docs/postgresql/9.4/dblink.html О, спасибо. Попробую dblink_send_query. По описанию вроде то что надо. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2017, 10:59 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
мандатная меткаqwwqмандатная метка, plproxy если именно селект, и не заморачиваться распределенной транзой. свисто поделка более чем удобная. А скажите, с распределенной транзакцией как это реализовать заморочившись?не скажу. вам селект, или распределенную пишущую транзу ? про селект вам сказали -- плпрокси. про распределенную транзу на 60 серверов ничего не скажу. я в сказки не верю, и лгунов не слушаю. посему слушать некого. все врут. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2017, 14:21 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
мандатная меткаПавел Лузановмандатная метка, https://postgrespro.ru/docs/postgresql/9.4/dblink.html О, спасибо. Попробую dblink_send_query. По описанию вроде то что надо. там ждать приходится пг_слипом (чтобы не грузить проц долбяком, ожидая ). а это опасно, поскольку пг_слип в том виде , в каком он был, не знал о непрерывном системном времени и был кривым поделием пионеров. вряд ли его переписали. прочитайте уже про плпрокси. это много удобнее, хотя и не столь универсально. (еще можете через postgres_fdw попробовать. в последний раз в нем была бага -- для случаев наследования , авось уже всё починили. там как--бы встроена попарная транзакционность. ) ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2017, 14:29 |
|
Как распаралерить запрос? (несколько dblink одновременно)
|
|||
---|---|---|---|
#18+
Посмотрите pmpp ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2017, 15:11 |
|
|
start [/forum/search_topic.php?author=NektonPG&author_mode=last_posts&do_search=1]: |
0ms |
get settings: |
11ms |
get forum list: |
13ms |
get settings: |
8ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
47ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
54ms |
get tp. blocked users: |
1ms |
others: | 780ms |
total: | 951ms |
0 / 0 |