ReSQL.ru
     
powered by simpleCommunicator - 2.0.40     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Сделать выборку на огромном количестве серверов
35 сообщений из 35, показаны все 2 страниц
  все  
Сделать выборку на огромном количестве серверов
    #40123312
Уткъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Уткъ
Гость
Доброе утро.

Требуется сделать короткую выборку на огормном количестве серверов.

Сам запрос выполняется доли секунды, но количество серверов около 100500.
...
Рейтинг: 0 / 0
27.12.2021, 11:06
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123315
Уткъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Уткъ
Гость
DBLINK_SEND_QUERY требует DBLINK_CONNECT



и DBLINK_CONNECT выполняется поочередно очень долго


Как нить можно DBLINK_CONNECT распарралелить на 100500 серверов?


Ну или еще мож есть какие-нибудь варианты?
...
Рейтинг: 0 / 0
27.12.2021, 11:09
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123322
Guzya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Guzya
Гость
ssh + скриптик
...
Рейтинг: 0 / 0
27.12.2021, 11:26
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123324
Ы2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ы2
Участник
Уткъ, посмотрите, не спасет ли вас это .
...
Рейтинг: 0 / 0
27.12.2021, 11:48
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123330
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
Ы2
Уткъ, посмотрите, не спасет ли вас это .

гвозди микроскопом.
Как уже сказали - "ssh в пакете" решит проблему.
Вопрос что потом с результатом запроса делать. Если доп.обработка нужна - тогда скорее всего на питоне что-нибудь городить придется.
btw, у ansible есть модуль postgresql_query как раз для таких случаев. Если у ТСа 100500 серверов, то и ansible(или аналоги) быть должны.
...
Рейтинг: 0 / 0
27.12.2021, 12:15
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123334
gav21
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
gav21
Участник
ansible в параллельном режиме выполнения и его модули postgresql_*
...
Рейтинг: 0 / 0
27.12.2021, 12:28
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123388
Уткъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Уткъ
Гость
Guzya
ssh + скриптик


Так и делал, но тут есть недостатки, т.к. все процессы когда их много, одновременно не запускаются, а ждут по очереди.

Например, 5 тыс запустилось и 95500 в очереди.
...
Рейтинг: 0 / 0
27.12.2021, 15:29
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123389
Уткъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Уткъ
Гость
Ы2
Уткъ, посмотрите, не спасет ли вас это .



нужна стандартная штуковина, без доп установок.
...
Рейтинг: 0 / 0
27.12.2021, 15:30
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123390
Уткъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Уткъ
Гость
mefman
Ы2
Уткъ, посмотрите, не спасет ли вас это .

гвозди микроскопом.
Как уже сказали - "ssh в пакете" решит проблему.
Вопрос что потом с результатом запроса делать. Если доп.обработка нужна - тогда скорее всего на питоне что-нибудь городить придется.
btw, у ansible есть модуль postgresql_query как раз для таких случаев. Если у ТСа 100500 серверов, то и ansible(или аналоги) быть должны.


ansible не хотелось бы использовать.

резльтат запроса требуется собрать в одну таблицу.


А нет способа ускорить\распарралерить DBLINK_CONNECT ?
...
Рейтинг: 0 / 0
27.12.2021, 15:31
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123409
Guzya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Guzya
Гость
Если задача не одноразовая, то распихать в крон по серверам, а результат пусть отсылают куда надо.
...
Рейтинг: 0 / 0
27.12.2021, 16:18
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123412
Guzya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Guzya
Гость
Еще такой, НЕ БЕЗОПАСНЫЙ МЕТОД, написать скрипт\программку "исполнитель", который будет запускаться из крон, брать "задание" и выполнять.

Пример, имеется некий централизованный сервер, где Вы размещаете "задания на выполнение" (допустим, sql в файле).
По крону запускается "исполнитель", который скачивает "задание", выполняет и передает результат куда Вам надо.
...
Рейтинг: 0 / 0
27.12.2021, 16:36
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123427
Фотография Vadim Lejnin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadim Lejnin
Участник
список серверов + xargs + script который будет подключаться к удаленной бае и укладывать в локальную таблицу результат выполнения
...
Рейтинг: 0 / 0
27.12.2021, 18:00
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123430
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
Уткъ
mefman
пропущено...

гвозди микроскопом.
Как уже сказали - "ssh в пакете" решит проблему.
Вопрос что потом с результатом запроса делать. Если доп.обработка нужна - тогда скорее всего на питоне что-нибудь городить придется.
btw, у ansible есть модуль postgresql_query как раз для таких случаев. Если у ТСа 100500 серверов, то и ansible(или аналоги) быть должны.


ansible не хотелось бы использовать.

резльтат запроса требуется собрать в одну таблицу.


А нет способа ускорить\распарралерить DBLINK_CONNECT ?

Тогда на питоне пиши. Там и параллель и асинк. Все что душе угодно.
...
Рейтинг: 0 / 0
27.12.2021, 18:14
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123437
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
Уткъ
DBLINK_SEND_QUERY требует DBLINK_CONNECT



и DBLINK_CONNECT выполняется поочередно очень долго


Как нить можно DBLINK_CONNECT распарралелить на 100500 серверов?


Ну или еще мож есть какие-нибудь варианты?


Эта задача уровня приложения а не базы... не надо на базе решить не её задачи...
А запрограммировать можно что угодно... но вот лучше вне базы.

PS: если вам нечего делать то
https://www.postgresql.org/docs/14/contrib-dblink-send-query.html
и далее... но что будет если вы попробуете открыть одновременно 100500 async запросов к разным база из 1 коннекта не знают я думаю даже авторы.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
27.12.2021, 18:56
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123454
Фотография programmator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
programmator
Участник
похоже на тех задание для dos атаки)
...
Рейтинг: 0 / 0
27.12.2021, 20:42
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123486
Уткъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Уткъ
Гость
Maxim Boguk

PS: если вам нечего делать то
https://www.postgresql.org/docs/14/contrib-dblink-send-query.html
и далее...


Максим, DBLINK_SEND_QUERY требует DBLINK_CONNECЮ который выполняется последовательно и очень долго (((
Уткъ
DBLINK_SEND_QUERY требует DBLINK_CONNECT
и DBLINK_CONNECT выполняется поочередно очень долго
...
Рейтинг: 0 / 0
28.12.2021, 01:09
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123487
Уткъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Уткъ
Гость
[quot Maxim Boguk#22415080
Эта задача уровня приложения а не базы... не надо на базе решить не её задачи...
А запрограммировать можно что угодно... но вот лучше вне базы.
[/quot]

Проблема в том, что конечные сервера находятся в другой подсети, даже в разных подсетях и ip пересекаются если делать из одного места.

Пожетому подключаюсь к серверу в одной подсети и запуска там все что связано в этой подсетью (100500/5) потом к другому и так несколько раз.
...
Рейтинг: 0 / 0
28.12.2021, 01:11
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123534
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
Уткъ
Maxim Boguk

PS: если вам нечего делать то
https://www.postgresql.org/docs/14/contrib-dblink-send-query.html
и далее...


Максим, DBLINK_SEND_QUERY требует DBLINK_CONNECЮ который выполняется последовательно и очень долго (((
Уткъ
DBLINK_SEND_QUERY требует DBLINK_CONNECT
и DBLINK_CONNECT выполняется поочередно очень долго


А это уже только на Сях писать если вам асинхронная работа с установкой соединений нужна.
libpq асинхронные функции вам в руки.


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
28.12.2021, 10:29
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123549
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ролг Хупин
Участник
Maxim Boguk
Уткъ
пропущено...


Максим, DBLINK_SEND_QUERY требует DBLINK_CONNECЮ который выполняется последовательно и очень долго (((
пропущено...


А это уже только на Сях писать если вам асинхронная работа с установкой соединений нужна.
libpq асинхронные функции вам в руки.


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru



Только "на Сях"?

Т.е. c#+Npgsql нельзя использовать?
...
Рейтинг: 0 / 0
28.12.2021, 11:08
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123556
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
Ролг Хупин
Maxim Boguk
пропущено...


А это уже только на Сях писать если вам асинхронная работа с установкой соединений нужна.
libpq асинхронные функции вам в руки.


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru



Только "на Сях"?

Т.е. c#+Npgsql нельзя использовать?

На любом нормальном языке программирования, я думаю.
Максим привел один из возможных.
C# - это же виндовс, вроде. С постгресом его особо не юзают.
...
Рейтинг: 0 / 0
28.12.2021, 11:23
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123562
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Уткъ
Доброе утро.

Требуется сделать короткую выборку на огормном количестве серверов.

Сам запрос выполняется доли секунды, но количество серверов около 100500.

Ты наверное пошутил про их количество?

Тут проблема намечается. Не все из них будут в сети в час X. Поэтому нужны координаторы доступности и нужны зеркала.
...
Рейтинг: 0 / 0
28.12.2021, 11:34
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123565
Фотография Vadim Lejnin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadim Lejnin
Участник
Уткъ

...
Проблема в том, что конечные сервера находятся в другой подсети, даже в разных подсетях и ip пересекаются если делать из одного места.

Пожетому подключаюсь к серверу в одной подсети и запуска там все что связано в этой подсетью (100500/5) потом к другому и так несколько раз.



ответ студента на экзамене по автоматизации...
ЦАП-АЦП-ЦАП-АЦП-ЦАП-ЦАП-АЦП
...


Решал практически аналогичную задачу (только не с таким количеством серверов):

Есть PROD контур с текущей версией системы, + изолированный MIRROR контур, точная копия (включая IP) для отладки процедуры миграции. Доступ на mirror через терминальный сервер, + рабочий комп, который имеет доступ как к PROD, так и к терминальному серверу. ProxyJump может быть не один

1) набор ssh private/public keys

2) .ssh/config на рабочем компе (p - prod prefix, m - mirror prefix)
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
...
Host psrv8
 HostName 192.145.33.108
 User userdb33
 IdentityFile ~/.ssh/srv8

Host msrv8
 HostName 192.145.33.108
 User userdb33
 ProxyJump work2@term1
 IdentityFile ~/.ssh/srv8
...



3) набор скриптов для мониторинга/обслуживания/синхронизации конфигурации с prod на mirror
как базы так и системы.

Если нужна параллельность, то проблем нет, список/запрос с параметрами подается на xargs:
Код: sql
1.
2.
3.
4.
5.
6.
7.
...
# параллельная переиндексация для fix bug после pg_upgrade 
(
time psql $DB -t -A -c  "select ...... from pg_class where relname like 'pg_toast%' and ....;"|\
xargs -n 1 -P $PARALLEL_COUNT -I {} $T psql $DB -c "reindex table pg_toast.{};"
) 
...



Для win среды, написал бы что-то аналогичное для PowerShell
...
Рейтинг: 0 / 0
28.12.2021, 11:43
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123581
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
Ролг Хупин
Maxim Boguk
пропущено...


А это уже только на Сях писать если вам асинхронная работа с установкой соединений нужна.
libpq асинхронные функции вам в руки.


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru



Только "на Сях"?

Т.е. c#+Npgsql нельзя использовать?


Я не очень знаю что там с реализацией асинхронного соединения с базой и асинхронной работы с запросами.
Как оно на libpq делается знаю, а на остальных ЯП - черт его знает (я вообще мало видел языков которые нормально в асинхронную работу с установкой соединения с базой умеют).

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
28.12.2021, 12:15
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123583
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ролг Хупин
Участник
mefman
Ролг Хупин
пропущено...



Только "на Сях"?

Т.е. c#+Npgsql нельзя использовать?

На любом нормальном языке программирования, я думаю.
Максим привел один из возможных.
C# - это же виндовс, вроде. С постгресом его особо не юзают.


В том-то и дело, что он привел не один из возможных, он написал
"А это уже только на Сях писать"

И потом - "C# - это же виндовс" - сегодня это уже не Windows, на NET Core можно делать кроссплатформенные приложения.

Ну, и вы понимаете, что это всего лишь эмоции: "особо". Вчера было так, сегодня иначе.Все меняется.
...
Рейтинг: 0 / 0
28.12.2021, 12:17
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123584
Уткъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Уткъ
Гость
Maxim Boguk
Уткъ
пропущено...


Максим, DBLINK_SEND_QUERY требует DBLINK_CONNECЮ который выполняется последовательно и очень долго (((
пропущено...


А это уже только на Сях писать если вам асинхронная работа с установкой соединений нужна.
libpq асинхронные функции вам в руки.


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru


Да, похоже прийдется писать.

>асинхронная работа с установкой соединений нужна

можете подсказать какие вызовы это смотреть?

PQconnectdb вроде так не может...
...
Рейтинг: 0 / 0
28.12.2021, 12:19
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123585
Уткъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Уткъ
Гость
Ролг Хупин
Maxim Boguk
пропущено...


А это уже только на Сях писать если вам асинхронная работа с установкой соединений нужна.
libpq асинхронные функции вам в руки.


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru



Только "на Сях"?

Т.е. c#+Npgsql нельзя использовать?


С# - это MS. Считаю что на серверах продуктам MS не место (
...
Рейтинг: 0 / 0
28.12.2021, 12:20
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123586
Уткъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Уткъ
Гость
Vadim Lejnin
Уткъ

...
Проблема в том, что конечные сервера находятся в другой подсети, даже в разных подсетях и ip пересекаются если делать из одного места.

Пожетому подключаюсь к серверу в одной подсети и запуска там все что связано в этой подсетью (100500/5) потом к другому и так несколько раз.



ответ студента на экзамене по автоматизации...
ЦАП-АЦП-ЦАП-АЦП-ЦАП-ЦАП-АЦП
...


Решал практически аналогичную задачу (только не с таким количеством серверов):

Есть PROD контур с текущей версией системы, + изолированный MIRROR контур, точная копия (включая IP) для отладки процедуры миграции. Доступ на mirror через терминальный сервер, + рабочий комп, который имеет доступ как к PROD, так и к терминальному серверу. ProxyJump может быть не один

1) набор ssh private/public keys

2) .ssh/config на рабочем компе (p - prod prefix, m - mirror prefix)
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
...
Host psrv8
 HostName 192.145.33.108
 User userdb33
 IdentityFile ~/.ssh/srv8

Host msrv8
 HostName 192.145.33.108
 User userdb33
 ProxyJump work2@term1
 IdentityFile ~/.ssh/srv8
...



3) набор скриптов для мониторинга/обслуживания/синхронизации конфигурации с prod на mirror
как базы так и системы.

Если нужна параллельность, то проблем нет, список/запрос с параметрами подается на xargs:
Код: sql
1.
2.
3.
4.
5.
6.
7.
...
# параллельная переиндексация для fix bug после pg_upgrade 
(
time psql $DB -t -A -c  "select ...... from pg_class where relname like 'pg_toast%' and ....;"|\
xargs -n 1 -P $PARALLEL_COUNT -I {} $T psql $DB -c "reindex table pg_toast.{};"
) 
...



Для win среды, написал бы что-то аналогичное для PowerShell


Благодарю за пример.

Часть серверов, к сожалению на винде...
...
Рейтинг: 0 / 0
28.12.2021, 12:22
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123588
Уткъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Уткъ
Гость
Maxim Boguk

Я не очень знаю что там с реализацией асинхронного соединения с базой и асинхронной работы с запросами.
Как оно на libpq делается знаю.



Максим, очень интересно как это сделать, поделитесь пожалуйста.
...
Рейтинг: 0 / 0
28.12.2021, 12:23
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123590
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ролг Хупин
Участник
Уткъ
Ролг Хупин
пропущено...



Только "на Сях"?

Т.е. c#+Npgsql нельзя использовать?


С# - это MS. Считаю что на серверах продуктам MS не место (



О, вы рискуете отстать от времени и от технологий.

Вам надо задачу решить или "считать", что на каких-то серверах продуктам MS не место?
Мир изменился, MS встроила в Windows WSL2. Вы в курсе?
...
Рейтинг: 0 / 0
28.12.2021, 12:27
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123592
Уткъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Уткъ
Гость
Ролг Хупин
Уткъ
пропущено...


С# - это MS. Считаю что на серверах продуктам MS не место (



О, вы рискуете отстать от времени и от технологий.

Вам надо задачу решить или "считать", что на каких-то серверах продуктам MS не место?
Мир изменился, MS встроила в Windows WSL2. Вы в курсе?


MS поняла что они никому нафиг не нужны и прогибается как может, и sql server под линукс выпустили.

Но сути MS это не меняет, их цель выкачивание бабла любыми способами, не смотря на весьма плохое качество ПО.

По этой причине продуктам на серверах не место.
...
Рейтинг: 0 / 0
28.12.2021, 12:30
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123594
Уткъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Уткъ
Гость
Уткъ
Ролг Хупин
пропущено...



О, вы рискуете отстать от времени и от технологий.

Вам надо задачу решить или "считать", что на каких-то серверах продуктам MS не место?
Мир изменился, MS встроила в Windows WSL2. Вы в курсе?


MS поняла что они никому нафиг не нужны и прогибается как может, и sql server под линукс выпустили.

Но сути MS это не меняет, их цель выкачивание бабла любыми способами, не смотря на весьма плохое качество ПО.

По этой причине продуктам на серверах не место.
...
Рейтинг: 0 / 0
28.12.2021, 12:31
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123597
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ролг Хупин
Участник
Уткъ
Ролг Хупин
пропущено...



О, вы рискуете отстать от времени и от технологий.

Вам надо задачу решить или "считать", что на каких-то серверах продуктам MS не место?
Мир изменился, MS встроила в Windows WSL2. Вы в курсе?


MS поняла что они никому нафиг не нужны и прогибается как может, и sql server под линукс выпустили.

Но сути MS это не меняет, их цель выкачивание бабла любыми способами, не смотря на весьма плохое качество ПО.

По этой причине продуктам на серверах не место.


Вот это душевно "MS поняла что они никому нафиг не нужны"
Кому "никому"?

Если не трудно расшифруйте эту глубокую мысль
"По этой причине продуктам на серверах не место"?

Каким "продуктам" и на каких "серверах"? Да, и кто определил, что мол "не место"?

Большое человеческое спасибо наперёд
...
Рейтинг: 0 / 0
28.12.2021, 12:34
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123622
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
Уткъ
Maxim Boguk

Я не очень знаю что там с реализацией асинхронного соединения с базой и асинхронной работы с запросами.
Как оно на libpq делается знаю.



Максим, очень интересно как это сделать, поделитесь пожалуйста.


Всё есть в документации.
https://www.postgresql.org/docs/14/libpq-connect.html

PQconnectStartParams
PQconnectStart
PQconnectPoll

Make a connection to the database server in a nonblocking manner.
и далее по тексту.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
28.12.2021, 14:34
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123648
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ролг Хупин
Участник
Maxim Boguk
Уткъ
пропущено...



Максим, очень интересно как это сделать, поделитесь пожалуйста.


Всё есть в документации.
https://www.postgresql.org/docs/14/libpq-connect.html

PQconnectStartParams
PQconnectStart
PQconnectPoll

Make a connection to the database server in a nonblocking manner.
и далее по тексту.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru


+ c# npgsql
Код: c#
1.
2.
3.
4.
5.
 var connectionString = $"Server=localhost;Port=5432;Database={databaseName};User Id=postgres;Password=pwd;";

            using (var connection = new NpgsqlConnection(connectionString))
            {
                await connection.OpenAsync();
...
Рейтинг: 0 / 0
28.12.2021, 16:05
| Ответить | Цитировать | Написать  
Сделать выборку на огромном количестве серверов
    #40123684
Фотография Vadim Lejnin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadim Lejnin
Участник
Уткъ

...
Для win среды, написал бы что-то аналогичное для PowerShell



Благодарю за пример.

Часть серверов, к сожалению на винде...

[/quot]

Я бы выделил следующие моменты которые нужно решить:

1) параллельность
2) proxy/jump соединения
3) authority
4) cross platform executing
5) избежать установки дополнительного ПО на сервера


os side solution:
1) powershell умеет параллелить команды
2) powershell умеет работать через proxy session
3) настройка не требует перезапуска postgres, но может быть гемор если нет общего дерева/домена см комментарий ниже
4) ssh/unix - решение уже приводил + powershell есть для linux
5) powershell можно установить настроить только на рабочей workstation, остальные сервера не требуют установки доп ПО

здесь грабли которые вижу - сквозная авторизация для powershell через подсетки/домены, если конечно уже нет единой системы

Выбор shell, решает флаг в списке серверов
правда придется скрипты писать придется в двух версиях
все остальное более/менее штатно
Я бы пошел по этому пути.

Если выбрать в качестве решения postgresql side solution:

1) параллельность - (job)
2) proxy/jump соединения - требует extension, хотя ЯТД количество подсеток все же меньше чем кол-во серверов, можно и заморочится
3) authority, тут могут быть засады, гемора немало
4) cross platform executing, без особых проблем
5) избежать установки дополнительного ПО на сервера
proxy/jump соединения - требует extension, но только на proxy машины
...
Рейтинг: 0 / 0
28.12.2021, 18:35
| Ответить | Цитировать | Написать  
35 сообщений из 35, показаны все 2 страниц
  все  
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Сделать выборку на огромном количестве серверов
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=53&tid=1993727]:
 0ms
get settings:
 10ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 28ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 61ms
get tp. blocked users:
 2ms
others: 292ms
total:  430ms
созд. / загр.: 430ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]