это скорее DNS lookup на клиенте долго выполняется

Уточните что выполняется долго: подключение к серверу или запрос? Если клиент не использует пул соединений, то каждое соединение разумеется порождает новый серверный процесс.

Я сначала решил, что у вас тормозит подключение - и предположил что проблема с DNS. Хотя дело может быть совсем и не в этом, но попробуйте поставить вместо имени IP.

Если же тормозит запрос, то не видя explain analyze запроса и postgresql.conf точно ничего не скажешь. Можно предположить, что мало памяти выделено. Или же на сервере активно работают другие задачи, которые за 3 минуты "вымывают" постгресовские данные из дискового кеша.