Если создать пользователя когда еще не md5, то подключиться невозможно.
Просто поменять password_encryption = md5
недостаточно, надо еще ALTER USER делать.
Ну как бы строго так как задокументировано. password_encryption влияет на то, как пишется пароль в тот момент, когда этот пароль меняют либо задают. А как вы ещё собираетесь поменять алгоритм хеширования того, чего у вас принципиально не хранится - пароля пользователя?
А проблема у вас в том, что вы пытаетесь использовать древний psql. Это не проблема базы, это вы зачем-то взяли древний psql. Возьмите psql соответствующей своему серверу версии и будет он спокойно авторизовываться по SCRAM.
