Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Несколько простых вопросов / 25 сообщений из 31, страница 1 из 2
26.09.2017, 18:49
    #39526699
halogen20
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Привет, товарищи!

поставили postgre под 1С, имеется пару простых вопросов, решил задать все в одном, потом уже по необходимости содам профильные темы. Сильно не пинайте, первый раз вижу postgre

физический сервер, проц. Xeon, 32гб ОЗУ, системный диск SSD, база на 2х HDD (RAID1). ОС - Win 2016 std.
Все новое, больше ничего не стоит, только postgre+1C, без "боевых" баз. поставили только базу Гилева для теста.
Ну и вот вопросы для меня непонятные:

1. На диске D (на рейде) создали папку "bases", у указали, что там хранила базы. после установки базу Гилева захожу туда и.. реальность превзошла мои ожидания, Там я ожидал видеть папку с названием базы, как в MSSQL, а там все разбросано файлами и папками, не понятно что где. Можно ли базы организовать аккуратно, как в случае с MSSQL ?

2. Поставили интерфейс pgAdmin, но тоже меня разочаровал. думал там увидеть обслуживание и функции бекапирования, но тоже нет. говорят, что средствами винды надо делать. насколько это верно ? может есть готовые решение ? скрипты/программы

3. локально запустили на сервере тест GTC, показал всего 8%. Сервер достаточно мощный, но такой низкий показатель. Можно ли оптимизировать? тоже надо шаманить и методом тыка или есть определенные шаги для оптимизации?
...
Рейтинг: 0 / 0
27.09.2017, 08:53
    #39526858
mad_nazgul
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
halogen20Привет, товарищи!


Здесь вам не тут! :-)

halogen201. На диске D (на рейде) создали папку "bases", у указали, что там хранила базы. после установки базу Гилева захожу туда и.. реальность превзошла мои ожидания, Там я ожидал видеть папку с названием базы, как в MSSQL, а там все разбросано файлами и папками, не понятно что где. Можно ли базы организовать аккуратно, как в случае с MSSQL ?


Нет.
Если что на postgresql.org - есть документация .
Рекомендую начать с нее.

halogen202. Поставили интерфейс pgAdmin, но тоже меня разочаровал. думал там увидеть обслуживание и функции бекапирования, но тоже нет. говорят, что средствами винды надо делать. насколько это верно ? может есть готовые решение ? скрипты/программы


Все "удобства" во дворе, либо за деньги.
А так у postgresql очень развит CLI.
Который позволяет делать очень многое.
В т.ч. создание бекапов.
Сам план бекопирования создается в ОС.
В Windows это Task Sheduler

halogen203. локально запустили на сервере тест GTC, показал всего 8%. Сервер достаточно мощный, но такой низкий показатель. Можно ли оптимизировать? тоже надо шаманить и методом тыка или есть определенные шаги для оптимизации?

Как сейчас не знаю, но до версии 9 настройки "по умолчанию" были рассчитаны, что бы PostgreSQL мог запускаться везде.
От Мейнфрейма, до домашнего роутера.
Для разработчика, это норм.
Но для продакшена нужно изучать настройки PostgreSQL.
Не забываем, что "удобства во вдоре".
Т.е. никаких GUI утилит.
Только конфиги и аргументы запуска.

Удачи :-)
...
Рейтинг: 0 / 0
28.09.2017, 13:08
    #39527618
halogen20
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Хреново конечно. за это время почитал немного, полазил по форумам и обзорам.
конфиг файл переделал. укрепил к сообщению. можете посмотреть пожалуйста все нормально?

С таким конфигом TGS (тест Гилева) показывает 11. Это максимум, что мог добиться.

Скрины показателей:
http://images.vfl.ru/ii/1506593242/f0d3b40d/18776773.png

http://images.vfl.ru/ii/1506593108/c45db382/18776747.jpg
http://images.vfl.ru/ii/1506593138/82fc234c/18776749.jpg

базу перенесли и на SSD, тоже самое. даже чуть чуть ниже показатель.
...
Рейтинг: 0 / 0
28.09.2017, 14:49
    #39527687
Vadim Lejnin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
...
Рейтинг: 0 / 0
28.09.2017, 15:21
    #39527723
halogen20
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Vadim Lejnin
спасибо за ссылки, буду читать/смотреть. Но а пока хотел бы разобраться с оптимизацией, конфиг файл укрепил. если несложно, посмотрите пожалуйста (на предыдущей сообщении)
...
Рейтинг: 0 / 0
28.09.2017, 15:28
    #39527730
Vadim Lejnin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Для начинающих
Настройки PostgreSQL для работы с 1С:Предприятием. Часть 2 pgtune online

Статистика по таблицам собрана?
pgtune рекомендует
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
# DB Version: 9.6
# OS Type: linux
# DB Type: oltp
# Total Memory (RAM): 32 GB
# Number of Connections: 100

max_connections = 100
shared_buffers = 8GB
effective_cache_size = 24GB
work_mem = 83886kB
maintenance_work_mem = 2GB
min_wal_size = 2GB
max_wal_size = 4GB
checkpoint_completion_target = 0.9
wal_buffers = 16MB
default_statistics_target = 100
...
Рейтинг: 0 / 0
28.09.2017, 15:43
    #39527744
halogen20
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Vadim Lejnin

Мы и по нему настроили.

авторСтатистика по таблицам собрана?
скорее нет, так как не знаю то это такое и как это делать.

У нас только тест гилева установлена пока что. тестирую сервер, хочу провести в порядок , потом уже залить и запустить продакшн.
...
Рейтинг: 0 / 0
28.09.2017, 15:56
    #39527754
halogen20
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Vadim Lejnin,

этот конфиг сохранить и использовать как конфиг файл или оттуда выписать и переделывать мой ?
...
Рейтинг: 0 / 0
28.09.2017, 16:02
    #39527760
Vadim Lejnin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
halogen20,

1) Я вижу, что Вы не установили часть параметров
особенно WAL

2) Проверьте когда собиралась статистика:
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
select 
relname
,last_vacuum
,last_autovacuum
,last_analyze
,last_autoanalyze
from pg_stat_all_tables s
where schemaname='public';



Вместо public укажите свою схему

Если там null,
то
Код: sql
1.
vacuum analyze verbose;


Потом повторите тесты
...
Рейтинг: 0 / 0
28.09.2017, 16:05
    #39527762
Vadim Lejnin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
halogen20Vadim Lejnin,

этот конфиг сохранить и использовать как конфиг файл или оттуда выписать и переделывать мой ?
Сохраните исходный для справки
я указываю чистые парметры, так проще отслеживать параметры, например,
Ваш не правленный:
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
$ grep  "^[A-Za-z]" p.conf | cat -
listen_addresses = '*'          # what IP address(es) to listen on;
port = 5432                             # (change requires restart)
max_connections = 100                   # (change requires restart)
shared_buffers = 8192MB         # min 128kB
work_mem = 512MB                                # min 64kB
dynamic_shared_memory_type = windows    # the default is the first option
shared_preload_libraries = 'online_analyze, plantuner'          # (change requires restart)
fsync = off                             # flush data to disk for crash safety
log_destination = 'stderr'              # Valid values are combinations of
logging_collector = on          # Enable capturing of stderr and csvlog
log_line_prefix = '%t '                 # special values:
log_timezone = 'Europe/Moscow'
datestyle = 'iso, dmy'
timezone = 'Europe/Moscow'
lc_messages = 'Russian_Russia.1251'                     # locale for system error message
lc_monetary = 'Russian_Russia.1251'                     # locale for monetary formatting
lc_numeric = 'Russian_Russia.1251'                      # locale for number formatting
lc_time = 'Russian_Russia.1251'                         # locale for time formatting
default_text_search_config = 'pg_catalog.russian'
max_locks_per_transaction = 150         # min 10
escape_string_warning = off
standard_conforming_strings = off
online_analyze.threshold = 50
online_analyze.scale_factor = 0.1
online_analyze.enable = on
online_analyze.verbose = off
online_analyze.min_interval = 10000
online_analyze.table_type = 'temporary'
plantuner.fix_empty_table = false
...
Рейтинг: 0 / 0
28.09.2017, 16:07
    #39527767
halogen20
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Vadim Lejnin,

А этот ког куда ставить? в самом конфиг.файле нет такого сегмента:
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
select 
relname
,last_vacuum
,last_autovacuum
,last_analyze
,last_autoanalyze
from pg_stat_all_tables s
where schemaname='public';



У меня в конфиге только WAL ставить или все выставить как Вы указали ранее ?
...
Рейтинг: 0 / 0
28.09.2017, 16:27
    #39527783
Vadim Lejnin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
halogen20,
создаете/редактируете config file
pg_ctl stop
pg_ctl_start

Это самый простой случай,
Вот это SQL запрос, который покажет когда запускались VACUUM/ANALYZE.
запрос отправляется сервер БД с любого клиента, например например из psql
(консольный клиент из поставки pg)

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
## Запуск на клиенте (подключение к базе через сеть)
$ psql -h MY_SERVER_NAME -p 5432 -d postgres -U postgres

## Запуск на сервер (локальное подключение к базе)
$ psql
psql (9.6.5)
Type "help" for help.

postgres=# select
postgres-# relname
postgres-# ,last_vacuum
postgres-# ,last_autovacuum
postgres-# ,last_analyze
postgres-# ,last_autoanalyze
postgres-# from pg_stat_all_tables s
postgres-# where schemaname='public';
   relname   | last_vacuum | last_autovacuum |         last_analyze          | last_autoanalyze
-------------+-------------+-----------------+-------------------------------+------------------
 staff_1_10  |             |                 | 2017-09-28 15:50:37.221614+03 |
 staff       |             |                 | 2017-09-28 15:50:37.225214+03 |
 staff_10_20 |             |                 | 2017-09-28 15:50:37.223481+03 |
(3 rows)

postgres=# vacuum analyze verbose;
INFO:  analyzing "public.staff_1_10"
INFO:  "staff_1_10": scanned 1 of 1 pages, containing 1 live rows and 0 dead rows; 1 rows in sample, 1 estimated total rows
INFO:  analyzing "public.staff_10_20"
INFO:  "staff_10_20": scanned 1 of 1 pages, containing 2 live rows and 0 dead rows; 2 rows in sample, 2 estimated total rows
INFO:  analyzing "public.staff"
INFO:  "staff": scanned 1 of 1 pages, containing 1 live rows and 0 dead rows; 1 rows in sample, 1 estimated total rows



p.s. Мессир, прочитайте на Вики что такое клиент-сервер, SQL, база данных чтобы понимать то что Вам пишут
p.p.s. Запуск базы в PROD без backup не советую. Хотя бы offline backup, копировать работающий сервер в общем случае нельзя!!! Точнее можно, но для этого нужно знать что делаешь

то есть выключаете, копируете PGDATA и все tablespace если есть в 1C, я с ней не работал и ее схему не знаю
...
Рейтинг: 0 / 0
28.09.2017, 16:43
    #39527800
halogen20
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Vadim Lejnin,

так так, давайте по очереди, я запутался уже.
Я заменил конфиг файл с тем, что вы дали. перезагрузил сервер, запустил тест: очень долго пошло, 2-3 раза , чем обычно , а результат практически тоже самое - 11.71

P.S. Клиент серверную архитектуру знаю, релационную базу тоже. сейчас у нас есть MS SQL, пришлось с нуля изучать все. Но тут не нахожу аналогии.

P.S.S. бекапы буду делать отдельным продуктом. скриптами/костылями не хочу замарачиваться, и так сложно мне дается все в этом разобраться.
...
Рейтинг: 0 / 0
28.09.2017, 16:55
    #39527817
halogen20
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Вот на сервере , в консоле пытался выполнить те команды, что вы написали, результат:
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
postgres=# select
postgres-# relname
postgres-# from pg_stat_all_tables s
postgres-# where schemananame='public';
ОШИБКА:  столбец "schemananame" не существует
СТРОКА 4: where schemananame='public';
                ^
ПОДСКАЗКА:  Возможно, предполагалась ссылка на столбец "s.schemaname".
postgres=#
...
Рейтинг: 0 / 0
28.09.2017, 17:45
    #39527882
Vadim Lejnin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
halogen20Вот на сервере , в консоле пытался выполнить те команды, что вы написали, результат:
Код: plsql
1.
2.
3.
4.
5.
6.
7.
...
postgres-# where schemananame='public';
ОШИБКА:  столбец "schemananame" не существует
СТРОКА 4: where schemananame='public';
                ^
ПОДСКАЗКА:  Возможно, предполагалась ссылка на столбец "s.schemaname".
...



будте внимательнее


У вас таблицы 1С в какой базе развернуты, и под какой схемой?
Выбирайте правильную базу и схему для запроса, чтобы проверить analyze
...
Рейтинг: 0 / 0
28.09.2017, 19:48
    #39527920
halogen20
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Vadim Lejnin,

Я не знаю. установили 1С кластер, Postgre, потом в кластере 1С создали базу(с отметкой создать БД в postgre, если база отсутствует), потом зашли в конфигуратор и загрузили .DT файл. НУ и зачем мне сейчас это? это даст какие то данные, чтоб понять причину такой низкой производительности?

P.S. Если дам вам доступ к серверу, по teamViewer, сможете посмотреть в чем проблема, пожалуйста?
...
Рейтинг: 0 / 0
28.09.2017, 20:06
    #39527926
vyegorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Vadim Lejnin,

Зачем вакуумировать всю базу, если будет несколько таблиц без статы?
Если нет статы, то зачем вакуумировать? быстрее проанализировать.

В целом, если умышлено автовакуум не отключали, то стата должна быть по всем таблицам.
...
Рейтинг: 0 / 0
28.09.2017, 20:11
    #39527929
Vadim Lejnin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
vyegorov,
там уже запускали тесты

да и проверить не помешает
...
Рейтинг: 0 / 0
29.09.2017, 08:47
    #39528082
halogen20
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Исправил ошибку в схеме, но всеравно:
Код: sql
1.
2.
3.
4.
5.
postgres=# where schemaname='public';
ОШИБКА:  ошибка синтаксиса (примерное положение: "where")
СТРОКА 1: where schemaname='public';
          ^
postgres=#




У меня пока только одна база 1С, и то тестовая, для проверки производительности. Бекапировать базу собираюсь или с помощью Handy beckup, или PostgreSQL Backup (до 2х баз бесплатно, у меня какраз будет 2 баз). больше не нашел никаких GUI бекаперов. возится с скриптами не хочу.
...
Рейтинг: 0 / 0
29.09.2017, 09:54
    #39528116
halogen20
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Вот загружаю продакшн базу , весит 1,5 ГБ, уже около 10 мин. импортируется.
во время импорта смотрю ресурсы: ЦП - 13%, ОЗУ - 22%
диски мигают очень вяло. 3 секунду тишины, 1-2 мигание.

Мне кажется где то стоит жесткие ограничение и Postgre не может полноценно выполнится.
...
Рейтинг: 0 / 0
29.09.2017, 13:04
    #39528276
Vadim Lejnin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Код: sql
1.
2.
3.
4.
Vadim Lejnin,

Я не знаю. установили 1С кластер, Postgre, потом в кластере 1С создали базу(с отметкой создать БД в postgre, если база отсутствует), потом зашли в конфигуратор и загрузили .DT файл. НУ и зачем мне сейчас это? это даст какие то данные, чтоб понять причину такой низкой производительности?
...



Вы с MSSQL так же работали?


halogen20Исправил ошибку в схеме, но всеравно:
Код: sql
1.
2.
3.
4.
5.
postgres=# where schemaname='public';
ОШИБКА:  ошибка синтаксиса (примерное положение: "where")
СТРОКА 1: where schemaname='public';
          ^
postgres=#




Запустите запрос а не его кусок
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
select 
relname
,last_vacuum
,last_autovacuum
,last_analyze
,last_autoanalyze
from pg_stat_all_tables s
where schemaname='public';



А если не хотите разбираться совсем, то
Код: sql
1.
VACUUM ANALYZE VERBOSE;


на все равно нужно будет разобраться какую базу Вы используете
...
Рейтинг: 0 / 0
29.09.2017, 13:47
    #39528336
halogen20
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Vadim Lejnin,

Вот результат сценария:
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
C:\Program Files\PostgresPro 1C\9.6>echo off
Текущая кодовая страница: 1251
Пароль пользователя postgres:
psql (9.6.3)
Введите "help", чтобы получить справку.

postgres=# select
postgres-# relname
postgres-# ,last_vacuum
postgres-# ,last_autovacuum
postgres-# ,last_analyze
postgres-# ,last_autoanalyze
postgres-# from pg_stat_all_tables s
postgres-# where schemaname='public';
 relname | last_vacuum | last_autovacuum | last_analyze | last_autoanalyze
---------+-------------+-----------------+--------------+------------------
(0 строк)


postgres=#



А вот результат "VACUUM ANALYZE VERBOSE;"
Отдельно постил, много текста:
https://pastebin.com/m12V5yeP


Все таки создал один БД, залил туда рабочий 1С базу, пробовали работать. на однопользовательском варианте, локально, вроде не так ужасно тормозит, но все же что то не так..
...
Рейтинг: 0 / 0
29.09.2017, 14:56
    #39528404
halogen20
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
удалил БД, создал заново, из конфуратора загрузил DT_шку.
файл весил около 500МБ, процесс длился около 10 минут. под конец открыл монитор ресурс и вот что получилось:
http://images.vfl.ru/ii/1506685904/0a6cc39e/18791073.jpg

после 14:34:55 закончился импорт. дальше идет простой диска.
по скрину видно, что диск не загружается совсем, а лишь посекундно.
при этом проц и память тоже не грузятся. тогда в чем проблема такой долгой работы и импорта?
...
Рейтинг: 0 / 0
29.09.2017, 19:50
    #39528615
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
halogen20удалил БД, создал заново, из конфуратора загрузил DT_шку.
файл весил около 500МБ, процесс длился около 10 минут. под конец открыл монитор ресурс и вот что получилось:
http://images.vfl.ru/ii/1506685904/0a6cc39e/18791073.jpg

после 14:34:55 закончился импорт. дальше идет простой диска.
по скрину видно, что диск не загружается совсем, а лишь посекундно.
при этом проц и память тоже не грузятся. тогда в чем проблема такой долгой работы и импорта?

Вы хотите чтобы из вас на форуме DBA пострегсового сделали за 3 дня? ;)
Хотите реально разобраться - покупайте книжки по Pg, вникайте.
Не хотите/нет времени - привлекайте внешних специалистов.

Рассказывать вам как смотреть что и почему происходит в базе - дело не на 1 и не на два дня курсов.

PS: базу на механике (не серверных ssd) в 2017 году не держат.
PPS: наиболее вероятно что база в это время индексы создает (или FK) а поскольку база старая и поскольку вы черте как в нее данные грузите - это делается в 1 поток и НЕ БУДЕТ использовать более 1 ядра процессора.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
02.10.2017, 10:38
    #39529245
halogen20
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько простых вопросов
Maxim Boguk,

Вот вы такой "крутой" специалист, сможете за деньги исправить проблему? только без "если бы, как бы..".

Я не собираюсь стать DBA, у нас просто некому этим заниматься, поставили 1С_ники и все. в принципе у них все работает и это им не парит. А вот мне, как системного админстратора - мозги делать будут, что тормозит. Но а я то вижу, что действительно все медленно работает.
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Несколько простых вопросов / 25 сообщений из 31, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]