|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
планирую использовать, на тестах ведет себя хорошо ... |
|||
:
Нравится:
Не нравится:
|
|||
12.01.2011, 12:06 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Maxim Boguk Спасибо тебе за твой инструмент, очень полезная разработка. Приведу результат применения: # select relname,relpages from pg_class where relname = 'products'; products | 497671 # до использования products | 224612 # после использования # SELECT pg_size_pretty(pg_total_relation_size('products')); 5753 MB # до использования 3699 MB # после использования # SELECT pg_size_pretty(pg_relation_size('products')); 3888 MB # до использования 1825 MB # после использовия ... |
|||
:
Нравится:
Не нравится:
|
|||
01.08.2011, 07:38 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
У меня не хочет работать от пользователя postgres. Требует пароль: failed: fe_sendauth: no password supplied at /etc/postgresql/9.0/UTF8/vacuum_table.pl line 732 В то же время для работы psql вполне хватает ident в pghba_conf. Что я делаю не так? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2011, 10:08 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
tadminУ меня не хочет работать от пользователя postgres. Требует пароль: failed: fe_sendauth: no password supplied at /etc/postgresql/9.0/UTF8/vacuum_table.pl line 732 В то же время для работы psql вполне хватает ident в pghba_conf. Что я делаю не так? хм забавный эффект да... спасибо за report. сейчас софтина написана так что она по unix socket вообще не пытается ходить (так было проще на первом этаме) и если --host не указан используется --host=localhost т.е. tcp в любом случае а ident работает только с unix socket коннектами если вы попробуете сделать что то вида psql -U username -h localhost вас запросит пароль. Это скорее бага чем фича но быстро я ее сейчас не вылечу (там прийдется ковырять более одного места). Предложения или: 1)прописать trust на 127.0.0.1 в pg_hba.conf 2)или внести пароль в ~/.pgpass 3)или подождать пару дней когда у меня появится время на выходных и я эту проблему устраню (возможно даже сегодня но обещать не буду). ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2011, 10:54 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Maxim Boguk, спасибо, что-то я не подумал. Сделать работу через сокет было бы здорово. Мало ли кто представится postgres'ом c локалхоста..... ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2011, 13:31 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Maxim BogukТак что остаются 3 варианта если у вас таблица распухла... Забыли самый прямой путь - перекинуть данные во временную таблицу, truncate текущую, закинуть данные обратно. На ваших 20 гиг займет несколько минут даже при наличии индексов. При желании можно копировать инкрементально и рули повесить переадресующие на актуальную в текущий момент копию, если уж простой ~1 минуты критичен (а тормоза всего проекта в течении суток - это нормально?.. а если дедлок словите, пока вас на месте нет?). ... |
|||
:
Нравится:
Не нравится:
|
|||
05.09.2011, 17:23 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
авторЗабыли самый прямой путь - перекинуть данные во временную таблицу, truncate текущую, закинуть данные обратно. тут ! очень важно не забыть повесить ! блокировочку какую-нибудь на таблицу в начале всего этого мероприятия. иначе можно потерять изменения между исходным копированием во временную таблицу и транкейтом. плюс транкейт сама по себе имеет эффекты - параллельные транзакции могут получать пустоту. http://www.postgresql.org/docs/current/static/sql-truncate.html - Warning номер 1 тут -- но в целом подход рабочий, поддерживаю. подобное юзаю для редко обновляемых больших таблиц, которые иногда могут распухать после массовых апдейтов. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.09.2011, 19:28 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Misha Tyurin, Еще вопрос... а почему партиционирование не применяете? Скажем, по месяцам - тогда зачастую старые таблицы используются как read-only и их можно беспроблемно сжимать, да и размер данных в каждой таблице на порядки уменьшается. Если дело в специфике задачи, интересно было бы услышать подробности (хотя, вероятнее, БД унаследована в таком виде). ... |
|||
:
Нравится:
Не нравится:
|
|||
05.09.2011, 23:29 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
MBG, часть "объектов" у меня живут "вечно", и крутятся туда - сюда, жизненный цикл потенциально бесконечный у них. это пока продут потому что так устроен, менять надо с самого верха. занимаемся и этим. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.09.2011, 10:11 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Maxim Boguk, в 9.2 баг при выполнении реиндексов из-за переименования pg_stat_activity.procpid в pg_stat_activity.pid: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
исправил у себя заменой в 414 строке Код: sql 1.
на Код: sql 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
03.07.2013, 11:41 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Alexius, вот тут Postgresql-consulting.ru развитие ... |
|||
:
Нравится:
Не нравится:
|
|||
03.07.2013, 13:47 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
AlexiusMaxim Boguk, в 9.2 баг при выполнении реиндексов из-за переименования pg_stat_activity.procpid в pg_stat_activity.pid: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
исправил у себя заменой в 414 строке Код: sql 1.
на Код: sql 1.
собственно современная разработу живет вот тут вот https://code.google.com/p/pgtoolkit/downloads/list там этой проблемы быть не должно ... |
|||
:
Нравится:
Не нравится:
|
|||
03.07.2013, 14:31 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Добрый день! Решил попробовать на базе в 200 гб(до этого создавал дубль индексов и удалял старые версии). Запустил Код: powershell 1.
таблица размером 8900mb индексы 7670 mb обрабатывалась 42 часа, размер таблицы стал 6220, индексов 8559 в данный момент идет обработка следующей таблицы 35 gb индексы 51 gb за шесть дней прогресс 20% shared_buffers 3 gb temp_buffers 16 mb work_mem 12 mb maintenance_work_mem 128 mb vacuum_cost_delay,10 vacuum_cost_limit,200 vacuum_cost_page_dirty,20 vacuum_cost_page_hit,1 vacuum_cost_page_miss,10 Вопрос в следующем можно ли как-нибудь ускорить работу pgcompact? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.12.2013, 11:53 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Попробуйте стандартные настройки без -c 500 -E 2 Вам точно нужен принудительный reindex? Как мне кажется, это нужно при активных изменениях по PK Еще можно maintenance_work_mem поднять конкретно в этой сессии. У меня база в два раза меньше, самая большая таблица ~10G, но все на порядок быстрее. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.12.2013, 12:52 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Константин ЕвтеевДобрый день! Решил попробовать на базе в 200 гб(до этого создавал дубль индексов и удалял старые версии). Запустил Код: powershell 1.
таблица размером 8900mb индексы 7670 mb обрабатывалась 42 часа, размер таблицы стал 6220, индексов 8559 в данный момент идет обработка следующей таблицы 35 gb индексы 51 gb за шесть дней прогресс 20% shared_buffers 3 gb temp_buffers 16 mb work_mem 12 mb maintenance_work_mem 128 mb vacuum_cost_delay,10 vacuum_cost_limit,200 vacuum_cost_page_dirty,20 vacuum_cost_page_hit,1 vacuum_cost_page_miss,10 Вопрос в следующем можно ли как-нибудь ускорить работу pgcompact? ускорить 1)--delay-ratio=0 и -с не ставить 2)vacuum_cost_delay = 0 в конфиге (я почти уверен что 90% времени проводится в vacuum а не в самом компакторе) 3)если 2 невозможно то вызывать с --no-routine-vacuum чтобы не пухли индексы: вызывать с --reindex (это вообще всегда полезно) ... |
|||
:
Нравится:
Не нравится:
|
|||
10.12.2013, 14:36 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Доброе время суток! Попробовал срипт на пг 9.3, вот так ругнулось: Код: sql 1.
Я так понимаю в скрипте нужно исправить "procpid" на "pid" ? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2014, 01:22 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
yura31Доброе время суток! Попробовал срипт на пг 9.3, вот так ругнулось: Код: sql 1.
Я так понимаю в скрипте нужно исправить "procpid" на "pid" ? обновить версию на более свежую для начала ( например с https://github.com/PostgreSQL-Consulting/pgcompacttable ) у вас что то очень древнее по виду текста ошибки. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2014, 04:01 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Спасибо за овет! С свн брал. Это не одно и тоже? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2014, 07:35 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Ааа, все увидел! Спасибо еще раз! :) ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2014, 07:39 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Maxim Boguk, Код: sql 1. 2. 3. 4.
Код: xml 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11.
Больше половины места свободоно на разделе с базой /dev/sdb1 191G 90G 102G 47% /mnt/sdb На кореневом правда /dev/sda1 16G 12G 3.3G 78% / Подскажите пож в чем проблема? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2014, 10:22 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Неверное опять не оттуда взял :) https://github.com/grayhemp/pgtoolkit - вот здесь наверное свежая версия. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2014, 10:40 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
yura31Maxim Boguk, Код: sql 1. 2. 3. 4.
Код: xml 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11.
Больше половины места свободоно на разделе с базой /dev/sdb1 191G 90G 102G 47% /mnt/sdb На кореневом правда /dev/sda1 16G 12G 3.3G 78% / Подскажите пож в чем проблема? так в чем ваша проблема то? в таблице 11% свободного места... если всеравно хочеться ее сжать то --force добавьте (но смысла сжимать таблицу с 10% свободного маста немного). ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2014, 11:00 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
Спасибо! Вы правы, нет места в таблицы. Что делать в таких случаях? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.10.2014, 20:40 |
|
Vacuum Full без полного лока таблицы
|
|||
---|---|---|---|
#18+
yura31Спасибо! Вы правы, нет места в таблицы. Что делать в таких случаях? а что вы хотите получить? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.10.2014, 03:42 |
|
|
start [/forum/topic.php?fid=53&msg=37422446&tid=1995575]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
36ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
58ms |
get tp. blocked users: |
1ms |
others: | 14ms |
total: | 151ms |
0 / 0 |