Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / В чем может быть дело? Разное время выполнения COPY. / 8 сообщений из 8, страница 1 из 1
02.11.2007, 11:05
    #34912335
ignitor
ignitor
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
В чем может быть дело? Разное время выполнения COPY.
Есть табличка
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
CREATE TABLE restanl
(
  idaccanl bigint,
  restanl_date date,
  turndeb numeric( 19 , 2 ),
  turncre numeric( 19 , 2 ),
  rest numeric( 19 , 2 ),
  turndebnc numeric( 19 , 2 ),
  turncrenc numeric( 19 , 2 ),
  restnc numeric( 19 , 2 ),
  datelastchange date
) 
WITHOUT OIDS;
CREATE INDEX idx12  ON restanl  USING btree  (idaccanl);
CREATE INDEX idx13  ON restanl  USING btree  (restanl_date);
нехитрая програмулька периодически делает
Код: plaintext
1.
delete from restanl where restanl_date='2007-11-11' -- дата меняется в зависимости от дня загрузки
и затем вставляет в restanl содержимое файла типа
Код: plaintext
1.
126250|01.11.2007|25649|34979|104753|634372.76|870430.12|2584507.9200000001|31.10.2007
командой
Код: plaintext
1.
copy restanl from 'C:/r20071101.txt' with delimiter '|'

строк около 20000, всего записей в табличке ~13500000

так вот - если обновление идет за кучу дней можно заметить, что порой COPY проскакивает за 5-10 секунд, а порой задерживается на 5-8 минут. Что это может быть и как с этим попробовать побороться?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.11.2007, 12:46
    #34912837
tkopets
tkopets
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
В чем может быть дело? Разное время выполнения COPY.
Какая весия PostgreSQL?
Может во время COPY дисковая очень загружена?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.11.2007, 13:33
    #34913050
Rastafarra
Rastafarra
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
В чем может быть дело? Разное время выполнения COPY.
затык в железе?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.11.2007, 13:35
    #34913060
ignitor
ignitor
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
В чем может быть дело? Разное время выполнения COPY.
Версия 8.2.4 на Windows Server 2003 SP2, диски SATA без рэйда.

На сервере не крутится больше никаких задач. Только сервер PostgreSQL и та самая задача которая актуализирует данные. Что то слышал о сложностях в прохождении checkpoint-ов.
из настроек
Код: plaintext
1.
2.
3.
"checkpoint_segments";"32"
"checkpoint_timeout";"5min"
"checkpoint_warning";"30s"
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.11.2007, 14:19
    #34913228
tkopets
tkopets
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
В чем может быть дело? Разное время выполнения COPY.
1. Если база и WAL на одном диске: если есть возможность переместите WAL на отдельний физический диск (разницу ощутите не только во время COPY).
2. перед загрузкой увеличать параметр (нужна перезагруза сервера - вариант не очень):
Код: plaintext
1.
  checkpoint_timeout    -- COPY у вас доходит до 5-8 мин., можете попробовать поставит 10min

На вашем месте я б опробовал п.1.
_____________________________________
Sorry for my Russian, if it is not OK
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.11.2007, 14:24
    #34913249
tkopets
tkopets
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
В чем может быть дело? Разное время выполнения COPY.
Можете также удалять индексы перед COPY, а потом и пересоздавать обратно после COPY.
_____________________________________
Sorry for my Russian, if it is not OK
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.11.2007, 11:08
    #34917980
ignitor
ignitor
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
В чем может быть дело? Разное время выполнения COPY.
tkopets1. Если база и WAL на одном диске: если есть возможность переместите WAL на отдельний физический диск (разницу ощутите не только во время COPY).


Кто бы вот мне подсказал, как под 2003 виндой это самое осуществить. Пробовал я как-то каталог pg_xlog перенести на другой диск, да база рухнула. Пробовал утилитой linkd.exe
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.11.2007, 08:05
    #34937105
ignitor
ignitor
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
В чем может быть дело? Разное время выполнения COPY.
tkopetsМожете также удалять индексы перед COPY, а потом и пересоздавать обратно после COPY.
Сегодня попробовал - DROP/CREATE INDEX (2шт.) заняло 793 секунды (13 мин.) и VACUUM ANALIZE 476 секунд (8 мин.). Так что, невыгодно.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / В чем может быть дело? Разное время выполнения COPY. / 8 сообщений из 8, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]