ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Медленный COPY
13 сообщений из 13, страница 1 из 1
Медленный COPY
    #39737675
GLeBaTi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GLeBaTi
Гость
Здравствуйте. Есть таблица:
Код: plsql
1.
2.
3.
4.
5.
6.
7.
CREATE TABLE "public"."ParamValueBlock" (
  "ParameterId" int2 NOT NULL,
  "DeviceId" int2 NOT NULL,
  "CompressedData" bytea,
  "StartDate" int4 NOT NULL,
  "UncompressedDataBits" int4 NOT NULL
)



База данных чистая. Т.е. без индексов, без триггеров и т.п.
Вставляю 1000 записей примерно так:

Код: javascript
1.
2.
3.
4.
5.
6.
7.
8.
9.
dbWrk.Tx.Prepare(pq.CopyIn("ParamValueBlock", "ParameterId", "DeviceId", "CompressedData", "StartDate", "UncompressedDataBits"))
for _, param := range params{
     stmt.Exec(
          param.ParameterID,
          param.DeviceID,
          param.CompressedData,
          param.StartDate,
          param.UncompressedDataBits)
}



В логах это:
автор2018-11-23 17:43:47.085 MSK [7700] СООБЩЕНИЕ: оператор: BEGIN ISOLATION LEVEL READ COMMITTED READ WRITE
2018-11-23 17:43:47.085 MSK [7700] СООБЩЕНИЕ: оператор: COPY "ParamValueBlock" ("ParameterId", "DeviceId", "CompressedData", "StartDate", "UncompressedDataBits") FROM STDIN
2018-11-23 17:43:54.020 MSK [7700] СООБЩЕНИЕ: оператор: COMMIT

Весь день пытался найти причину того, что 1000 записей вставляются 7! секунд
Помогите пожалуйста
...
Рейтинг: 0 / 0
23.11.2018, 18:14
| Ответить | Цитировать | Написать  
Медленный COPY
    #39737745
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
GLeBaTi,

потестируйте тоже самое без "CompressedData" для начала...
если станет сильно быстрее - смотрите на размер этого поля у вас...

вы по сети тестируете или локально?
какой диск на базе?

может не хватать или диска или сети если вы большие обьемы данных туда суете.
...
Рейтинг: 0 / 0
23.11.2018, 20:54
| Ответить | Цитировать | Написать  
Медленный COPY
    #39737748
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
Maxim Bogukпотестируйте тоже самое без "UncompressedDataBits" для начала...
CompressedData видимо, который bytea. UncompressedDataBits - int4 и вряд ли даст проблему.

ну и интересно было бы log_min_duration_statement = 0 добавить, чтобы было видно, что тупит не приложение перед отправкой коммита.
...
Рейтинг: 0 / 0
23.11.2018, 21:02
| Ответить | Цитировать | Написать  
Медленный COPY
    #39737757
gav21
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
gav21
Участник
GLeBaTi,
Если версия PG>10, то посмотрите во время выполнения наpg_stat_activity.wait, pg_stat_activity.wait_event, хотя бы будет понятно на каких ожиданиях висит запрос.
...
Рейтинг: 0 / 0
23.11.2018, 21:34
| Ответить | Цитировать | Написать  
Медленный COPY
    #39738398
GLeBaTi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GLeBaTi
Гость
Maxim BogukGLeBaTi,

потестируйте тоже самое без "CompressedData" для начала...
если станет сильно быстрее - смотрите на размер этого поля у вас...

вы по сети тестируете или локально?
какой диск на базе?

может не хватать или диска или сети если вы большие обьемы данных туда суете.
Без CompressedData моментально сохраняется. Размер поля примерно 28КБ
Тестирую локально.
На базе диск HDD если это имеется ввиду.
Места на HDD ещё много
...
Рейтинг: 0 / 0
26.11.2018, 11:02
| Ответить | Цитировать | Написать  
Медленный COPY
    #39738402
GLeBaTi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GLeBaTi
Гость
MelkijMaxim Bogukпотестируйте тоже самое без "UncompressedDataBits" для начала...
CompressedData видимо, который bytea. UncompressedDataBits - int4 и вряд ли даст проблему.

ну и интересно было бы log_min_duration_statement = 0 добавить, чтобы было видно, что тупит не приложение перед отправкой коммита.

автор2018-11-26 10:54:15.698 MSK [9028] СООБЩЕНИЕ: оператор: COPY "ParamValueBlock" ("ParameterId", "DeviceId", "CompressedData", "StartDate", "UncompressedDataBits") FROM STDIN;
2018-11-26 10:54:22.941 MSK [9028] СООБЩЕНИЕ: продолжительность: 7243.325 мс
...
Рейтинг: 0 / 0
26.11.2018, 11:03
| Ответить | Цитировать | Написать  
Медленный COPY
    #39738403
GLeBaTi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GLeBaTi
Гость
gav21, висит как-раз на
"COPY "ParamValueBlock" ("ParameterId", "DeviceId", "CompressedData", "StartDate", "UncompressedDataBits") FROM STDIN;"
...
Рейтинг: 0 / 0
26.11.2018, 11:04
| Ответить | Цитировать | Написать  
Медленный COPY
    #39738430
GLeBaTi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GLeBaTi
Гость
Думаю, может на файлы обычные перейти. Менять их не нужно, только считывать.
...
Рейтинг: 0 / 0
26.11.2018, 11:36
| Ответить | Цитировать | Написать  
Медленный COPY
    #39738633
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Что-то я не понимаю:

2018-11-23 17:43:47 COPY .... STDIN
2018-11-23 17:43:54 COMMIT

54-47 = 7 секунд

7 секунд на 1000 записей X размер поля примерно 28КБ = 28 Мегабайт - на мой взгляд более-менее нормально
...
Рейтинг: 0 / 0
26.11.2018, 15:23
| Ответить | Цитировать | Написать  
Медленный COPY
    #39738643
GLeBaTi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GLeBaTi
Гость
Leonid Kudryavtsev, если я делаю те-же данные через
Код: plsql
1.
COPY "ParamValueBlock" FROM 'C:\Temp\x.txt' (FORMAT text);


, то операция выполняется за 0.7 секунд.
...
Рейтинг: 0 / 0
26.11.2018, 15:37
| Ответить | Цитировать | Написать  
Медленный COPY
    #39738649
Павел Лузанов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел Лузанов
Участник
GLeBaTi,

Разве это не похоже на то, что приложение в STDIN медленно отдает, а не COPY долго загружает?
...
Рейтинг: 0 / 0
26.11.2018, 15:47
| Ответить | Цитировать | Написать  
Медленный COPY
    #39738651
GLeBaTi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GLeBaTi
Гость
Павел Лузанов, хорошо, у гошников поспрашиваю пока)
...
Рейтинг: 0 / 0
26.11.2018, 15:50
| Ответить | Цитировать | Написать  
Медленный COPY
    #39739646
GLeBaTi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GLeBaTi
Гость
Если кому интересно, это был баг стандартного драйвера golang для pg:
https://github.com/lib/pq/pull/784

Решение:
https://stackoverflow.com/a/53515774/273455
...
Рейтинг: 0 / 0
28.11.2018, 12:11
| Ответить | Цитировать | Написать  
13 сообщений из 13, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Медленный COPY
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=53&msg=39737748&tid=1995476]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 52ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 61ms
get tp. blocked users:
 2ms
others: 14ms
total:  175ms
созд. / загр.: 175ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]