Итак, вчера запустил таблицы в режиме Unloged и TEMP.
Результаты оказались хуже чем думал и много подводных камней.
По порядку.
1) Если при работе с обычными таблицами время занимало 0,72-0,78 секунды на 1 полный цикл, то при создании этих же таблиц, как не протоколируемых (Unlogged), время уменьшилось до 0,67-0,72, то есть меньше всего на 0,05 секунды на 1 полный цикл. Ну не знаю, имеет ли смысл в таком убыстрении и с теми рисками (для меня это не критично, но эта не то ускорение в работе на которое я рассчитывал). В общем ускорение получилось не ахти какое.
2) С временной таблицей получилось еще интереснее. Время работы при работе с TEMP таблицей увеличилось опять до 0,72-0,77 секунд. В среднем около 0,74-0,75 сек (0,67-0,72 это время без этой таблицы). Но вылезли проблемы. Таблица то создается, и программа с ней работает, но вот посмотреть её я не могу. Для меня это минус! То есть при попытке заглянуть в таблицы из Dbeaver я такой таблицы не вижу. При создании запроса из вне (=psql) и попытки посмотреть такую таблицу - запрос говорит что её нет. В принципе это логично, так как таблица существует только в пределах сессии/рабочего дня (комп на ночь выключается). Но то что её нельзя посмотреть - это БОЛЬШОЙ МИНУС.
3) Про VACUUM + VACUUM FULL то что их нельзя запускать внутри кода обсуждали ранее. Это опять минус. Настроил под временную таблицу персональные :
1.
2.
3.
4.
5.
6.
7.
время_очистки timestamp
)
WITH (autovacuum_enabled=true,
autovacuum_vacuum_threshold=10, -- 8kb*10=80 kb. Реальный, стартовый размер = 24 кб
autovacuum_analyze_threshold=10,
autovacuum_vacuum_scale_factor=0.25,
autovacuum_analyze_scale_factor=0.25);
Таблица перестала пухнуть. Без них было все очень плохо - TEMP таблица пухла на глазах. Причем за 10 минут с 24 кб вырастала до 5 Мб. Ну это ни в какие ворота не лезло.
Затем, в вечернюю паузу, таблица все равно пухнет. Не понимаю почему, предпринял кое какие попытки, сегодня проверю.
.
В общем, выводы следующие - Unlogged table в моем случае БОЛЕЕ предпочтительнее. Вакуум с ними работает в РАЗЫ/десятки разов лучше. Так за целый день размер со 128 кб увеличился всего до 800 кб. Это не сравнить с 24 до 5000 кб при работе с TEMP таблицами.
Опять же к Unlogged table есть визуальный доступ, можно все проверить и сделать запрос вручную из вне.
Скорость работы выросла ну почти никак.
Так что любая теория должна проверяться на практике. Я ожидал гораздо более качественного скачка.
.
Наверное придется делить поток (две программы для обработки одного списка) на две части и в каждом потоке обслуживать 50% от общего списка, тогда время точно сократится до 0,4 секунд.
.
