ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
15 сообщений из 40, страница 2 из 2
  2  все
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38537395
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
... а это, как его... вот установил я в конфиге ФБ параметр TempBlockSize = 200M, запустил в очередной раз при TempCacheLimit = 1024M запрос select * from (select count(distinct x)over() c from ts) rows 1 - и в другом окне мониторю объем времянок, которые создаются (в /tmp, т.е. через lsof -a +L1 /).
И вижу, что размер времянок увеличивается вовсе не на 200 Мб за 1 раз, а строго на 8 М .
И это одинаково как для fb_ rec_buf :
 
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
COMMAND   PID     USER   FD   TYPE DEVICE   SIZE/OFF NLINK     NODE NAME
firebird 2309 firebird    4u   REG    8,4 1098907648     0 12591046 /tmp/fb_recbuf_2JnwrM (deleted)
COMMAND   PID     USER   FD   TYPE DEVICE   SIZE/OFF NLINK     NODE NAME
firebird 2309 firebird    4u   REG    8,4 1107296256     0 12591046 /tmp/fb_recbuf_2JnwrM (deleted)
. . .
COMMAND   PID     USER   FD   TYPE DEVICE   SIZE/OFF NLINK     NODE NAME
firebird 2309 firebird    4u   REG    8,4 1182793728     0 12591046 /tmp/fb_recbuf_2JnwrM (deleted)
COMMAND   PID     USER   FD   TYPE DEVICE   SIZE/OFF NLINK     NODE NAME
firebird 2309 firebird    4u   REG    8,4 1191182336     0 12591046 /tmp/fb_recbuf_2JnwrM (deleted)
. . .
COMMAND   PID     USER   FD   TYPE DEVICE   SIZE/OFF NLINK     NODE NAME
firebird 2309 firebird    4u   REG    8,4 1199570944     0 12591046 /tmp/fb_recbuf_2JnwrM (deleted)
COMMAND   PID     USER   FD   TYPE DEVICE   SIZE/OFF NLINK     NODE NAME
firebird 2309 firebird    4u   REG    8,4 1207959552     0 12591046 /tmp/fb_recbuf_2JnwrM (deleted)
size / measuremeasure-1measure-2measure-3size_after 1 107 296 256 1 191 182 336 1 207 959 552 size_before 1 098 907 648 1 182 793 728 1 199 570 944 size_diff 8 388 608 8 388 608 8 388 608
так и для fb_ sort _*
 
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
COMMAND   PID     USER   FD   TYPE DEVICE   SIZE/OFF NLINK     NODE NAME
firebird 2309 firebird    4u   REG    8,4 1300234240     0 12591046 /tmp/fb_recbuf_2JnwrM (deleted)
firebird 2309 firebird    5u   REG    8,4  100663296     0 12591588 /tmp/fb_sort_BcrYQF (deleted)
COMMAND   PID     USER   FD   TYPE DEVICE   SIZE/OFF NLINK     NODE NAME
firebird 2309 firebird    4u   REG    8,4 1300234240     0 12591046 /tmp/fb_recbuf_2JnwrM (deleted)
firebird 2309 firebird    5u   REG    8,4  109051904     0 12591588 /tmp/fb_sort_BcrYQF (deleted)
. . .
COMMAND   PID     USER   FD   TYPE DEVICE   SIZE/OFF NLINK     NODE NAME
firebird 2309 firebird    4u   REG    8,4 1300234240     0 12591046 /tmp/fb_recbuf_2JnwrM (deleted)
firebird 2309 firebird    5u   REG    8,4  109051904     0 12591588 /tmp/fb_sort_BcrYQF (deleted)
COMMAND   PID     USER   FD   TYPE DEVICE   SIZE/OFF NLINK     NODE NAME
firebird 2309 firebird    4u   REG    8,4 1300234240     0 12591046 /tmp/fb_recbuf_2JnwrM (deleted)
firebird 2309 firebird    5u   REG    8,4  117440512     0 12591588 /tmp/fb_sort_BcrYQF (deleted)
. . .
COMMAND   PID     USER   FD   TYPE DEVICE   SIZE/OFF NLINK     NODE NAME
firebird 2309 firebird    4u   REG    8,4 1300234240     0 12591046 /tmp/fb_recbuf_2JnwrM (deleted)
firebird 2309 firebird    5u   REG    8,4  117440512     0 12591588 /tmp/fb_sort_BcrYQF (deleted)
COMMAND   PID     USER   FD   TYPE DEVICE   SIZE/OFF NLINK     NODE NAME
firebird 2309 firebird    4u   REG    8,4 1300234240     0 12591046 /tmp/fb_recbuf_2JnwrM (deleted)
firebird 2309 firebird    5u   REG    8,4  125829120     0 12591588 /tmp/fb_sort_BcrYQF (deleted)
size / measuremeasure-1measure-2measure-3size_after109 051 904 117 440 512 125 829 120 size_before100 663 296 109 051 904 117 440 512 size_diff8 388 608 8 388 608 8 388 608
Там случайно "в недрах" ФБ верхний лимит для TempCacheBlock не прописан жестко ?
...
Рейтинг: 0 / 0
24.01.2014, 20:14:47
| Ответить | Цитировать | Написать  
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38537399
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dimitr
Участник
Таблоид,

этот параметр на "времянки" вообще никак не влияет, это гранулярность аллокации блоков в пределах TempCacheLimit.
...
Рейтинг: 0 / 0
24.01.2014, 20:20:09
| Ответить | Цитировать | Написать  
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38537400
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
Сделал overall-benchmark для разных вариантов настройки TempDirectories, опции монтирования sync и размера TempCacheLimit (1, 2 и 4 Гб).
Гляньте в аттач и почувствуйте разницу (я про sync -vs- async для случая TempCacheLimit = 1Gb ).
...
Рейтинг: 0 / 0
24.01.2014, 20:22:22
| Ответить | Цитировать | Написать  
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38537403
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
dimitrэтот параметр на "времянки" вообще никак не влияет, это гранулярность аллокации блоков в пределах TempCacheLimit.он "сверху" чем-то ограничен ? (кроме ес-сно, самого TempCacheLimit'a)
...
Рейтинг: 0 / 0
24.01.2014, 20:23:12
| Ответить | Цитировать | Написать  
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38537410
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dimitr
Участник
Таблоидон "сверху" чем-то ограничен ? (кроме ес-сно, самого TempCacheLimit'a)
нет
...
Рейтинг: 0 / 0
24.01.2014, 20:32:58
| Ответить | Цитировать | Написать  
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38537412
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
Тогда прошу разъяснений (на правах особо недогоняющего).
Если времянки растут с шагом = 8М (неважно, почему - может, это в линухе "так заведено"), то какой смысл назначать TempCacheBlock > 8 M ? Ведь когда ему понадобится новое место в temp_space, он получит за один присест только 8 м - так или нет ?
...
Рейтинг: 0 / 0
24.01.2014, 20:35:32
| Ответить | Цитировать | Написать  
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38537418
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dimitr
Участник
Таблоид,

еще раз - TempBlockSize играет рояль только пока все влазит в память ФБ (т.е. не превышен TempCacheLimit). Потом он ни на что уже не влияет.
...
Рейтинг: 0 / 0
24.01.2014, 20:41:46
| Ответить | Цитировать | Написать  
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38537428
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
спс, теперь понятно.
...
Рейтинг: 0 / 0
24.01.2014, 20:51:05
| Ответить | Цитировать | Написать  
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38538939
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
Повторил замеры для сочетаний:
TempBlockSize = 1 20 50 100 150 200 300 400 600 800 Mb
и
TempCacheLimit = 1024 2047 4096 8192 Mb

Хранение времяной во всех прогонах назначалось на ram-диске (/dev/shm).
И вот что теперь вижу:
1) как только времянки перестают вылазить на предел TempCacheLimit'a, так сразу скорость увеличивается на ~30% (т.е. даже если времянки должны храниться в памяти, превышение TCL ощутимо бьёт по скорости);
2) размер TempBlockSize влияет на скорость только на "малых высотах". Нежелателен размер = 1М - он выглядит явным "изгоем общества" на любом размере TempCacheLimit'a, см аттач.

2 dimitr: около года взад ты присылал патчик, который пишет в firebird.log, насколько оказалася превышен TempCacheLimit в результате того или иного стейтмента. Вывод данной статистики в трейсе и isql было бы полезнейшим нововведением последних лет. Сортировки "не по индексу" - повседневная часть работы. Равно как и заполнение GTT'шек, а в ближайшем будущем - и применение over()-функций.
Все они требуют под себя область, задаваемую TempCacheLimit'ом и выход за её границы, как можно видеть по результатам замеров, очень нежелательно.
...
Рейтинг: 0 / 0
27.01.2014, 13:46:25
| Ответить | Цитировать | Написать  
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38538950
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Таблоид,

дык 15452254
...
Рейтинг: 0 / 0
27.01.2014, 13:50:59
| Ответить | Цитировать | Написать  
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38538958
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
Симонов Денис,

как оказалось, важнее всего именно вылезание за 100% отведенной области. Даже если она "смаплена" на ram-disk: там результаты становятся похожими на работу с "обычным" диском.
А будет ли она заполнена на 7% или на 97% - пофиг, это всё одинаково по скорости. Лишняя инфа, КМК, в статистике не нужна.
...
Рейтинг: 0 / 0
27.01.2014, 13:54:45
| Ответить | Цитировать | Написать  
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38538967
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
ЗЫ. Если "главенствующей" арх-рой в трёшке станет SS, то нынешние дефолтные значения для TempCacheLimit & TempBlockSize стопудово станут анахронизмами в наш космический век бесплатных терабайтов. ИМХО.
...
Рейтинг: 0 / 0
27.01.2014, 13:57:18
| Ответить | Цитировать | Написать  
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38538972
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Таблоид,

это тоже важно. Тут нужна инфа насколько заполнено временное пространство и сколько этого пространства требует конкретный оператор. При многопользовательском режиме всё может быть несколько иначе поскольку эта память будет делится между всеми сессиями (для суперклассика/супресервера)
...
Рейтинг: 0 / 0
27.01.2014, 14:00:16
| Ответить | Цитировать | Написать  
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38538989
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
Симонов Дениснужна инфа насколько заполнено временное пространство и сколько этого пространства требует конкретный оператор. При многопользовательском режиме всё может быть несколько иначе поскольку эта память будет делится между всеми сессиями (для суперклассика/супресервера)Стейтмент при своем окончании высвобождает область TempCacheLimit'a, которая ему была нужна. Если в приложении много стейтментов, которые выполняются дольше 5...10 сек, то - да, они будут пересекаться и затраты их сложатся.
Но мне интересно, отчего скорость так падает, даже если времянки хранятся на ram-диске. нет
...
Рейтинг: 0 / 0
27.01.2014, 14:08:10
| Ответить | Цитировать | Написать  
Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
    #38538999
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Таблоид,

дык если память TempCacheLimit настроен плохо, то 5...10 сек запросто
...
Рейтинг: 0 / 0
27.01.2014, 14:14:32
| Ответить | Цитировать | Написать  
15 сообщений из 40, страница 2 из 2
  2  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Статистика затрат на манипуляции с окнами OVER()-функций: как её увидеть ?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=40&msg=38538999&tid=1563941]:
 0ms
get settings:
 9ms
get forum list:
 17ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 197ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 57ms
get tp. blocked users:
 1ms
others: 241ms
total:  542ms
созд. / загр.: 542ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]