Гость
Войти | Профиль | Очистить
Действия ...
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Стратегия увеличения размера блока памяти под сортировку в ФБ3 / 10 сообщений из 10, страница 1 из 1
08.08.2016, 15:21
    #39288368
sysdba22
sysdba22
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Стратегия увеличения размера блока памяти под сортировку в ФБ3
Добрый день,

Вопрос такой, если серверу нужен большой блок под сортировку
(1-1.5 Гб), то как он будет выделяться?

1) Начиная с TempBlockSize и дальше равными приращениями размером
TempBlockSize?

2) Или начнет с TempBlockSize и будет каждый раз удваивать размер?

В нашей задаче такие выборки для группировки/сортировки не
редкость. Выделение по первой стратегии будет занимать много
времени -- тысяча изменений размера блока памяти для 1 Gb и
значения TempBlockSize по-умолчанию.

TempCacheLimit установлен в 32 Gb. Памяти на сервере хватает.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.08.2016, 15:36
    #39288383
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Стратегия увеличения размера блока памяти под сортировку в ФБ3
sysdba22,

необходимый размер округляется вверх до значения, кратного TempBlockSize.
Блок такого размера и выделяется (в памяти или на диске).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.08.2016, 16:23
    #39288423
dimitr
dimitr
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Стратегия увеличения размера блока памяти под сортировку в ФБ3
sysdba22Вопрос такой, если серверу нужен большой блок под сортировку
(1-1.5 Гб), то как он будет выделяться?

1) Начиная с TempBlockSize и дальше равными приращениями размером
TempBlockSize?

2) Или начнет с TempBlockSize и будет каждый раз удваивать размер?

первое. Для таких ситуаций как раз и рекомендуется увеличивать TempBlockSize.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.08.2016, 17:08
    #39288467
sysdba22
sysdba22
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Стратегия увеличения размера блока памяти под сортировку в ФБ3
Тогда, вопрос, как используется этот блок (эти блоки):

1) это одна область памяти на коннект, где располагаются GTT, сортировки и т.п.

2) или под каждую GTT, каждую сортировку, создается отдельная область памяти
начиная с TempBlockSize и вверх, по необходимости.

Если №2, то тогда проблема, так как на большом количестве конектов, при
большом TempBlockSize, много памяти будет теряться впустую.

PS: может поменять стратегию на геометрическую прогрессию?
это актуально для систем с большим количеством ОЗУ, где будут
настраивать большие размеры TempCacheLimit.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.08.2016, 17:11
    #39288470
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Стратегия увеличения размера блока памяти под сортировку в ФБ3
sysdba22PS: может поменять стратегию на геометрическую прогрессию?

Память для сортировок выделяется и используется отдельными блоками. Геометрическая
прогрессия тут никак не поможет.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.08.2016, 17:51
    #39288502
sysdba22
sysdba22
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Стратегия увеличения размера блока памяти под сортировку в ФБ3
ок. буду эксперементировать с TempBlockSize
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.08.2016, 19:03
    #39288539
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Стратегия увеличения размера блока памяти под сортировку в ФБ3
sysdba22ок. буду эксперементировать с TempBlockSizeЭто ничего не даст, см мой ответ ещё раз
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.08.2016, 19:08
    #39288543
dimitr
dimitr
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Стратегия увеличения размера блока памяти под сортировку в ФБ3
TempBlockSize это гранулярность аллокатора. Меньше он не может выделить, больше (если сортировщик начнет оперировать большими ранами) - сможет. Т.е. линейная цепочка из TempCacheLimit / TempBlockSize блоков это крайний случай, в реальной жизни (по крайней мере при сортировках) будет меньшее число бОльших блоков.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.08.2016, 20:00
    #39288564
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Стратегия увеличения размера блока памяти под сортировку в ФБ3
Сортировщик просит внешнюю память блоками по 1, 8 или 64 МБ. Это не абсолютные значения, реальные могут быть несколько меньше.
Не может быть одновременно более 7 блоков размера 1 или 8 МБ - они сливаются в блоки по 8 и 64 МБ соответственно.
Т.е. для гигабайтных сортировок у нас в конце концов будут блоки по 64МБ (много), 8 МБ (не более 7) и 1 МБ (не более 7)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.08.2016, 20:30
    #39288571
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Стратегия увеличения размера блока памяти под сортировку в ФБ3
sysdba222) или под каждую GTT, каждую сортировку, создается отдельная область памяти начиная с TempBlockSize и вверх, по необходимости.
неправильный вопрос. Как уже сказали, TempBlockSize это просто блок, а вот TempCacheLimit - ограничение размера памяти под сортировку.
Для супера и суперклассика это общее ограничение, для всех коннектов, т.к. сервер - это один процесс. Для классика - ограничение для одного коннекта, т.к. сервер - это процесс на коннект.
память для сортировки выделяется для конкретного запроса. Т.е. если есть 10 одинаковых запросов с plan sort - для них для всех будет выделяться память (и далее временные файлы на диске).

TempBlockSize если и есть смысл увеличивать, то не более чем в 2-3 раза от дефолтного значения (там вроде 1мб).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Стратегия увеличения размера блока памяти под сортировку в ФБ3 / 10 сообщений из 10, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 171ms
Закрыть
start [/forum/topic.php?fid=40&mobile=1&tid=1562024]:
 0ms
get settings:
 11ms
get forum list:
 16ms
check forum access:
 5ms
check topic access:
 5ms
track hit:
 46ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 54ms
get tp. blocked users:
 2ms
others: 16ms
total:  171ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]