ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Другие СУБД [игнор отключен] [закрыт для гостей] / Teradata. Какие есть методы прикинуть нужный размер spool space?
16 сообщений из 16, страница 1 из 1
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38050596
pectopatop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pectopatop
Участник
Имеется база, начало юзерской эксплуатации (на продакшн сервере).
Постоянно происходит "NO more spool space", Spool увеличивается, затем опять происходит падение юзеров по "No more spool space". и т.д..

Админ хочет примерные какие-нибудь формулы - прикинуть сколько надо Spool-а (по юзерам, запросам, объемам таблиц, планам более-менее известно всё)

Ссылки, документы.. приветствуются!
...
Рейтинг: 0 / 0
23.11.2012, 14:35
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38050966
pectopatop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pectopatop
Участник
Например нормально ли будет так:
- создать тестовую нагрузку каким-нибудь Workload Analyzer
- посмотреть выгребаемый Spool в Teradata Manager
???
...
Рейтинг: 0 / 0
23.11.2012, 16:52
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38050971
pectopatop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pectopatop
Участник
Далее масштабировать линейно по кол-ву юзеров (если допустим испытывалось на 10 коннектах, работать будут 50 юзеров => множитель 5 ? )
...
Рейтинг: 0 / 0
23.11.2012, 16:53
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38050984
transpose
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
transpose
Участник
немножко не о том, но вы уверены, что ваши юзвери не грешат skewed запросами? Используете ли вы partitioning? No more spool space часто именно из за этого бывает.
...
Рейтинг: 0 / 0
23.11.2012, 16:58
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38050991
transpose
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
transpose
Участник
pectopatopДалее масштабировать линейно по кол-ву юзеров (если допустим испытывалось на 10 коннектах, работать будут 50 юзеров => множитель 5 ? )
А спул разве не каждому юзверю индивидуально выделяется?
...
Рейтинг: 0 / 0
23.11.2012, 17:01
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38051473
Павел Новокшонов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел Новокшонов
Участник
Можно посмотреть MaxSpool для каждого пользователя. Это максимальмый размер spool, который когда либо фиксировался с момента последнего ресета. Также включить DBQL и посмотреть потребление spool по тем или иным запросам. А вообще tranpose дело говорит. Если запросы перекошены, то spool, который также равномерно размазан по AMP-ам может зашкалить, скажем при вытаскивании и перераспределении большой таблички по "левому" первичному индексу из условия join. Как вариант, я бы прописал собрать всю статистику, рекомендуемую оптимизатором для той или иной SQL нагрузки. И конечно надо смотреть запросы пользователей, а точнее WHERE clause - если это из серии - "Give me the world, baby", то резать не дожидаясь перетонита.
...
Рейтинг: 0 / 0
24.11.2012, 03:55
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38052629
pectopatop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pectopatop
Участник
transposeвы уверены, что ваши юзвери не грешат skewed запросами? Используете ли вы partitioning?
Не уверен :)
Знаю примерные запросы какие выполняются на продакшн, у меня только разработческая база есть (по структуре абсолютная копия продакшена).
На этой разработческой, на простом офисном компе, эти запросы летают (по таким же примерно таблицам по кол-ву строк, различие не более 10% ).

Partitioning-а нету слава богу.

Да, вы правы, сейчас бОльше статистики пособираем, данных...

transposeспул разве не каждому юзверю индивидуально выделяется?
Как я понимаю (не проверял): спул выделяется каждому user (в терминах Teradata), я же речь вёл про пользователей (людей т.е.) и их коннекты под одним database user.
Как понимаю, если под одним database user логинятся 50 клиентов - spool на всех клиентов общий и суммарный его объем не превысит указанный для database user лимит?
...
Рейтинг: 0 / 0
26.11.2012, 08:18
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38052633
pectopatop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pectopatop
Участник
Павел НовокшоновМожно посмотреть MaxSpool для каждого пользователя. Это максимальмый размер spool, который когда либо фиксировался с момента последнего ресета.
Ну посмотрели, а толку-то что?
Т.к. spool-а не хватает, а MaxSpool не показывает ведь сколько надо было бы ..

Допустим лимит 1Гб, MaxSpool достигал 999Мб, запрос упал, а надо было 5Гб - откуда цифра 5Гб вылезет?
...
Рейтинг: 0 / 0
26.11.2012, 08:20
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38053035
pectopatop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pectopatop
Участник
Посмотрел: MaxSpool - не понял ЧЕМ отличается от PeakSpool ???
...
Рейтинг: 0 / 0
26.11.2012, 12:48
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38053722
Павел Новокшонов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел Новокшонов
Участник
pectopatopПосмотрел: MaxSpool - не понял ЧЕМ отличается от PeakSpool ??? Сорри - имел ввиду конечно же PeakSpool. MaxSpool - это максимально отведенная квота на spool space для пользователя. PeakSpool - то что когда-то использовалось в рамках той или иной транзакции.
...
Рейтинг: 0 / 0
26.11.2012, 17:43
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38053901
Павел Новокшонов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел Новокшонов
Участник
pectopatopКак я понимаю (не проверял): спул выделяется каждому user (в терминах Teradata), я же речь вёл про пользователей (людей т.е.) и их коннекты под одним database user. Как понимаю, если под одним database user логинятся 50 клиентов - spool на всех клиентов общий и суммарный его объем не превысит указанный для database user лимит?

Правильно понимаете. Spool общий для одного database user и 50 коннетов под одним database user будут его шэрить. Если пользуете database profiles для пользователей, то значение spool для профайла будет использоватся вне зависимости от того, что прописано для индивидуальных пользователей.

pectopatop Допустим лимит 1Гб, MaxSpool достигал 999Мб, запрос упал, а надо было 5Гб - откуда цифра 5Гб вылезет?
Прогнать запросы на продакшен данных под одним коннектом и посмотреть по DBQL сколько спула жрет каждый запрос. Затем прикинуть сколько одновременных пользователей будут работать в системе. Вообще спула можно отвести достаточно много, если диск позволяет и не парится 5 это ГБ или 15ГБ. Это безвредно. Как вариант в последних системах можно включить блочную компрессию для spool space. Но все это конечно не отменяет статистику, тюнинг и более детальное понимание того, что делает SQL нагрузка.
...
Рейтинг: 0 / 0
26.11.2012, 20:09
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38054201
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apex
Участник
pectopatopДопустим лимит 1Гб, MaxSpool достигал 999Мб, запрос упал, а надо было 5Гб - откуда цифра 5Гб вылезет?
Да ниоткуда, блин. Вы когда в Оракле размер темпа подбираете вы что, тоже можете заранее рассчитать по формуле, сколько его понадобится? Вот и здесь так же - увеличили, помониторили, подправили.

pectopatopPartitioning-а нету слава богу.

Что значит "слава богу"? Вы вообще понимаете о чем идет и речь и как все это работает? Правильно подобранная схема партиционирования позволяет сильно уменьшить объем данных, которые необходимо просканировать и, соответственно, уменьшить размер промежуточного результата того или иного шага запроса, все это, кроме непосредственно ускорения запроса, позволяет сократить объем потребляемого spool'а. Ну разумеется смотреть нет ли сильного перекоса, как уже правильно заметил transpose, ибо если сильный перекос на одном из шагов запросов имеет место быть, то никакого spool'а не хватит, т.к. все ляжет на один AMP.
...
Рейтинг: 0 / 0
27.11.2012, 07:27
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38054223
pectopatop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pectopatop
Участник
ApexЧто значит "слава богу"? Вы вообще понимаете о чем идет и речь и как все это работает? Правильно подобранная схема партиционирования позволяет сильно уменьшить объем данных, которые необходимо просканировать и, соответственно, уменьшить размер промежуточного результата того или иного шага запроса, все это, кроме непосредственно ускорения запроса, позволяет сократить объем потребляемого spool'а. Ну разумеется смотреть нет ли сильного перекоса, как уже правильно заметил transpose, ибо если сильный перекос на одном из шагов запросов имеет место быть, то никакого spool'а не хватит, т.к. все ляжет на один AMP.
Я в курсе как работает партиционирование.
А нету его потому, что просто не нужно пока было - данных немного.

Если доступ идет по индексу - какая разница (для select-а):
- будет ли на 1 уровень больше в глобальном B-индексе
- будет ли меньше на 1 уроень в локальном B-индексе, но СУБД сначала "сообразит" в какую партицию стучаться
?
...
Рейтинг: 0 / 0
27.11.2012, 08:23
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38054224
pectopatop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pectopatop
Участник
Короче ясно - общих "утилит", методов и формул нету.
Это и требовалось, Apex, а не рассуждения на тему "партиции", "skew"...
Спасибо
...
Рейтинг: 0 / 0
27.11.2012, 08:25
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38055433
Павел Новокшонов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел Новокшонов
Участник
pectopatopКороче ясно - общих "утилит", методов и формул нету.

Есть общие подходы - how to manage spool space. См. документацию Database Administration guide или Performance Management guide. Какие-то количественные оценки можно получить только посмотрев ваши данные и SQL нагрузки.
...
Рейтинг: 0 / 0
27.11.2012, 19:17
| Ответить | Цитировать | Написать  
Teradata. Какие есть методы прикинуть нужный размер spool space?
    #38055599
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apex
Участник
pectopatopЕсли доступ идет по индексу - какая разница (для select-а):
- будет ли на 1 уровень больше в глобальном B-индексе
- будет ли меньше на 1 уроень в локальном B-индексе, но СУБД сначала "сообразит" в какую партицию стучаться?
Доступ по В-индексу, в Терадате, ага.

Иди документацию прочти, рассуждатель.
...
Рейтинг: 0 / 0
27.11.2012, 22:57
| Ответить | Цитировать | Написать  
16 сообщений из 16, страница 1 из 1
Форумы / Другие СУБД [игнор отключен] [закрыт для гостей] / Teradata. Какие есть методы прикинуть нужный размер spool space?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=56&msg=38054224&tid=2015298]:
 0ms
get settings:
 11ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 166ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 59ms
get tp. blocked users:
 2ms
others: 16ms
total:  286ms
созд. / загр.: 286ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]