Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / нюансы форматирования дисков под database ensine и SSAS / 25 сообщений из 26, страница 1 из 2
  1  все
15.11.2019, 15:05
    #39889692
a_voronin
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
Господа, есть кто-то, кто развлекался настройками форматирования NFTS под database engine и SSAS .

Интересует больше SSAS, где куча мелких файлов.

Увеличение/уменьшение сектора и прочие тюнинги.

Есть какие-то рекомендации?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.11.2019, 12:17
    #39890389
Ferdipux
Ferdipux
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
a_voronin,

Гм, специальных рекомендаций по SSAS не видел. Что думаю и делал сам:
размер сектора - 4 KB (из общих соображений) - так как много мелких файлов

аналогично SQL Filestream - отключаем генерацию 8.3 имен, индексацию диска с данными и обновления последней даты доступа к файлу. См Best Practices on FILESTREAM implementations . Скорее все это по аналогии - в FileStream тоже много небольших файлов.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.11.2019, 14:13
    #39890475
ShIgor
ShIgor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
a_voronin,

 
Analysis Services Operations Guide. 2.5 Partitioning, Storage Provisioning and Striping
NTFS Allocation Unit Size (AUS): With careful optimization, it is sometimes possible to get slightly better performance by smartly choosing between 32K or 64K (a few percent). But, unless you are hunting for benchmark performance, just go with 32K. If you have standardized on 64K for other SQL Server services, that will work too.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.11.2019, 10:15
    #39890923
PsyMisha
PsyMisha
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
a_voronin,

... Зачем вам NTFS и файловые таблицы - все в InMemory же! (C) :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.11.2019, 11:09
    #39890958
a_voronin
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
PsyMisha,

Вы про Tabular говорите? Ну и как, группы мер с сотнями лямов и лярдами строк он готов считать?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.11.2019, 11:45
    #39890981
PsyMisha
PsyMisha
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
a_voronin,

Да нет, я про реляционку говорю - вы же весь стейдж и весь DataVault предлагали в память кидать и дюрабилити везде включен чтобы

Не троллю, просто вспомнил)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.11.2019, 11:47
    #39890982
TaPaK
TaPaK
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
PsyMisha,

автори дюрабилити везде включен чтобы
а "дюрабилити" выключен это как?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.11.2019, 11:57
    #39890985
Yasha123
Yasha123
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
TaPaK
PsyMisha,

автори дюрабилити везде включен чтобы

а "дюрабилити" выключен это как?
это schema only.
но присоединяюсь к троллингу все в InMemory же! (C)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.11.2019, 13:01
    #39891022
a_voronin
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
PsyMisha,
В данной теме вообще-то речь идет о SSAS.

И я не разу не предлагал весь Stage поднимать. Предлагал часть справочников ИЗ ВИТРИН.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.11.2019, 13:43
    #39891061
PsyMisha
PsyMisha
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
a_voronin,

Эх, ладно, не упомнить уже все ветки...

А справочники то из витрин чем не угодили? Ну куски звёзд-снежинок по несколько тысяч строк каждая, и что в этом кейсе для InMemory?

Вот кстати про stage то и больше подходов, особенно если он только для ELT используется и не содержит в себе логику по ключам или историчности загрузки/первичных трансформаций
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.11.2019, 13:45
    #39891063
a_voronin
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
Yasha123,

В INMEMORY хорошо держать буферы, в которые идет BULK INSERT. Но TROLLEYBALL-MINDEDNESS не позволяет некоторым увидеть преимущества данного подхода.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.11.2019, 13:51
    #39891066
PsyMisha
PsyMisha
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
a_voronin
не позволяет некоторым увидеть преимущества данного подхода.


... я так и знал, что он опять обидится
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.11.2019, 13:56
    #39891073
Yasha123
Yasha123
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
PsyMisha
a_voronin
не позволяет некоторым увидеть преимущества данного подхода.


... я так и знал, что он опять обидится

TROLLEYBALL-MINDEDNESS не не позволяет некоторым понять,
что нам сегодня просто скучно
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.11.2019, 13:56
    #39891074
TaPaK
TaPaK
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
a_voronin
Yasha123,

В INMEMORY хорошо держать буферы, в которые идет BULK INSERT. Но TROLLEYBALL-MINDEDNESS не позволяет некоторым увидеть преимущества данного подхода.

а что где то уже побеждён паралеллизм на dml inmemory?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.11.2019, 18:03
    #39891276
a_voronin
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
TaPaK
a_voronin
Yasha123,

В INMEMORY хорошо держать буферы, в которые идет BULK INSERT. Но TROLLEYBALL-MINDEDNESS не позволяет некоторым увидеть преимущества данного подхода.

а что где то уже побеждён паралеллизм на dml inmemory?


Inmemory параллелиться гораздо лучше.

Если взять bulk insert, то при повышении нагрузки в inmemory он деградирует меньше, чем в обычные таблы
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.11.2019, 18:09
    #39891280
TaPaK
TaPaK
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
a_voronin
TaPaK
пропущено...

а что где то уже побеждён паралеллизм на dml inmemory?


Inmemory параллелиться гораздо лучше.

Если взять bulk insert, то при повышении нагрузки в inmemory он деградирует меньше, чем в обычные таблы

Была попытка перевести объёмную математику именно с расчётом, что там всё быстро и хорошо и всё же без дисковых задержек, но в итоге известно такое NonParallelPlanReason=”NoParallelForDmlOnMemoryOptimizedTable”
в итоге любой более менее существенный объём сразу выпал в осадок по отношению к просто временной таблице
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.11.2019, 08:03
    #39891423
a_voronin
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
TaPaK,

Это видели?

https://support.microsoft.com/en-us/help/4013877/update-enables-dml-query-plan-to-scan-query-memory-optimized-tables-in

Я так понимаю, вы хотите получить параллельность в одном запросе. А InMemory больше заточено под то, что много запросов будут долбить её параллельно. Одиночная транзация от InMemory не выиграет. Выигрыш будет при массовом исполнении множества запросов.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.11.2019, 09:26
    #39891451
Ennor Tiegael
Ennor Tiegael
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
Вот так разница между concurrency и parallelism оказалась lost in translation...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.11.2019, 13:37
    #39891636
ShIgor
ShIgor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
Ennor Tiegael,

да какой там...
начали-то вообще с конфигурации дисков
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.11.2019, 14:42
    #39891698
uaggster
uaggster
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
a_voronin
Господа, есть кто-то, кто развлекался настройками форматирования NFTS под database engine и SSAS .

Интересует больше SSAS, где куча мелких файлов.

Увеличение/уменьшение сектора и прочие тюнинги.

Есть какие-то рекомендации?

Да, есть.
https://blogs.msdn.microsoft.com/blogdoezequiel/2011/02/11/best-practices-on-filestream-implementations/
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.11.2019, 17:51
    #39891905
ShIgor
ShIgor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
uaggster,

никто про filestream в этой теме не спрашивал.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.11.2019, 08:10
    #39892161
uaggster
uaggster
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
ShIgor,
ЦитатаИнтересует больше SSAS, где куча мелких файлов.

Настройки будут универсальными.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.11.2019, 09:48
    #39892192
a_voronin
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
uaggster,

Вы если не обладаете информацией, то лучше не говорите. Я делал эксперименты и при большом кол-ве файлов (а их в одном кубе у меня было около 150000 в нескольких тысячах папок), скорость записи улучшалась при меньшем размере сектора. Там ещё есть нюансы про имена 8.3 и прочие вещи.

http://www.ntfs.com/ntfs_optimization.htm

Define Cluster Size Properly
Unnecessary Access Updates
Outdated DOS 8.3 Name creation

Вопрос был в том, занимался ли кто-то тюнингом NTFS и что было?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.11.2019, 10:15
    #39892204
Ferdipux
Ferdipux
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
a_voronin


Define Cluster Size Properly
Unnecessary Access Updates
Outdated DOS 8.3 Name creation

Вопрос был в том, занимался ли кто-то тюнингом NTFS и что было?

Занимался.
Результаты - уменьшение кластера дало результаты, аналогичные вашим. При больших кубах, где количество файлов было более 200 000, отключал имена 8.3 и last access date. Выигрыш от этого - ощущался в сокращении времени процессинга.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.11.2019, 10:50
    #39892228
a_voronin
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нюансы форматирования дисков под database ensine и SSAS
Ferdipux
a_voronin


Define Cluster Size Properly
Unnecessary Access Updates
Outdated DOS 8.3 Name creation

Вопрос был в том, занимался ли кто-то тюнингом NTFS и что было?

Занимался.
Результаты - уменьшение кластера дало результаты, аналогичные вашим. При больших кубах, где количество файлов было более 200 000, отключал имена 8.3 и last access date. Выигрыш от этого - ощущался в сокращении времени процессинга.


Спасибо, а какие-то цифры можете озвучить?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
  1  все
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / нюансы форматирования дисков под database ensine и SSAS / 25 сообщений из 26, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]