ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / нюансы форматирования дисков под database ensine и SSAS
26 сообщений из 26, показаны все 2 страниц
  все  
нюансы форматирования дисков под database ensine и SSAS
    #39889692
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Господа, есть кто-то, кто развлекался настройками форматирования NFTS под database engine и SSAS .

Интересует больше SSAS, где куча мелких файлов.

Увеличение/уменьшение сектора и прочие тюнинги.

Есть какие-то рекомендации?
...
Рейтинг: 0 / 0
15.11.2019, 15:05
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39890389
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
a_voronin,

Гм, специальных рекомендаций по SSAS не видел. Что думаю и делал сам:
размер сектора - 4 KB (из общих соображений) - так как много мелких файлов

аналогично SQL Filestream - отключаем генерацию 8.3 имен, индексацию диска с данными и обновления последней даты доступа к файлу. См Best Practices on FILESTREAM implementations . Скорее все это по аналогии - в FileStream тоже много небольших файлов.
...
Рейтинг: 0 / 0
18.11.2019, 12:17
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39890475
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
a_voronin,

 
Analysis Services Operations Guide. 2.5 Partitioning, Storage Provisioning and Striping
NTFS Allocation Unit Size (AUS): With careful optimization, it is sometimes possible to get slightly better performance by smartly choosing between 32K or 64K (a few percent). But, unless you are hunting for benchmark performance, just go with 32K. If you have standardized on 64K for other SQL Server services, that will work too.
...
Рейтинг: 0 / 0
18.11.2019, 14:13
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39890923
Фотография PsyMisha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PsyMisha
Участник
a_voronin,

... Зачем вам NTFS и файловые таблицы - все в InMemory же! (C) :)
...
Рейтинг: 0 / 0
19.11.2019, 10:15
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39890958
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
PsyMisha,

Вы про Tabular говорите? Ну и как, группы мер с сотнями лямов и лярдами строк он готов считать?
...
Рейтинг: 0 / 0
19.11.2019, 11:09
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39890981
Фотография PsyMisha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PsyMisha
Участник
a_voronin,

Да нет, я про реляционку говорю - вы же весь стейдж и весь DataVault предлагали в память кидать и дюрабилити везде включен чтобы

Не троллю, просто вспомнил)
...
Рейтинг: 0 / 0
19.11.2019, 11:45
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39890982
TaPaK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
TaPaK
Участник
PsyMisha,

автори дюрабилити везде включен чтобы
а "дюрабилити" выключен это как?
...
Рейтинг: 0 / 0
19.11.2019, 11:47
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39890985
Фотография Yasha123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yasha123
Участник
TaPaK
PsyMisha,

автори дюрабилити везде включен чтобы

а "дюрабилити" выключен это как?
это schema only.
но присоединяюсь к троллингу все в InMemory же! (C)
...
Рейтинг: 0 / 0
19.11.2019, 11:57
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39891022
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
PsyMisha,
В данной теме вообще-то речь идет о SSAS.

И я не разу не предлагал весь Stage поднимать. Предлагал часть справочников ИЗ ВИТРИН.
...
Рейтинг: 0 / 0
19.11.2019, 13:01
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39891061
Фотография PsyMisha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PsyMisha
Участник
a_voronin,

Эх, ладно, не упомнить уже все ветки...

А справочники то из витрин чем не угодили? Ну куски звёзд-снежинок по несколько тысяч строк каждая, и что в этом кейсе для InMemory?

Вот кстати про stage то и больше подходов, особенно если он только для ELT используется и не содержит в себе логику по ключам или историчности загрузки/первичных трансформаций
...
Рейтинг: 0 / 0
19.11.2019, 13:43
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39891063
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Yasha123,

В INMEMORY хорошо держать буферы, в которые идет BULK INSERT. Но TROLLEYBALL-MINDEDNESS не позволяет некоторым увидеть преимущества данного подхода.
...
Рейтинг: 0 / 0
19.11.2019, 13:45
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39891066
Фотография PsyMisha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PsyMisha
Участник
a_voronin
не позволяет некоторым увидеть преимущества данного подхода.


... я так и знал, что он опять обидится
...
Рейтинг: 0 / 0
19.11.2019, 13:51
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39891073
Фотография Yasha123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yasha123
Участник
PsyMisha
a_voronin
не позволяет некоторым увидеть преимущества данного подхода.


... я так и знал, что он опять обидится

TROLLEYBALL-MINDEDNESS не не позволяет некоторым понять,
что нам сегодня просто скучно
...
Рейтинг: 0 / 0
19.11.2019, 13:56
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39891074
TaPaK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
TaPaK
Участник
a_voronin
Yasha123,

В INMEMORY хорошо держать буферы, в которые идет BULK INSERT. Но TROLLEYBALL-MINDEDNESS не позволяет некоторым увидеть преимущества данного подхода.

а что где то уже побеждён паралеллизм на dml inmemory?
...
Рейтинг: 0 / 0
19.11.2019, 13:56
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39891276
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
TaPaK
a_voronin
Yasha123,

В INMEMORY хорошо держать буферы, в которые идет BULK INSERT. Но TROLLEYBALL-MINDEDNESS не позволяет некоторым увидеть преимущества данного подхода.

а что где то уже побеждён паралеллизм на dml inmemory?


Inmemory параллелиться гораздо лучше.

Если взять bulk insert, то при повышении нагрузки в inmemory он деградирует меньше, чем в обычные таблы
...
Рейтинг: 0 / 0
19.11.2019, 18:03
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39891280
TaPaK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
TaPaK
Участник
a_voronin
TaPaK
пропущено...

а что где то уже побеждён паралеллизм на dml inmemory?


Inmemory параллелиться гораздо лучше.

Если взять bulk insert, то при повышении нагрузки в inmemory он деградирует меньше, чем в обычные таблы

Была попытка перевести объёмную математику именно с расчётом, что там всё быстро и хорошо и всё же без дисковых задержек, но в итоге известно такое NonParallelPlanReason=”NoParallelForDmlOnMemoryOptimizedTable”
в итоге любой более менее существенный объём сразу выпал в осадок по отношению к просто временной таблице
...
Рейтинг: 0 / 0
19.11.2019, 18:09
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39891423
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
TaPaK,

Это видели?

https://support.microsoft.com/en-us/help/4013877/update-enables-dml-query-plan-to-scan-query-memory-optimized-tables-in

Я так понимаю, вы хотите получить параллельность в одном запросе. А InMemory больше заточено под то, что много запросов будут долбить её параллельно. Одиночная транзация от InMemory не выиграет. Выигрыш будет при массовом исполнении множества запросов.
...
Рейтинг: 0 / 0
20.11.2019, 08:03
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39891451
Фотография Ennor Tiegael
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ennor Tiegael
Участник
Вот так разница между concurrency и parallelism оказалась lost in translation...
...
Рейтинг: 0 / 0
20.11.2019, 09:26
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39891636
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
Ennor Tiegael,

да какой там...
начали-то вообще с конфигурации дисков
...
Рейтинг: 0 / 0
20.11.2019, 13:37
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39891698
uaggster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
uaggster
Гость
a_voronin
Господа, есть кто-то, кто развлекался настройками форматирования NFTS под database engine и SSAS .

Интересует больше SSAS, где куча мелких файлов.

Увеличение/уменьшение сектора и прочие тюнинги.

Есть какие-то рекомендации?

Да, есть.
https://blogs.msdn.microsoft.com/blogdoezequiel/2011/02/11/best-practices-on-filestream-implementations/
...
Рейтинг: 0 / 0
20.11.2019, 14:42
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39891905
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
uaggster,

никто про filestream в этой теме не спрашивал.
...
Рейтинг: 0 / 0
20.11.2019, 17:51
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39892161
uaggster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
uaggster
Гость
ShIgor,
ЦитатаИнтересует больше SSAS, где куча мелких файлов.

Настройки будут универсальными.
...
Рейтинг: 0 / 0
21.11.2019, 08:10
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39892192
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
uaggster,

Вы если не обладаете информацией, то лучше не говорите. Я делал эксперименты и при большом кол-ве файлов (а их в одном кубе у меня было около 150000 в нескольких тысячах папок), скорость записи улучшалась при меньшем размере сектора. Там ещё есть нюансы про имена 8.3 и прочие вещи.

http://www.ntfs.com/ntfs_optimization.htm

Define Cluster Size Properly
Unnecessary Access Updates
Outdated DOS 8.3 Name creation

Вопрос был в том, занимался ли кто-то тюнингом NTFS и что было?
...
Рейтинг: 0 / 0
21.11.2019, 09:48
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39892204
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
a_voronin


Define Cluster Size Properly
Unnecessary Access Updates
Outdated DOS 8.3 Name creation

Вопрос был в том, занимался ли кто-то тюнингом NTFS и что было?

Занимался.
Результаты - уменьшение кластера дало результаты, аналогичные вашим. При больших кубах, где количество файлов было более 200 000, отключал имена 8.3 и last access date. Выигрыш от этого - ощущался в сокращении времени процессинга.
...
Рейтинг: 0 / 0
21.11.2019, 10:15
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39892228
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Ferdipux
a_voronin


Define Cluster Size Properly
Unnecessary Access Updates
Outdated DOS 8.3 Name creation

Вопрос был в том, занимался ли кто-то тюнингом NTFS и что было?

Занимался.
Результаты - уменьшение кластера дало результаты, аналогичные вашим. При больших кубах, где количество файлов было более 200 000, отключал имена 8.3 и last access date. Выигрыш от этого - ощущался в сокращении времени процессинга.


Спасибо, а какие-то цифры можете озвучить?
...
Рейтинг: 0 / 0
21.11.2019, 10:50
| Ответить | Цитировать | Написать  
нюансы форматирования дисков под database ensine и SSAS
    #39892311
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
[quote a_voronin#22021551]
Ferdipux


Спасибо, а какие-то цифры можете озвучить?

Ориентировочно по результатам, посмотрел результаты проекта.
Процессинг можно условно разделить на 2 части:
активную - обновление данных, построение индексов и агрегаций - когда идет активное создание и запись новых файлов

коммит NTFS - когда загрузки CPU почти нет, и данные в файлы не пишутся, происходит активная запись в NTFS внутренние структуры - $LogFile $MFT

Указанные изменения сократили время активного процессинга процента на 2-7. Общую длительность - на 1-5%. В целом - выигрыш есть, но не в разы.

Основной проблемой была и остается длительность коммита изменений процессинга в NTFS. Что с этим делать - не знаю.
...
Рейтинг: 0 / 0
21.11.2019, 13:25
| Ответить | Цитировать | Написать  
26 сообщений из 26, показаны все 2 страниц
  все  
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / нюансы форматирования дисков под database ensine и SSAS
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]