powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / Windows [игнор отключен] [закрыт для гостей] / какой размер блока файловой системы виндоус стаить для СУБД?
23 сообщений из 23, страница 1 из 1
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704194
sstatistic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день, коллеги.


Подскажите пожалуйста, какой размер блока файловой системы ставить для СУБД?


А конкретно для postgresql.


Размер блоков самого postgresql составляет 8Кб.
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704207
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sstatistic,

несущественно.

можно поставить равный блоку RAID
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704209
sstatistic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
В яндексе не нашел информации по этому вопросу
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704210
sstatistic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Siemarglsstatistic,

несущественно.

можно поставить равный блоку RAID

Благодарю за ответ.


А скажите, может быть есть официальные рекомендации по этому вопросу от микрософт?
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704235
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А мозгом почитать что такое блок ФС и как он используется?..
Поставишь меньше - получишь оверхэд по иопсам. Поставишь больше - по объёму в/в.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704245
sstatistic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry SibiryakovА мозгом почитать что такое блок ФС


Увы, пока не владею методом Бронникова.
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704248
sstatistic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Немного ввел вас в заблуждение.

Интересует не размер блока ФС, наименьший объем дискового пространства, который можно использовать для хранения файла, так называемый кластер.

Если размер блока в СУБД 8Кб то какой лучше ставить размер кластера?

4Кб по умолчанию или больший размер?
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704251
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sstatisticНемного ввел вас в заблуждение.

Интересует не размер блока ФС, наименьший объем дискового пространства, который можно использовать для хранения файла, так называемый кластер.

Если размер блока в СУБД 8Кб то какой лучше ставить размер кластера?

4Кб по умолчанию или больший размер?
Вроде как про кластер и ответили. Делай 8.
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704262
sstatistic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dima TsstatisticНемного ввел вас в заблуждение.

Интересует не размер блока ФС, наименьший объем дискового пространства, который можно использовать для хранения файла, так называемый кластер.

Если размер блока в СУБД 8Кб то какой лучше ставить размер кластера?

4Кб по умолчанию или больший размер?
Вроде как про кластер и ответили. Делай 8.

Ну хорошо, понятно что 8 лучше чем 4.

Но какие минусы, если сделать, например, 64 ?
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704268
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sstatisticDima Tпропущено...

Вроде как про кластер и ответили. Делай 8.

Ну хорошо, понятно что 8 лучше чем 4.

Но какие минусы, если сделать, например, 64 ?
21678100 лишний в/в
БД запишет 8, а ОС будет писать 64.
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704373
Фотография bga83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sstatisticDima Tпропущено...

Вроде как про кластер и ответили. Делай 8.

Ну хорошо, понятно что 8 лучше чем 4.

Но какие минусы, если сделать, например, 64 ?а нагрузочное тестирование на различных параметрах почему бы не провести и посмотреть, какой вариант будет более подходить под ваши текущие нужды
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704395
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovА мозгом почитать что такое блок ФС и как он используется?..
Поставишь меньше - получишь оверхэд по иопсам. Поставишь больше - по объёму в/в.

AFAIK там все очень сложно

если RAID, то есть блоки RAID, есть выравние логического раздела на диске, если размер кластера ФС (что такое блок ФС мне не очень понятно),есть размер блока СУБД, есть multi-block-read (в Oracle, думаю в PostgreSQL аналогично).

Прямой зависимость блок СУБД == сектор на диске, все равно нету (((

Есть ощущение, что для целей, которые ставил перед собой автор вопроса, ответ "несущественно" (C) Siemargl вполне правильный

AFAIK
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704399
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dima Tsstatisticпропущено...
Ну хорошо, понятно что 8 лучше чем 4.
Но какие минусы, если сделать, например, 64 ?
21678100 лишний в/в
БД запишет 8, а ОС будет писать 64.
Для этого хорошо ссылку на RTFM, что размер кластера == размеру операции ввода/вывода

Честно говоря, лично я, в этом совсем не уверен

p.s. Про SSD, вообще можно не говорить ))), Раздумей над strip size в RAID и выравнивания партиций ))) вполне достаточно, что бы мозги вспухли. IMHO & AFAIK
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704447
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevЧестно говоря, лично я, в этом совсем не уверен

Я был в этом уверен ещё со времён DOS, но, посмотрев на
многа
букафф от Руссиновича
, эту уверенность потерял.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704457
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevDima Tпропущено...

21678100 лишний в/в
БД запишет 8, а ОС будет писать 64.
Для этого хорошо ссылку на RTFM, что размер кластера == размеру операции ввода/вывода
Запись возможно пойдет только измененного сектора диска, не уверен, но он 4 кб нынче, если инет не врет.
А чтение ОС делает кластерами, поэтому зачем читать лишнее? Если нам нужна конкретная страница БД, то зачем читать две подряд? Насколько я знаю связные страницы (например одной таблицы) в БД редко идут последовательно друг за другом. Слишком дорого такая дефрагментация обойдется.
Т.е. в итоге имеем засирание дискового кэша ненужной инфой, что тоже ничего хорошего.
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704460
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dima TА чтение ОС делает кластерами, поэтому зачем читать лишнее?....
да и пофиг. Для магнитного жесткого диска, что прочитать сектор, что прочитать дорожку/цилиндр - однофиолетово. А размер дорожки на современных дисках, дофига. Главное, что бы головка не дергалась )))

Про SSD обсуждать не готов )))

В общем, все сложно.

AFAIK & IMHO

Dima TНасколько я знаю связные страницы (например одной таблицы) в БД редко идут последовательно друг за другом.

Например Oracle выделяет место под таблицами не блоками, а экстендами/сегментами. Они значительно больше блока Т.ч. ряд связных страниц часто идут последовательно.

Multi block count в Oracle под Windows AFAIK обычно около 1 Mb (размер атомарной операции ввода/вывода которое Oracle Co. считает оптимальной).
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704462
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovЯ был в этом уверен ещё со времён DOS

А я со времен DOS в этом не уверен. Т.к. параметр buffers в config.sys всю жизнь задавался в секторах и никакого отношения к размеру кластера никогда не имел )))
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704484
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov многа
букафф от Руссиновича
, эту уверенность потерял.

Вскольз просмотрел. Ничего существенного к данной дискуссии - не вижу (((

1. Есть упоминание про "Drivers commonly use buffered I/O when callers transfer requests smaller than one page (4 KB on x86 processors) or when the device does not support DMA."
Зависимость работы от размера memory page (никак не от кластера ФС) + косвеннная информация о том, что один физический requests может быть меньше 4 K.

2. Опять таки, memory mapped files. Сомневаюсь, что их работа как-то с размером кластера связана.

В общем, ощущение, что размер кластера косвенно связан только с выделением памяти в ФС. Опять таки, сомневаюсь, что если приложение за раз аллоцирует большой файл, он будет выделяться фрагментированно по кластерам. Подозреваю, постараются нарезать непрерывный кусок места на диске.

Ну и повторюсь еще раз, на практике , оптимальный размер операции ввода-вывода от СУБД к ОС, сильно больше и размера кластера и размера блока СУБД. (По мнению Oracle Co. на Windows около 1 Mb). AFAIK

Т.ч. ответ "несущественно" самое то. IMHO
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704489
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevНичего существенного к данной дискуссии - не вижу (((

Buffered I/O The I/O manager allocates a buffer in nonpaged pool of equal size to
the caller’s buffer
. For write operations, the I/O manager copies the caller’s buffer
data into the allocated buffer when creating the IRP.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704554
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevDima TА чтение ОС делает кластерами, поэтому зачем читать лишнее?....
да и пофиг. Для магнитного жесткого диска, что прочитать сектор, что прочитать дорожку/цилиндр - однофиолетово. А размер дорожки на современных дисках, дофига. Главное, что бы головка не дергалась )))
Не надо многоточий. Я вместо них писал что излишнее чтение ведет к излишнему кэшированию прочитанного. Память не резиновая.
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704580
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник

Dimitry SibiryakovLeonid KudryavtsevНичего существенного к данной дискуссии - не вижу (((

Buffered I/O The I/O manager allocates a buffer in nonpaged pool of equal size to
the caller’s buffer
. For write operations, the I/O manager copies the caller’s buffer
data into the allocated buffer when creating the IRP.


А callers это кто?

Ничего про размер блока для IO и его зависимости от размера кластера в данной статье не вижу.

Dima TНе надо многоточий. Я вместо них писал что излишнее чтение ведет к излишнему кэшированию прочитанного. Память не резиновая.
Читать по одному сектору/блоку не эффективно (Oracle под Windows старается по 1Mb работать).

Для СУБД вообще кэширования в ОС не эффективно.

Но это не про PostgreSQL. Там на это пофиг. Авторам PostgreSQL реализация нормального кэшироваиня и обход кэша ОС - толи не осилили, толи им пофиг, толи считают, что ОС кэширует лучше, чем смогут сделать авторы PostgreSQL.

"Память не резиновая" применительно к СУБД и кэшу - не верное утверждение. Памяти под кэш как раз должно быть достаточно, что бы закешировать используемую/ые таблицы/индексы. Обычно нормальное hit-ration для СУБД значительно больше 95 - 98 %. Экономия байтов разницы не сделает. А пенальти от IO, вполне себе может сказаться.

Т.ч. применительно к PostgreSQL, "излишнее кэширование" это плохо или хорошо - вопрос вообще дискуссионный.
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704593
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovLeonid KudryavtsevНичего существенного к данной дискуссии - не вижу (((

Buffered I/O The I/O manager allocates a buffer in nonpaged pool of equal size to
the caller’s buffer
. For write operations, the I/O manager copies the caller’s buffer
data into the allocated buffer when creating the IRP.


Не слышал, чтобы кто то кроме MSSQL использовал это. А на тех даже в суд подавали за использование [слабо/не]документированных фич.

NTFS, как и Ext4, тоже работает с экстентами.

ЗЫ.У ССД блоки 1-2 Мб, если еще не выросли.
...
Рейтинг: 0 / 0
какой размер блока файловой системы виндоус стаить для СУБД?
    #39704780
sstatistic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Коллеги, благодарю за ответы.

Пока, судя по дискуссиям здесь, оптимально поставить размер кластера равный размеру блока в СУБД.
...
Рейтинг: 0 / 0
23 сообщений из 23, страница 1 из 1
Форумы / Windows [игнор отключен] [закрыт для гостей] / какой размер блока файловой системы виндоус стаить для СУБД?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]