|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Добрый день, коллеги. Подскажите пожалуйста, какой размер блока файловой системы ставить для СУБД? А конкретно для postgresql. Размер блоков самого postgresql составляет 8Кб. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 13:16 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
sstatistic, несущественно. можно поставить равный блоку RAID ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 13:27 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
В яндексе не нашел информации по этому вопросу ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 13:29 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Siemarglsstatistic, несущественно. можно поставить равный блоку RAID Благодарю за ответ. А скажите, может быть есть официальные рекомендации по этому вопросу от микрософт? ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 13:31 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
А мозгом почитать что такое блок ФС и как он используется?.. Поставишь меньше - получишь оверхэд по иопсам. Поставишь больше - по объёму в/в. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 13:49 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovА мозгом почитать что такое блок ФС Увы, пока не владею методом Бронникова. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 14:02 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Немного ввел вас в заблуждение. Интересует не размер блока ФС, наименьший объем дискового пространства, который можно использовать для хранения файла, так называемый кластер. Если размер блока в СУБД 8Кб то какой лучше ставить размер кластера? 4Кб по умолчанию или больший размер? ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 14:05 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
sstatisticНемного ввел вас в заблуждение. Интересует не размер блока ФС, наименьший объем дискового пространства, который можно использовать для хранения файла, так называемый кластер. Если размер блока в СУБД 8Кб то какой лучше ставить размер кластера? 4Кб по умолчанию или больший размер? Вроде как про кластер и ответили. Делай 8. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 14:06 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Dima TsstatisticНемного ввел вас в заблуждение. Интересует не размер блока ФС, наименьший объем дискового пространства, который можно использовать для хранения файла, так называемый кластер. Если размер блока в СУБД 8Кб то какой лучше ставить размер кластера? 4Кб по умолчанию или больший размер? Вроде как про кластер и ответили. Делай 8. Ну хорошо, понятно что 8 лучше чем 4. Но какие минусы, если сделать, например, 64 ? ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 14:12 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
sstatisticDima Tпропущено... Вроде как про кластер и ответили. Делай 8. Ну хорошо, понятно что 8 лучше чем 4. Но какие минусы, если сделать, например, 64 ? 21678100 лишний в/в БД запишет 8, а ОС будет писать 64. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 14:15 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
sstatisticDima Tпропущено... Вроде как про кластер и ответили. Делай 8. Ну хорошо, понятно что 8 лучше чем 4. Но какие минусы, если сделать, например, 64 ?а нагрузочное тестирование на различных параметрах почему бы не провести и посмотреть, какой вариант будет более подходить под ваши текущие нужды ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 15:58 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovА мозгом почитать что такое блок ФС и как он используется?.. Поставишь меньше - получишь оверхэд по иопсам. Поставишь больше - по объёму в/в. AFAIK там все очень сложно если RAID, то есть блоки RAID, есть выравние логического раздела на диске, если размер кластера ФС (что такое блок ФС мне не очень понятно),есть размер блока СУБД, есть multi-block-read (в Oracle, думаю в PostgreSQL аналогично). Прямой зависимость блок СУБД == сектор на диске, все равно нету ((( Есть ощущение, что для целей, которые ставил перед собой автор вопроса, ответ "несущественно" (C) Siemargl вполне правильный AFAIK ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 16:25 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Dima Tsstatisticпропущено... Ну хорошо, понятно что 8 лучше чем 4. Но какие минусы, если сделать, например, 64 ? 21678100 лишний в/в БД запишет 8, а ОС будет писать 64. Для этого хорошо ссылку на RTFM, что размер кластера == размеру операции ввода/вывода Честно говоря, лично я, в этом совсем не уверен p.s. Про SSD, вообще можно не говорить ))), Раздумей над strip size в RAID и выравнивания партиций ))) вполне достаточно, что бы мозги вспухли. IMHO & AFAIK ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 16:29 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevЧестно говоря, лично я, в этом совсем не уверен Я был в этом уверен ещё со времён DOS, но, посмотрев на многа букафф от Руссиновича , эту уверенность потерял. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 17:17 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevDima Tпропущено... 21678100 лишний в/в БД запишет 8, а ОС будет писать 64. Для этого хорошо ссылку на RTFM, что размер кластера == размеру операции ввода/вывода Запись возможно пойдет только измененного сектора диска, не уверен, но он 4 кб нынче, если инет не врет. А чтение ОС делает кластерами, поэтому зачем читать лишнее? Если нам нужна конкретная страница БД, то зачем читать две подряд? Насколько я знаю связные страницы (например одной таблицы) в БД редко идут последовательно друг за другом. Слишком дорого такая дефрагментация обойдется. Т.е. в итоге имеем засирание дискового кэша ненужной инфой, что тоже ничего хорошего. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 17:28 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Dima TА чтение ОС делает кластерами, поэтому зачем читать лишнее?.... да и пофиг. Для магнитного жесткого диска, что прочитать сектор, что прочитать дорожку/цилиндр - однофиолетово. А размер дорожки на современных дисках, дофига. Главное, что бы головка не дергалась ))) Про SSD обсуждать не готов ))) В общем, все сложно. AFAIK & IMHO Dima TНасколько я знаю связные страницы (например одной таблицы) в БД редко идут последовательно друг за другом. Например Oracle выделяет место под таблицами не блоками, а экстендами/сегментами. Они значительно больше блока Т.ч. ряд связных страниц часто идут последовательно. Multi block count в Oracle под Windows AFAIK обычно около 1 Mb (размер атомарной операции ввода/вывода которое Oracle Co. считает оптимальной). ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 17:37 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovЯ был в этом уверен ещё со времён DOS А я со времен DOS в этом не уверен. Т.к. параметр buffers в config.sys всю жизнь задавался в секторах и никакого отношения к размеру кластера никогда не имел ))) ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 17:38 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov многа букафф от Руссиновича , эту уверенность потерял. Вскольз просмотрел. Ничего существенного к данной дискуссии - не вижу ((( 1. Есть упоминание про "Drivers commonly use buffered I/O when callers transfer requests smaller than one page (4 KB on x86 processors) or when the device does not support DMA." Зависимость работы от размера memory page (никак не от кластера ФС) + косвеннная информация о том, что один физический requests может быть меньше 4 K. 2. Опять таки, memory mapped files. Сомневаюсь, что их работа как-то с размером кластера связана. В общем, ощущение, что размер кластера косвенно связан только с выделением памяти в ФС. Опять таки, сомневаюсь, что если приложение за раз аллоцирует большой файл, он будет выделяться фрагментированно по кластерам. Подозреваю, постараются нарезать непрерывный кусок места на диске. Ну и повторюсь еще раз, на практике , оптимальный размер операции ввода-вывода от СУБД к ОС, сильно больше и размера кластера и размера блока СУБД. (По мнению Oracle Co. на Windows около 1 Mb). AFAIK Т.ч. ответ "несущественно" самое то. IMHO ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 18:29 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevНичего существенного к данной дискуссии - не вижу ((( Buffered I/O The I/O manager allocates a buffer in nonpaged pool of equal size to the caller’s buffer . For write operations, the I/O manager copies the caller’s buffer data into the allocated buffer when creating the IRP. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 18:40 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevDima TА чтение ОС делает кластерами, поэтому зачем читать лишнее?.... да и пофиг. Для магнитного жесткого диска, что прочитать сектор, что прочитать дорожку/цилиндр - однофиолетово. А размер дорожки на современных дисках, дофига. Главное, что бы головка не дергалась ))) Не надо многоточий. Я вместо них писал что излишнее чтение ведет к излишнему кэшированию прочитанного. Память не резиновая. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 20:21 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovLeonid KudryavtsevНичего существенного к данной дискуссии - не вижу ((( Buffered I/O The I/O manager allocates a buffer in nonpaged pool of equal size to the caller’s buffer . For write operations, the I/O manager copies the caller’s buffer data into the allocated buffer when creating the IRP. А callers это кто? Ничего про размер блока для IO и его зависимости от размера кластера в данной статье не вижу. Dima TНе надо многоточий. Я вместо них писал что излишнее чтение ведет к излишнему кэшированию прочитанного. Память не резиновая. Читать по одному сектору/блоку не эффективно (Oracle под Windows старается по 1Mb работать). Для СУБД вообще кэширования в ОС не эффективно. Но это не про PostgreSQL. Там на это пофиг. Авторам PostgreSQL реализация нормального кэшироваиня и обход кэша ОС - толи не осилили, толи им пофиг, толи считают, что ОС кэширует лучше, чем смогут сделать авторы PostgreSQL. "Память не резиновая" применительно к СУБД и кэшу - не верное утверждение. Памяти под кэш как раз должно быть достаточно, что бы закешировать используемую/ые таблицы/индексы. Обычно нормальное hit-ration для СУБД значительно больше 95 - 98 %. Экономия байтов разницы не сделает. А пенальти от IO, вполне себе может сказаться. Т.ч. применительно к PostgreSQL, "излишнее кэширование" это плохо или хорошо - вопрос вообще дискуссионный. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 21:07 |
|
какой размер блока файловой системы виндоус стаить для СУБД?
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovLeonid KudryavtsevНичего существенного к данной дискуссии - не вижу ((( Buffered I/O The I/O manager allocates a buffer in nonpaged pool of equal size to the caller’s buffer . For write operations, the I/O manager copies the caller’s buffer data into the allocated buffer when creating the IRP. Не слышал, чтобы кто то кроме MSSQL использовал это. А на тех даже в суд подавали за использование [слабо/не]документированных фич. NTFS, как и Ext4, тоже работает с экстентами. ЗЫ.У ССД блоки 1-2 Мб, если еще не выросли. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.09.2018, 21:29 |
|
|
start [/forum/topic.php?fid=26&fpage=19&tid=1492632]: |
0ms |
get settings: |
8ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
25ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
54ms |
get tp. blocked users: |
2ms |
others: | 11ms |
total: | 131ms |
0 / 0 |