|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaon, не надо "повторять запрос". повторите тест Дениса, хоть какая-то возможность сравнения появится. Кроме того, по блобам в статистике до 3.0 ничего нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2017, 23:28 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaonкидаю данные статистики. Это после. А перед? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 00:19 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
kdvКроме того, по блобам в статистике до 3.0 ничего нет. Пофиг. Считай на пальцах: 251 запись размера 141 байт на страницу. К одной первичной странице у него прилагаются как минимум четыре страницы фрагментов. И апдейтом всё это счастье перелопачивается на каждую запись. В морг. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 00:28 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovК одной первичной странице у него прилагаются как минимум четыре страницы фрагментовС какой стати ? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 00:31 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaon, если вы выложите бд с этой табличкой, то все заинтересованные смогут протестировать у себя. И скорей всего сразу станет видно что и где не так. У вас же цель решить проблему? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 08:02 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
nda, Медицинская информация, увы. У себя не храню даже - сразу стираю, как только не нужно, что бы случайно не утекло. Пока что разбираюсь. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 09:08 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
В общем нашел проблему. SSD всё таки был виноват. После того, как удалось поставить драйвер на контроллер ssd, скорость существенно выросла (страница 8 кб): Plan PLAN (IMAGES NATURAL) 33838204 record(s) was(were) updated in IMAGES ------ Performance info ------ Prepare time = 0ms Execute time = 7m 43s 500ms Current memory = 18 819 008 Max memory = 62 407 424 Memory buffers = 2 048 Reads from disk to cache = 1 344 775 Writes from cache to disk = 1 345 329 Fetches from cache = 583 073 369 Запустил тест, по тестам была сильная просадка на записи/чтении 4 кб, как по ссылке. Я так понимаю, что 64 кб страница решила бы проблему до какой-то степени. Сервер видимо активно мелкими кусками пишет на жесткий. Процессор стал занят на 17%. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 11:20 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaonЯ так понимаю, что 64 кб страница решила бы проблему до какой-то степени. пока по разным тестам страница 32к хуже чем 16к. А 64к будет еще хуже. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 11:22 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
kdvкстати, если кто хочет повторить тест 20660684 на чем угодно - hdd, ssd, FB 2.5, 3.0 - запустите и дайте результаты. Можно даже только с fw=on, без повторов. Firebird-2.5.8.27062-0_x64 SS Win, конфиг дефолтный, диск ССД, оперативки 16Г, размер страницы 8К, fw=on, база всегда холодная. Plan PLAN (IMAGES NATURAL) 30000000 record(s) was(were) updated in IMAGES Execute time = 4m 31s 332ms Memory buffers = 2 048 Reads from disk to cache = 1 472 655 Writes from cache to disk = 1 473 350 Fetches from cache = 491 311 526 Execute time = 4m 39s 694ms Memory buffers = 50 000 Reads from disk to cache = 1 472 372 Writes from cache to disk = 1 472 560 Fetches from cache = 491 311 526 Execute time = 5m 56s 712ms Memory buffers = 100 000 Reads from disk to cache = 1 472 349 Writes from cache to disk = 1 472 560 Fetches from cache = 491 311 526 На Memory buffers = 100 000 замедление перепроверил два раза. Либо столько ставить нельзя, либо еще что-то где-то крутить надо :) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 11:28 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Евгений КилинНа Memory buffers = 100 000 замедление перепроверил два раза. Либо столько ставить нельзя, либо еще что-то где-то крутить надо :)FileSystemCacheThreshold ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 11:33 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaon, Ну и где выполнение обещания? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 11:35 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
hvladFileSystemCacheThreshold Точно! Про него то я и забыл :) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 11:46 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
hvladFileSystemCacheThreshold люди про него массово забывают, или не знают. Я сам напоролся, но одного раза хватило, чтобы исправить склероз :-) Евгений КилинНа Memory buffers = 100 000 замедление перепроверил два раза. Либо столько ставить нельзя, либо еще что-то где-то крутить надо См. выше про параметр. И на этой вырожденной задаче (как на бэкап-ресторе и т.п.) размер кэша ФБ влиять не будет. Польза будет только если другой запрос прочитает данные, попавшие в кэш. Смысл кэша именно в этом. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 11:48 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
hvladС какой стати ? Арифметика: 32к с гаком данных не влазят на страницу в 8к. Вопрос: сколько надо страниц чтобы они вместились? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 11:59 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
kdvлюди про него массово забывают, или не знают. Я сам напоролся, но одного раза хватило, чтобы исправить склероз :-) А я уже ходил давно по этим граблям и на боевом сервере 1М выставлен, но в данном случае склероз победил :) kdvИ на этой вырожденной задаче (как на бэкап-ресторе и т.п.) размер кэша ФБ влиять не будет. Польза будет только если другой запрос прочитает данные, попавшие в кэш. Смысл кэша именно в этом. Я в этом до конца не уверен, тк статистика у Дениса на 3-ке интересная: Memory buffers = 8 192 Reads from disk to cache = 1 390 725 Writes from cache to disk = 433 079 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 11:59 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Евгений КилинЯ в этом до конца не уверен, тк статистика у Дениса на 3-ке интересная: у меня она такая же, потому что мы проверяли на ФБ 3, и таблица и данные были чуть другими, чем в оригинале. Насчет "не уверен" - конкретный update читает и пишет записи по очереди. Повторного чтения страниц там не возникает (кроме обработки записей с одной страницы). Так что разницы с дефолтным кэшем в 2048 страниц не будет. Кроме того, Memory buffers = 2 048 Reads from disk to cache = 1 472 655 Memory buffers = 50 000 Reads from disk to cache = 1 472 372 Memory buffers = 100 000 Reads from disk to cache = 1 472 349 никакой существенной разницы тут вообще нет, особенно между 2048 и 50000. Что могло попасть в кэш и повторно использоваться - так это pointer pages, которые были считаны при prepare. Чтобы уж совсем убедиться - рекомендую gstat -r, и посмотреть на количество страниц таблицы. В данном случае оно как раз будет почти равно Reads from disk to cache. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 12:23 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovhvladС какой стати ? Арифметика: 32к с гаком данных не влазят на страницу в 8к. Вопрос: сколько надо страниц чтобы они вместились?Сначала нужно почитать код на предмет собственно фрагментации - что это такое и когда возникает. PS Откуда ты взял размер записи 32К ? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 12:36 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
hvlad, Сибиряков какие-то странные вычисления делает. У автора размер записи средний 141 байт, и он делает update - переносит данные из блобов в IMAGE_PATH_TEMP VARCHAR(2000) По идее, на страницу 8к влезает 58 "старых" записей, а в приведенной статистике 123.txt там влазит 25 записей на страницу. Но в этой же статистике Average version length: 9.00, total versions: 32405118, max versions: 1 то есть, статистика снята после update. И 25 записей на страницу говорит о том, что фрагментов как бы нет... ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 13:01 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
hvladPS Откуда ты взял размер записи 32К ? Задачка по арифметике для начальной школы: Дано: 33838204 записей лежат на 1343507 странице. Вопрос: сколько записей приходится в среднем на страницу? Дано: средняя длина записи 141 байт. Вопрос: каков общий размер записей, лежащих на одной странице? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 13:10 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov сколько записей приходится в среднем на страницу? 25.18647391 при странице 8192 байт получается средний размер записи 325.253945. Для хранения 33млн записей по 141 байт надо 582420 страниц (со 100% заполнением), т.е. в 3 раза меньше, чем получилось после update. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 13:17 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, ты опять говоришь о том, в чём не разбираешься, и лезешь в бутылку. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 13:22 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
kdv, Люблю всякие тесты :) На ноутбуке i7-2630QM / 16GB DDR3-1333 / SSD SATA 3G (Intel S320), Firebird 3.0.2 x64 "искаропки", каталог с данными сжат средствами NTFS : EXECUTE BLOCK AS DECLARE VARIABLE I INTEGER = 30000000; BEGIN WHILE (I > 0) DO BEGIN I = I - 1; INSERT INTO IMAGES(IMAGE_PATH) VALUES(RPAD('A', 249, 'A') || :I); END END 30000000 record(s) was(were) inserted into IMAGES ------ Performance info ------ Prepare time = 0ms Execute time = 37m 31s 531ms Current memory = 6 897 696 Max memory = 18 503 296 Memory buffers = 256 Reads from disk to cache = 410 Writes from cache to disk = 739 726 Fetches from cache = 272 795 676 update images set image_path_temp = image_path Plan PLAN (IMAGES NATURAL) 30000000 record(s) was(were) updated in IMAGES ------ Performance info ------ Prepare time = 47ms Execute time = 1h 21m 45s 436ms Current memory = 15 312 816 Max memory = 1 229 173 104 Memory buffers = 256 Reads from disk to cache = 671 658 Writes from cache to disk = 135 682 Fetches from cache = 210 543 154 Загрузка процессорных ядер от слова никакая, я, собственно, запустил - и не замечал работы этой дрянья. И полностью согласен с написанным в этой теме - одному потоку (от одной сессии) без предварительного "прогрева" кэша (и сам кэш нужен большой) ничего не поможет, нужно как-то иначе это делать. Расколбасить частями по нескольким сессиям (по числу доступных процессорных ядер), например. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 13:30 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
kdv25.18647391 Чорт. Я где-то ошибся на порядок при вбивании чисел в калькулятор. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 13:33 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
a_shatsЛюблю всякие тесты :) размер страницы 8к, товарищ! :-) но тест показательный, видно, что SSD или не фонтан, или тоже "драйвера". Полтора часа на ssd вместо 10 минут на HDD SATA 3 - это, конечно, апофеоз. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2017, 13:40 |
|
|
start [/forum/topic.php?fid=40&msg=39495249&tid=1561483]: |
0ms |
get settings: |
10ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
154ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
62ms |
get tp. blocked users: |
1ms |
others: | 298ms |
total: | 558ms |
0 / 0 |