powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность update FB на SSD
25 сообщений из 135, страница 4 из 6
Производительность update FB на SSD
    #39494947
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
makhaon,

не надо "повторять запрос". повторите тест Дениса, хоть какая-то возможность сравнения появится.
Кроме того, по блобам в статистике до 3.0 ничего нет.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39494960
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
makhaonкидаю данные статистики.

Это после. А перед?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39494962
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvКроме того, по блобам в статистике до 3.0 ничего нет.

Пофиг. Считай на пальцах: 251 запись размера 141 байт на страницу. К одной первичной
странице у него прилагаются как минимум четыре страницы фрагментов. И апдейтом всё это
счастье перелопачивается на каждую запись. В морг.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39494966
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovК одной первичной странице у него прилагаются как минимум четыре страницы фрагментовС какой стати ?
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495009
nda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
nda
Гость
makhaon,

если вы выложите бд с этой табличкой, то все заинтересованные смогут протестировать у себя. И скорей всего сразу станет видно что и где не так. У вас же цель решить проблему?
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495039
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
nda,

Медицинская информация, увы. У себя не храню даже - сразу стираю, как только не нужно, что бы случайно не утекло. Пока что разбираюсь.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495111
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В общем нашел проблему. SSD всё таки был виноват.
После того, как удалось поставить драйвер на контроллер ssd, скорость существенно выросла (страница 8 кб):

Plan
PLAN (IMAGES NATURAL)

33838204 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 0ms
Execute time = 7m 43s 500ms
Current memory = 18 819 008
Max memory = 62 407 424
Memory buffers = 2 048
Reads from disk to cache = 1 344 775
Writes from cache to disk = 1 345 329
Fetches from cache = 583 073 369

Запустил тест, по тестам была сильная просадка на записи/чтении 4 кб, как по ссылке.
Я так понимаю, что 64 кб страница решила бы проблему до какой-то степени. Сервер видимо активно мелкими кусками пишет на жесткий. Процессор стал занят на 17%.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495113
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
makhaonЯ так понимаю, что 64 кб страница решила бы проблему до какой-то степени.
пока по разным тестам страница 32к хуже чем 16к. А 64к будет еще хуже.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495118
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvкстати, если кто хочет повторить тест 20660684 на чем угодно - hdd, ssd, FB 2.5, 3.0 - запустите и дайте результаты. Можно даже только с fw=on, без повторов.
Firebird-2.5.8.27062-0_x64 SS Win, конфиг дефолтный, диск ССД, оперативки 16Г, размер страницы 8К, fw=on, база всегда холодная.
Plan
PLAN (IMAGES NATURAL)

30000000 record(s) was(were) updated in IMAGES

Execute time = 4m 31s 332ms
Memory buffers = 2 048
Reads from disk to cache = 1 472 655
Writes from cache to disk = 1 473 350
Fetches from cache = 491 311 526

Execute time = 4m 39s 694ms
Memory buffers = 50 000
Reads from disk to cache = 1 472 372
Writes from cache to disk = 1 472 560
Fetches from cache = 491 311 526

Execute time = 5m 56s 712ms
Memory buffers = 100 000
Reads from disk to cache = 1 472 349
Writes from cache to disk = 1 472 560
Fetches from cache = 491 311 526

На Memory buffers = 100 000 замедление перепроверил два раза.
Либо столько ставить нельзя, либо еще что-то где-то крутить надо :)
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495123
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Евгений КилинНа Memory buffers = 100 000 замедление перепроверил два раза.
Либо столько ставить нельзя, либо еще что-то где-то крутить надо :)FileSystemCacheThreshold
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495125
FireMops
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
makhaon,

Ну и где выполнение обещания?
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495134
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladFileSystemCacheThreshold
Точно! Про него то я и забыл :)
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495136
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladFileSystemCacheThreshold
люди про него массово забывают, или не знают. Я сам напоролся, но одного раза хватило, чтобы исправить склероз :-)
Евгений КилинНа Memory buffers = 100 000 замедление перепроверил два раза.
Либо столько ставить нельзя, либо еще что-то где-то крутить надо
См. выше про параметр.
И на этой вырожденной задаче (как на бэкап-ресторе и т.п.) размер кэша ФБ влиять не будет. Польза будет только если другой запрос прочитает данные, попавшие в кэш. Смысл кэша именно в этом.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495149
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladС какой стати ?
Арифметика: 32к с гаком данных не влазят на страницу в 8к. Вопрос: сколько надо страниц
чтобы они вместились?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495152
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvлюди про него массово забывают, или не знают. Я сам напоролся, но одного раза хватило, чтобы исправить склероз :-)

А я уже ходил давно по этим граблям и на боевом сервере 1М выставлен, но в данном случае склероз победил :)

kdvИ на этой вырожденной задаче (как на бэкап-ресторе и т.п.) размер кэша ФБ влиять не будет. Польза будет только если другой запрос прочитает данные, попавшие в кэш. Смысл кэша именно в этом.
Я в этом до конца не уверен, тк статистика у Дениса на 3-ке интересная:
Memory buffers = 8 192
Reads from disk to cache = 1 390 725
Writes from cache to disk = 433 079
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495195
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Евгений КилинЯ в этом до конца не уверен, тк статистика у Дениса на 3-ке интересная:
у меня она такая же, потому что мы проверяли на ФБ 3, и таблица и данные были чуть другими, чем в оригинале.

Насчет "не уверен" - конкретный update читает и пишет записи по очереди. Повторного чтения страниц там не возникает (кроме обработки записей с одной страницы). Так что разницы с дефолтным кэшем в 2048 страниц не будет.
Кроме того,
Memory buffers = 2 048
Reads from disk to cache = 1 472 655

Memory buffers = 50 000
Reads from disk to cache = 1 472 372

Memory buffers = 100 000
Reads from disk to cache = 1 472 349

никакой существенной разницы тут вообще нет, особенно между 2048 и 50000. Что могло попасть в кэш и повторно использоваться - так это pointer pages, которые были считаны при prepare.
Чтобы уж совсем убедиться - рекомендую gstat -r, и посмотреть на количество страниц таблицы. В данном случае оно как раз будет почти равно Reads from disk to cache.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495207
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovhvladС какой стати ?
Арифметика: 32к с гаком данных не влазят на страницу в 8к. Вопрос: сколько надо страниц
чтобы они вместились?Сначала нужно почитать код на предмет собственно фрагментации - что это такое и когда возникает.
PS Откуда ты взял размер записи 32К ?
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495232
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvlad,

Сибиряков какие-то странные вычисления делает. У автора размер записи средний 141 байт, и он делает update - переносит данные из блобов в
IMAGE_PATH_TEMP VARCHAR(2000)
По идее, на страницу 8к влезает 58 "старых" записей, а в приведенной статистике 123.txt там влазит 25 записей на страницу. Но в этой же статистике
Average version length: 9.00, total versions: 32405118, max versions: 1
то есть, статистика снята после update. И 25 записей на страницу говорит о том, что фрагментов как бы нет...
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495243
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladPS Откуда ты взял размер записи 32К ?

Задачка по арифметике для начальной школы:
Дано: 33838204 записей лежат на 1343507 странице. Вопрос: сколько записей приходится в
среднем на страницу?
Дано: средняя длина записи 141 байт. Вопрос: каков общий размер записей, лежащих на одной
странице?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495249
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov сколько записей приходится в среднем на страницу?
25.18647391

при странице 8192 байт получается средний размер записи 325.253945.

Для хранения 33млн записей по 141 байт надо 582420 страниц (со 100% заполнением), т.е. в 3 раза меньше, чем получилось после update.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495251
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov,

ты опять говоришь о том, в чём не разбираешься, и лезешь в бутылку.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495258
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv,

Люблю всякие тесты :)
На ноутбуке i7-2630QM / 16GB DDR3-1333 / SSD SATA 3G (Intel S320), Firebird 3.0.2 x64 "искаропки", каталог с данными сжат средствами NTFS :

EXECUTE BLOCK
AS
DECLARE VARIABLE I INTEGER = 30000000;
BEGIN
WHILE (I > 0) DO
BEGIN
I = I - 1;
INSERT INTO IMAGES(IMAGE_PATH)
VALUES(RPAD('A', 249, 'A') || :I);
END
END

30000000 record(s) was(were) inserted into IMAGES

------ Performance info ------
Prepare time = 0ms
Execute time = 37m 31s 531ms
Current memory = 6 897 696
Max memory = 18 503 296
Memory buffers = 256
Reads from disk to cache = 410
Writes from cache to disk = 739 726
Fetches from cache = 272 795 676

update images set image_path_temp = image_path

Plan
PLAN (IMAGES NATURAL)

30000000 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 47ms
Execute time = 1h 21m 45s 436ms
Current memory = 15 312 816
Max memory = 1 229 173 104
Memory buffers = 256
Reads from disk to cache = 671 658
Writes from cache to disk = 135 682
Fetches from cache = 210 543 154


Загрузка процессорных ядер от слова никакая, я, собственно, запустил - и не замечал работы этой дрянья.
И полностью согласен с написанным в этой теме - одному потоку (от одной сессии) без предварительного "прогрева" кэша (и сам кэш нужен большой) ничего не поможет, нужно как-то иначе это делать. Расколбасить частями по нескольким сессиям (по числу доступных процессорных ядер), например.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495261
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv25.18647391

Чорт. Я где-то ошибся на порядок при вбивании чисел в калькулятор.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495266
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_shatsЛюблю всякие тесты :)
размер страницы 8к, товарищ! :-)
но тест показательный, видно, что SSD или не фонтан, или тоже "драйвера". Полтора часа на ssd вместо 10 минут на HDD SATA 3 - это, конечно, апофеоз.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39495269
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovЯ где-то ошибся на порядок при вбивании чисел в калькулятор.
ну в чем-то ты все равно прав. Страниц-то в 3 раза больше, "чем могло". Конечно, еще надо реальное заполнение учесть.
...
Рейтинг: 0 / 0
25 сообщений из 135, страница 4 из 6
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность update FB на SSD
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]