powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность update FB на SSD
25 сообщений из 135, страница 2 из 6
Производительность update FB на SSD
    #39492595
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Результаты "gstat -r -t IMAGES" - В СТУДИЮ!!!
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492600
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гаджимурадов РустамОдни про Ивана, другие про болвана. Одни про конфиг и параметры
для конкретных условий (размер БД, ОЗУ, кол-во коннектов и пр.),

Для этого никаких утилит не нужно. Достаточно калькулятора.
А вот посмотреть что надо увеличить в работающей системе где происходят затыки совсем другая задача
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492602
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
makhaon,

я так понимаю блобы для имени картинки и пути к ней здесь по ошибке понатыканы. Или лень было размер строки прикинуть?

makhaonIMAGE_PATH_TEMP VARCHAR(2000)

не многовато ли для путей 2000 символов?

SuperServer? Тогда попробуй 3.0.2 и сделай там нормальный кеш, например, 50K страниц.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492609
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис> Для этого никаких утилит не нужно. Достаточно калькулятора.

Страшно далеки они от народа. (с)


> А вот посмотреть что надо увеличить в работающей
> системе где происходят затыки совсем другая задача

С этим кто-то спорит? Кто-то просит для этого утилиту?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492612
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис,

авторя так понимаю блобы для имени картинки и пути к ней здесь по ошибке понатыканы. Или лень было размер строки прикинуть?

Дело было давнее :) Такому формату лет 10, сейчас постепенно приводим к нормальному виду. Впрочем - базы вполне нормально отработали эти 10 лет с такой структурой.

авторне многовато ли для путей 2000 символов?

Насколько я знаю - от варчара база не 'пухнет' - зачем жалеть? Мы изредка сталкиваемся с длинными путями, пришлось в софте специальную обработку для длинных файлов делать (добавляя '\\?\').
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492618
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
makhaonДело было давнее :) Такому формату лет 10, сейчас постепенно приводим к нормальному виду.

ну раз это одноразовая задача можно забить. Если я правильно понимаю потом поле с блобом пойдёт под снос, IMAGE_PATH_TEMP будет переименовано в IMAGE_PATH.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492622
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис,

Да, всё верно. Мы то забиваем, но осадочек то остаётся. Да и поле не одно такое.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492623
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
makhaonPage size 16384

Мнда... Только избранные знают, что на таком размере страницы производительность проседает.

makhaonaverage fill: 98%
Вставляли записи малой длины, апдейтили на большую. Сами себя загнали в жуткую
фрагментацию. От этого любая СУБД сдохнет, кроме, разве что, колоночных.

В сочетании со статистикой выше, дисковая система выдаёт 6 мб/с. Дай угадаю: ноутбучный
SSD на 90% забит коллекцией порнушки?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492627
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
makhaon,

для начала, сравниваем с данными Симонова. У него
Reads from disk to cache = 1 390 725
Writes from cache to disk = 433 079
Fetches from cache = 445 192 174


у тебя
Reads from disk to cache = 671 825
Writes from cache to disk = 672 158
Fetches from cache = 587 869 946


В целом все похоже, но у тебя 54 минуты, у него 20 минут. Вроде повод задуматься. Дальше.

671825 страниц считано, по 16к это 10 гиг. 10 гиг прочитать, и 10 гиг записать на один и тот же диск. 20 гиг. за 54 минуты.
Это чистый обмен с диском со скоростью 6 мегабайт в секунду . А у Дениса Симонова - 10 мегабайт в секунду.
Казалось бы, ssd должен дать 200мб в секунду, не меньше. Но... это же создание 33 миллионов версий.

И я бы еще посмотрел в perfmon в процессе, что там происходит.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492629
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov,

Могу попробовать размер поднять.

авторДай угадаю: ноутбучный SSD на 90% забит коллекцией порнушки

Не стоит по себе обо всех судить :) Вынь + делфи + десяток программ, ничего больше, 150 гиг свободно из 256-ти.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492636
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
автор671825 страниц считано, по 16к это 10 гиг. 10 гиг прочитать, и 10 гиг записать на один и тот же диск. 20 гиг. за 54 минуты.
Это чистый обмен с диском со скоростью 6 мегабайт в секунду. А у Дениса Симонова - 10 мегабайт в секунду.
Казалось бы, ssd должен дать 200мб в секунду, не меньше. Но... это же создание 33 миллионов версий.


Господа, при всём уважении ко всем. Винчестер не прогружен, процессор не прогружен. Я сам довольно плотно занимаюсь многопоточными системами, сотни потоков на серверах, не верю, что ничего сделать больше нельзя.
Попробую ради интереса еще fb3 и размер страницы увеличу.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492637
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
makhaonПопробую ради интереса еще fb3 и размер страницы увеличу.

Эва... Ну, как увеличишь - сообщи. А то народ-то наивно считает, что 16к это предел.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492646
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
makhaon,

при чем тут "потоки"??? Ты не теми категориями мыслишь, из-за чего тебе кажется что "тут все просто".
makhaonне верю, что ничего сделать больше нельзя.
кое-что сделать, конечно, можно, но не сильно много. Кроме того, абсолютно однозначно, что если вычистить из кода ФБ весь код, обеспечивающий "многопользовательность", то будет гораздо быстрее.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492656
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv> если вычистить ... код ..., то будет гораздо быстрее.

Зря ты это сказал...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492664
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
makhaon,

тут фишка в блобах. А хранятся блобы весьма интересно. В твоём случае это маленькие блобы которые конкретно фрагментируют страницу. Почитать об этом можно здесь http://www.ibase.ru/tablefrag/

И кстати в моём тесте страница меньше - 8K, а не 16.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492668
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
makhaon,

повторил тест Дениса. 20660684

У меня - hdd raid 1 из двух Seagate ST2000DM001-1CH164 по 2 тб.
Проц AMD FX-8350, 8 ядер, 16 гиг RAM
Firebird 3.0.2, SS.
Базу не "прогревал", коннект и update (поэтому prepare time 4с).
Правда, тест не совсем кошерный, потому что для упрощения я сгенерил базу, а потом копировал ее с одного хдд на другой. Так что по факту выходило, что база прошла через кэш ОС (rammap подтвердил 5 гиг базы в кэше после копирования).
Получилось вот что

FW=ON
Plan
PLAN (IMAGES NATURAL)

30000000 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 4s 87ms
Execute time = 10m 31s 944ms
Current memory = 23 278 480
Max memory = 34 823 888
Memory buffers = 2 048
Reads from disk to cache = 1 354 088
Writes from cache to disk = 392 231
Fetches from cache = 352 187 455
Почему меньше чтений, записи и фетчей – не знаю, тест повторил в точности, с размером страницы 8к.
У меня получилась суммарная скорость те же 10 мегабайт в секунду, что и у Дениса, но запрос выполнился в 2 раза быстрее.
Повторный тест -
Execute time = 9m 28s 686ms
по идее, это и есть результат кэша 5 гиг при копировании.
Впрочем, проверил еще раз, с no_auto_undo, вышло
Execute time = 10m 11s 461ms


FW=OFF
ФБ загрузил 1 ядро полностью (12% загрузки проца), скорость чтения выросла до 25мб сек, скорость записи упала до 4мб сек.
Но в сумме - быстрее fw=on на 2 минуты.
Plan
PLAN (IMAGES NATURAL)

30000000 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 2s 621ms
Execute time = 8m 0s 764ms
Current memory = 23 276 000
Max memory = 34 821 288
Memory buffers = 2 048
Reads from disk to cache = 1 354 088
Writes from cache to disk = 392 275
Fetches from cache = 352 187 455


Какие тут можно сделать выводы... комп и ssd - дерьмо :-). Еще, раз у меня и у Дениса ядро грузилось на 60-80%, а на том компе "Процессор занят на 1%. 1%, Карл!", то явно какой-то софт мешает, или кэширование записи у диска вообще выключено. Ну и
makhaonКогда проц будет занят (опционально, ини) на 100%
не будет у такого запроса распараллеливания по ядрам. Не будет (даже в Оракле). Говоришь, с тредами работаешь? Не похоже.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492672
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
С этим можно что-то сделать?

авторgbak: ERROR:Page size specified (32768) greater than limit (16384 bytes)
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492675
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
makhaon,

нет. Размер страницы 32K поддерживается начиная с Firebird 4.0. И увеличение размера страницы не поможет.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492685
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
makhaon> С этим можно что-то сделать?

Конечно, можно. Не пытаться задавать
размер страницы выше максимального.

И может хватит уже топик про идеи
засорять - создай отдельный топик
"как ускорить копирование BLOB-ов".
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492709
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
пока я повторяю тест на 2.5, возникает интересный вопрос.
Вот тут идет разговор про "программу для настроек ФБ на конкретное железо".
При этом, у автора запрос выполняется за 54 минуты, у Дениса за 24 минуты, у меня за 10 минут (ладно, у нас с Денисом не совсем точный повтор, но все-таки).
При этом у меня и Дениса 1 ядро проца загружено на ~70%, а у автора, с его слов - 1% 8ядерного проца, то есть 8% одного ядра.
Все это на ДЕФОЛТНОЙ конфигурации ФБ (у Дениса кэш 8к страниц, но тут оно не помогает). И в целом, думаю, даже коню понятно, что конкретный update никакими параметрами конфига не ускорить.
И?

дождался результата на 2.5.6, FW=ON
Plan
PLAN (IMAGES NATURAL)

30000000 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 3s 307ms
Execute time = 15m 43s 603ms
Current memory = 17 830 228
Max memory = 51 340 964
Memory buffers = 2 048
Reads from disk to cache = 1 472 655
Writes from cache to disk = 1 473 345
Fetches from cache = 491 311 540
чтение 11.5мб сек, запись 14.5мб сек. Загрузка 1 ядра около 60%. При этом очередь диска 1.5, хотя на ФБ 3.0 было 0.5-0.7.
Видно что и записи больше в 4 раза, и фетчей больше

15 минут вместо 10 минут на ФБ 3. Я удивлен. Первоначальные тесты 3.0 показывали, что она медленнее 2.5 на "однопользовательских" операциях.
Вот и оптимизация, кстати.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492730
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv> конкретный update никакими параметрами конфига не ускорить.

Не факт, но не суть.

> И?

В чем вопрос? Кто-то просил утилиту для ускорения этого запроса?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39492755
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv,

в 3.0.2 дополнительный кеш PP на таблицу вводили, который позволяет уменьшить количество фетчей.
Хотя не думаю что оно сильно повлияло
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39494184
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисВ процессе выполнения одно ядро проца было загружено постоянно как минимум на 60-80%.

а вот тут бы в принципе интересно было бы посмотреть, каким процессом загружено

самим ФБ либо "ядром системы" (драйвера+антивирус)
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39494210
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Arioch,

насколько я помню, чтение шло через систему, а запись - из ФБ. У меня дрвеб, голый антивир, без firewall, ему расширения баз отключены для скана.
...
Рейтинг: 0 / 0
Производительность update FB на SSD
    #39494217
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Еще несколько слов. Этот запрос не так важен. Он показан только как пример.

Я понимаю, что многопользовательские 'навороты' скорее всего достаточно сильно снижают общую производительность бд. И что убрать или отключить их невозможно.

Запросы вылизаны насколько возможно и известно. Не нравится то, что железо сервером fb прогружается слабо. И память, и жесткий, и процессор. Конфиги крутили, немного становится лучше, но не принципиально.

Пока что fb, в целом, устраивает но остаётся главным узким местом. Было бы хорошо какую-то другую бд найти, что бы она работала в пределах одного-двух локальных приложений без много-пользовательской обвзяки. Но уже не буду офтопить тут, что бы модераторам опять топик не чистить.
...
Рейтинг: 0 / 0
25 сообщений из 135, страница 2 из 6
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность update FB на SSD
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]