|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Результаты "gstat -r -t IMAGES" - В СТУДИЮ!!! Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 18:10 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Гаджимурадов РустамОдни про Ивана, другие про болвана. Одни про конфиг и параметры для конкретных условий (размер БД, ОЗУ, кол-во коннектов и пр.), Для этого никаких утилит не нужно. Достаточно калькулятора. А вот посмотреть что надо увеличить в работающей системе где происходят затыки совсем другая задача ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 18:16 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaon, я так понимаю блобы для имени картинки и пути к ней здесь по ошибке понатыканы. Или лень было размер строки прикинуть? makhaonIMAGE_PATH_TEMP VARCHAR(2000) не многовато ли для путей 2000 символов? SuperServer? Тогда попробуй 3.0.2 и сделай там нормальный кеш, например, 50K страниц. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 18:23 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Симонов Денис> Для этого никаких утилит не нужно. Достаточно калькулятора. Страшно далеки они от народа. (с) > А вот посмотреть что надо увеличить в работающей > системе где происходят затыки совсем другая задача С этим кто-то спорит? Кто-то просит для этого утилиту? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 18:35 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Симонов Денис, авторя так понимаю блобы для имени картинки и пути к ней здесь по ошибке понатыканы. Или лень было размер строки прикинуть? Дело было давнее :) Такому формату лет 10, сейчас постепенно приводим к нормальному виду. Впрочем - базы вполне нормально отработали эти 10 лет с такой структурой. авторне многовато ли для путей 2000 символов? Насколько я знаю - от варчара база не 'пухнет' - зачем жалеть? Мы изредка сталкиваемся с длинными путями, пришлось в софте специальную обработку для длинных файлов делать (добавляя '\\?\'). ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 18:36 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaonДело было давнее :) Такому формату лет 10, сейчас постепенно приводим к нормальному виду. ну раз это одноразовая задача можно забить. Если я правильно понимаю потом поле с блобом пойдёт под снос, IMAGE_PATH_TEMP будет переименовано в IMAGE_PATH. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 18:44 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Симонов Денис, Да, всё верно. Мы то забиваем, но осадочек то остаётся. Да и поле не одно такое. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 18:50 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaonPage size 16384 Мнда... Только избранные знают, что на таком размере страницы производительность проседает. makhaonaverage fill: 98% Вставляли записи малой длины, апдейтили на большую. Сами себя загнали в жуткую фрагментацию. От этого любая СУБД сдохнет, кроме, разве что, колоночных. В сочетании со статистикой выше, дисковая система выдаёт 6 мб/с. Дай угадаю: ноутбучный SSD на 90% забит коллекцией порнушки? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 18:53 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaon, для начала, сравниваем с данными Симонова. У него Reads from disk to cache = 1 390 725 Writes from cache to disk = 433 079 Fetches from cache = 445 192 174 у тебя Reads from disk to cache = 671 825 Writes from cache to disk = 672 158 Fetches from cache = 587 869 946 В целом все похоже, но у тебя 54 минуты, у него 20 минут. Вроде повод задуматься. Дальше. 671825 страниц считано, по 16к это 10 гиг. 10 гиг прочитать, и 10 гиг записать на один и тот же диск. 20 гиг. за 54 минуты. Это чистый обмен с диском со скоростью 6 мегабайт в секунду . А у Дениса Симонова - 10 мегабайт в секунду. Казалось бы, ssd должен дать 200мб в секунду, не меньше. Но... это же создание 33 миллионов версий. И я бы еще посмотрел в perfmon в процессе, что там происходит. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 18:58 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, Могу попробовать размер поднять. авторДай угадаю: ноутбучный SSD на 90% забит коллекцией порнушки Не стоит по себе обо всех судить :) Вынь + делфи + десяток программ, ничего больше, 150 гиг свободно из 256-ти. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 19:01 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
автор671825 страниц считано, по 16к это 10 гиг. 10 гиг прочитать, и 10 гиг записать на один и тот же диск. 20 гиг. за 54 минуты. Это чистый обмен с диском со скоростью 6 мегабайт в секунду. А у Дениса Симонова - 10 мегабайт в секунду. Казалось бы, ssd должен дать 200мб в секунду, не меньше. Но... это же создание 33 миллионов версий. Господа, при всём уважении ко всем. Винчестер не прогружен, процессор не прогружен. Я сам довольно плотно занимаюсь многопоточными системами, сотни потоков на серверах, не верю, что ничего сделать больше нельзя. Попробую ради интереса еще fb3 и размер страницы увеличу. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 19:11 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaonПопробую ради интереса еще fb3 и размер страницы увеличу. Эва... Ну, как увеличишь - сообщи. А то народ-то наивно считает, что 16к это предел. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 19:14 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaon, при чем тут "потоки"??? Ты не теми категориями мыслишь, из-за чего тебе кажется что "тут все просто". makhaonне верю, что ничего сделать больше нельзя. кое-что сделать, конечно, можно, но не сильно много. Кроме того, абсолютно однозначно, что если вычистить из кода ФБ весь код, обеспечивающий "многопользовательность", то будет гораздо быстрее. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 19:48 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
kdv> если вычистить ... код ..., то будет гораздо быстрее. Зря ты это сказал... Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 20:35 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaon, тут фишка в блобах. А хранятся блобы весьма интересно. В твоём случае это маленькие блобы которые конкретно фрагментируют страницу. Почитать об этом можно здесь http://www.ibase.ru/tablefrag/ И кстати в моём тесте страница меньше - 8K, а не 16. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 21:11 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaon, повторил тест Дениса. 20660684 У меня - hdd raid 1 из двух Seagate ST2000DM001-1CH164 по 2 тб. Проц AMD FX-8350, 8 ядер, 16 гиг RAM Firebird 3.0.2, SS. Базу не "прогревал", коннект и update (поэтому prepare time 4с). Правда, тест не совсем кошерный, потому что для упрощения я сгенерил базу, а потом копировал ее с одного хдд на другой. Так что по факту выходило, что база прошла через кэш ОС (rammap подтвердил 5 гиг базы в кэше после копирования). Получилось вот что FW=ON Plan PLAN (IMAGES NATURAL) 30000000 record(s) was(were) updated in IMAGES ------ Performance info ------ Prepare time = 4s 87ms Execute time = 10m 31s 944ms Current memory = 23 278 480 Max memory = 34 823 888 Memory buffers = 2 048 Reads from disk to cache = 1 354 088 Writes from cache to disk = 392 231 Fetches from cache = 352 187 455 Почему меньше чтений, записи и фетчей – не знаю, тест повторил в точности, с размером страницы 8к. У меня получилась суммарная скорость те же 10 мегабайт в секунду, что и у Дениса, но запрос выполнился в 2 раза быстрее. Повторный тест - Execute time = 9m 28s 686ms по идее, это и есть результат кэша 5 гиг при копировании. Впрочем, проверил еще раз, с no_auto_undo, вышло Execute time = 10m 11s 461ms FW=OFF ФБ загрузил 1 ядро полностью (12% загрузки проца), скорость чтения выросла до 25мб сек, скорость записи упала до 4мб сек. Но в сумме - быстрее fw=on на 2 минуты. Plan PLAN (IMAGES NATURAL) 30000000 record(s) was(were) updated in IMAGES ------ Performance info ------ Prepare time = 2s 621ms Execute time = 8m 0s 764ms Current memory = 23 276 000 Max memory = 34 821 288 Memory buffers = 2 048 Reads from disk to cache = 1 354 088 Writes from cache to disk = 392 275 Fetches from cache = 352 187 455 Какие тут можно сделать выводы... комп и ssd - дерьмо :-). Еще, раз у меня и у Дениса ядро грузилось на 60-80%, а на том компе "Процессор занят на 1%. 1%, Карл!", то явно какой-то софт мешает, или кэширование записи у диска вообще выключено. Ну и makhaonКогда проц будет занят (опционально, ини) на 100% не будет у такого запроса распараллеливания по ядрам. Не будет (даже в Оракле). Говоришь, с тредами работаешь? Не похоже. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 21:30 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
С этим можно что-то сделать? авторgbak: ERROR:Page size specified (32768) greater than limit (16384 bytes) ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 21:38 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaon, нет. Размер страницы 32K поддерживается начиная с Firebird 4.0. И увеличение размера страницы не поможет. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 21:41 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
makhaon> С этим можно что-то сделать? Конечно, можно. Не пытаться задавать размер страницы выше максимального. И может хватит уже топик про идеи засорять - создай отдельный топик "как ускорить копирование BLOB-ов". Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 22:11 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
пока я повторяю тест на 2.5, возникает интересный вопрос. Вот тут идет разговор про "программу для настроек ФБ на конкретное железо". При этом, у автора запрос выполняется за 54 минуты, у Дениса за 24 минуты, у меня за 10 минут (ладно, у нас с Денисом не совсем точный повтор, но все-таки). При этом у меня и Дениса 1 ядро проца загружено на ~70%, а у автора, с его слов - 1% 8ядерного проца, то есть 8% одного ядра. Все это на ДЕФОЛТНОЙ конфигурации ФБ (у Дениса кэш 8к страниц, но тут оно не помогает). И в целом, думаю, даже коню понятно, что конкретный update никакими параметрами конфига не ускорить. И? дождался результата на 2.5.6, FW=ON Plan PLAN (IMAGES NATURAL) 30000000 record(s) was(were) updated in IMAGES ------ Performance info ------ Prepare time = 3s 307ms Execute time = 15m 43s 603ms Current memory = 17 830 228 Max memory = 51 340 964 Memory buffers = 2 048 Reads from disk to cache = 1 472 655 Writes from cache to disk = 1 473 345 Fetches from cache = 491 311 540 чтение 11.5мб сек, запись 14.5мб сек. Загрузка 1 ядра около 60%. При этом очередь диска 1.5, хотя на ФБ 3.0 было 0.5-0.7. Видно что и записи больше в 4 раза, и фетчей больше 15 минут вместо 10 минут на ФБ 3. Я удивлен. Первоначальные тесты 3.0 показывали, что она медленнее 2.5 на "однопользовательских" операциях. Вот и оптимизация, кстати. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 22:54 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
kdv> конкретный update никакими параметрами конфига не ускорить. Не факт, но не суть. > И? В чем вопрос? Кто-то просил утилиту для ускорения этого запроса? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2017, 23:46 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
kdv, в 3.0.2 дополнительный кеш PP на таблицу вводили, который позволяет уменьшить количество фетчей. Хотя не думаю что оно сильно повлияло ... |
|||
:
Нравится:
Не нравится:
|
|||
21.07.2017, 08:34 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Симонов ДенисВ процессе выполнения одно ядро проца было загружено постоянно как минимум на 60-80%. а вот тут бы в принципе интересно было бы посмотреть, каким процессом загружено самим ФБ либо "ядром системы" (драйвера+антивирус) ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2017, 19:54 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Arioch, насколько я помню, чтение шло через систему, а запись - из ФБ. У меня дрвеб, голый антивир, без firewall, ему расширения баз отключены для скана. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2017, 20:29 |
|
Производительность update FB на SSD
|
|||
---|---|---|---|
#18+
Еще несколько слов. Этот запрос не так важен. Он показан только как пример. Я понимаю, что многопользовательские 'навороты' скорее всего достаточно сильно снижают общую производительность бд. И что убрать или отключить их невозможно. Запросы вылизаны насколько возможно и известно. Не нравится то, что железо сервером fb прогружается слабо. И память, и жесткий, и процессор. Конфиги крутили, немного становится лучше, но не принципиально. Пока что fb, в целом, устраивает но остаётся главным узким местом. Было бы хорошо какую-то другую бд найти, что бы она работала в пределах одного-двух локальных приложений без много-пользовательской обвзяки. Но уже не буду офтопить тут, что бы модераторам опять топик не чистить. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2017, 21:00 |
|
|
start [/forum/topic.php?fid=40&msg=39492646&tid=1561483]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
157ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
50ms |
get tp. blocked users: |
1ms |
others: | 15ms |
total: | 263ms |
0 / 0 |