powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность gbak
74 сообщений из 74, показаны все 3 страниц
Производительность gbak
    #38521254
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Купили новый сервер. Настроили RAID 10. Установили Windows Server 2012 R2. Скорость копирования файлов - 600 Мб в секунду. Обрадовался - вот, думаю, b/r будет почти мгновенным.
Установил FB 2.5.2 SS x32. Первые тесты ввели в ступор. Файл БД размером 1 Гб на моем рабочем компе (достаточно старом) ресторится 10 минут. На новом сервере - 7 с половиной минут. То есть прибавка скорости совсем не ожидаемая. Попытки понять проблему ни к чему не привели. Подскажите, куда рыть, чтобы понять, почему рестор такой медленный?
...
Рейтинг: 0 / 0
Производительность gbak
    #38521267
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Индексы, чего ж тут "рыть". Лог гбака глянь - сразу увидишь, на что время ушло.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38521285
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гаджимурадов Рустам,

Вот только что подумал об этом! Уже проверяю.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521307
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Получилось вот что:
Backup. Мой комп: 90 сек, сервер: 100 сек.
Restore. Мой комп: данные 94 сек, индексы 340 сек. Сервер: данные 105 сек, индексы 315 сек.
Рестор на моем сделался быстрее, чем вчера. Видимо, бэкапил достаточно загрязненную базу. Сейчас же это была свежеотресторенная.
В общем, сервер проигрывает везде, кроме создания индексов. Да и там незначительно. Попробую поставить 64-разрядный FB.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521317
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMaxОбрадовался - вот, думаю, b/r будет почти мгновенным.
Это настолько частая операция?

У меня нбакап на ежесуточном, еженедельном и ежемесячном расписании сидит. Полный b/r - по настроению, обычно когда производство стоит.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521324
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wadman,

Дело не в частости. Это одна из оценок производительности, типа, что нас ждет при переезде на него. В данном случае почему-то сервер за 250 т.р. медленнее, чем комп на Core Quad пятилетней давности за 15 т.р.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521326
WildSery
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMaxРестор на моем сделался быстрее, чем вчера. Видимо, бэкапил достаточно загрязненную базу. Сейчас же это была свежеотресторенная.
Бэкап мусора не содержит, потому причина наверняка другая.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521328
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMax,

попробуй TempCacheLimit увеличить. По идее это должно увеличить скорость создания больших индексов. gbak через сервисы запускаешь?
...
Рейтинг: 0 / 0
Производительность gbak
    #38521343
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WildSeryCyberMaxРестор на моем сделался быстрее, чем вчера. Видимо, бэкапил достаточно загрязненную базу. Сейчас же это была свежеотресторенная.
Бэкап мусора не содержит, потому причина наверняка другая.
Ты не понял. Вчера базу бэкапил 10 минут, сегодня за 7 с копейками. Имелось ввиду, что вчера база была с мусором, поэтому и медленнее процесс прошел.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521344
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMaxДело не в частости. Это одна из оценок производительности, типа, что нас ждет при переезде на него. В данном случае почему-то сервер за 250 т.р. медленнее, чем комп на Core Quad пятилетней давности за 15 т.р.
Я сервер не админю, есть специально обученные люди. У нас двухядерный, с двумя гигами за какие-то 30 штук не свежий HP. База почти 1гб, b идет около минуты, r идет около трех. База в шутдауне, без лога на экран/файл.

Так что странновато...
...
Рейтинг: 0 / 0
Производительность gbak
    #38521349
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Дениспопробуй TempCacheLimit увеличить.
Толку, если процесс бэкапа базы медленее, чем на десктопе? Какая-то затупка именно с IO в файл БД.

Батник:
Код: plaintext
1.
"c:\Program files (x86)\Firebird\Firebird_2_5\Bin\gbak.exe" -c -v -page_size 8192 -se service_mgr -user SYSDBA -password masterkey e:\Database\DB.fbk e:\Database\DB2.fdb
pause 0
...
Рейтинг: 0 / 0
Производительность gbak
    #38521351
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMaxwadman,

Дело не в частости. Это одна из оценок производительности, типа, что нас ждет при переезде на него. В данном случае почему-то сервер за 250 т.р. медленнее, чем комп на Core Quad пятилетней давности за 15 т.р.
А точные модели процов можешь назвать?
...
Рейтинг: 0 / 0
Производительность gbak
    #38521354
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMax> В данном случае почему-то сервер за 250 т.р. медленнее,
CyberMax> чем комп на Core Quad пятилетней давности за 15 т.р.

Подробные характеристики сервера в студию.
Какой-нибудь брендовый (HP ML?) поди... :)

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38521358
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AMD Opteron(tm) Processor 6376, 2300 MHz
RAID на LSI Logical Volume SCSI Disk Device.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521399
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMaxAMD Opteron(tm) Processor 6376, 2300 MHz
RAID на LSI Logical Volume SCSI Disk Device.
Мда... В сравнении с Intel Pentium G6950 Clarkdale (который у нас) - ракета! Видимо кому-то ручки придется выпрямлять. ОЗУ поди в таких-хе масштабах?
...
Рейтинг: 0 / 0
Производительность gbak
    #38521420
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMax,

А почему SS на таком мощном проце?
...
Рейтинг: 0 / 0
Производительность gbak
    #38521423
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMaxAMD Opteron(tm) Processor 6376, 2300 MHz
RAID на LSI Logical Volume SCSI Disk Device.
А Core Quad какой?
...
Рейтинг: 0 / 0
Производительность gbak
    #38521430
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Протестил рестор базы на другом нашем сервере - Windows Server 2008 R2 x64, FB 2.5.2 x32. Процессор Xeon (2 шт.) X5650 2.66 GHz. У него какой-то терабайтный HDD. Также он в это время был нагружен другими задачами (1с, FB). Восстановление данных: 285 сек, создание индексов - 205 сек. То есть Xeon быстрее примерно в 1.5 раза получается.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521440
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMax,

может дело в Windows Server 2012 R2? Где то я уже видел жалобы о том что на нём FB медленнее работает.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521444
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисCyberMax,
А почему SS на таком мощном проце?
Приходится менять метаданные на лету. CS и SC такого не позволяют.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521447
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Евгений КилинА Core Quad какой?
QuadCore Intel Core 2 Quad Q8200, 2333 MHz (7 x 333)
...
Рейтинг: 0 / 0
Производительность gbak
    #38521450
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMax> CS и SC такого не позволяют.

Да шо вы говорите?! :)

P.S. Попробуй Memory-настройки в конфиге увеличить.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38521452
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисCyberMax,
может дело в Windows Server 2012 R2? Где то я уже видел жалобы о том что на нём FB медленнее работает.
Есть такое подозрение. На выходных попробую поставить 2008 R2.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521457
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMax2008 R2
Оно и у нас, кстати, установлено.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521463
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гаджимурадов РустамCyberMax> CS и SC такого не позволяют.

Да шо вы говорите?! :)
Уточню - речь шла ХП. Метаданные да, можно :).
...
Рейтинг: 0 / 0
Производительность gbak
    #38521497
pastor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMax,

бились с похожей фигней на win2008

заказчик поставил в итоге другой сервак на win2012 и десктоп

можешь проверить на:

http://www.stella-npf.ru/updates/fb_bench.exe
...
Рейтинг: 0 / 0
Производительность gbak
    #38521520
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pastor,

Core Quad: Средняя скорость вставки [13316 зап/сек]
Xeon: Средняя скорость вставки [13421 зап/сек]
AMD Opteron: Средняя скорость вставки [12426 зап/сек]

Рукалицо.

P.S. На i3 не проверил - там папка FB Program files (x86).
...
Рейтинг: 0 / 0
Производительность gbak
    #38521523
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMax> Уточню - речь шла ХП

Да и ХП тоже не запрещается. :)

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38521526
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AMD гомно! Интел наше всё! (с)

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38521532
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMaxCore Quad: Средняя скорость вставки [13316 зап/сек]
Xeon: Средняя скорость вставки [13421 зап/сек]
AMD Opteron: Средняя скорость вставки [12426 зап/сек]

Найди проц с частотой выше 2.3 и попробуй на нем.
Я так понимаю блобов в базе практически нет?
...
Рейтинг: 0 / 0
Производительность gbak
    #38521566
pastor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Евгений КилинCyberMaxCore Quad: Средняя скорость вставки [13316 зап/сек]
Xeon: Средняя скорость вставки [13421 зап/сек]
AMD Opteron: Средняя скорость вставки [12426 зап/сек]

Найди проц с частотой выше 2.3 и попробуй на нем.
Я так понимаю блобов в базе практически нет?

это наш синтетический тест эмуляции переноса БД.
тупая вставка записей в пустую БД с FW on/off

ноутбук с core-i5 - это мой самсунговский планшет :)
...
Рейтинг: 0 / 0
Производительность gbak
    #38521567
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сервер выключает кеширование записи на том диске, где находится его системный раздел.
Какой размер страйпа у рейда ? BBU есть ? А включен ? Дрова свежие ?
...
Рейтинг: 0 / 0
Производительность gbak
    #38521575
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гаджимурадов РустамДа и ХП тоже не запрещается. :)Ладно тебе подкалывать человека, скажи сразу "поставь wait транзакцию" и не парь мосх.

Однако вьюшки все едино надо менять по науке, на горячую ни-ни.

Гаджимурадов РустамAMD гомно! Интел наше всё! (с)винда гамно, линух наше все!
...
Рейтинг: 0 / 0
Производительность gbak
    #38521595
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevsky> Ладно тебе подкалывать человека, скажи сразу
Ivan_Pisarevsky> "поставь wait транзакцию" и не парь мосх.

Ну это кто моск парит и кто подкалывает...
Ставить wait да ещё на продакшене да ещё
для метаданных - ни в жисть...

> винда гамно, линух наше все!

Возможно. Однако у него винда и там, и там... :)

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38521608
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гаджимурадов РустамНу это кто моск парит и кто подкалывает...Кто начал про изменение метаданных на лету? Если это не "призыв к бунту", то что?
...
Рейтинг: 0 / 0
Производительность gbak
    #38521609
pastor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladСервер выключает кеширование записи на том диске, где находится его системный раздел.
Какой размер страйпа у рейда ? BBU есть ? А включен ? Дрова свежие ?

прошу прощения, что вмешиваюсь.

у заказчика сейчас стоит подменный сервер, win2012 server standard, база на системном разделе. 20000 зап/сек из него выжимаем.
у замененного ксеона на отдельных SSD не могли выжать более 4000 зап/сек
замордовали тамошних админов, заставили выкинуть.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521644
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevsky> Кто начал про изменение метаданных на лету?

ХЗ. Перечитай топик и найди, кто начал.

> Если это не "призыв к бунту", то что?

Понятия не имею, какие призывы к бунту ты себе
выдумал (кого и против кого, кстати?) . Выдыхай.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38521677
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladСервер выключает кеширование записи на том диске, где находится его системный раздел.
Кэширование включил через MegaRAID Storage Utility. На скорость b/r никак не повлияло.

hvladКакой размер страйпа у рейда ?
64 КБ.

hvladBBU есть ? А включен ?
Не знаю.
hvladДрова свежие ?
На LSI Adapter - свежие.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521685
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMaxhvladКакой размер страйпа у рейда ?
64 КБ.А вот тут желательно быть не больше размера страницы БД.
Попробуй отресторить со страницей 16КБ, для эксперимента
...
Рейтинг: 0 / 0
Производительность gbak
    #38521695
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvlad,

Пробовал вчера еще. ЕМНИП, вроде чутка быстрее было. RAID конфигурировал не я. В общем, сейчас заново его сделаю, со страйпом в 8 кб.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521760
pastor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMaxhvlad,

Пробовал вчера еще. ЕМНИП, вроде чутка быстрее было. RAID конфигурировал не я. В общем, сейчас заново его сделаю, со страйпом в 8 кб.

по фэншую размер кластера диска, блока ntfs, размер страницы БД - одно и то же число.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521771
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Почему-то нельзя указать размер страйпа при создании массива. Вообще ничего нельзя изменить в настройках массива. Ничего не понимаю. Копаю дальше.
...
Рейтинг: 0 / 0
Производительность gbak
    #38521905
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMax> Вообще ничего нельзя изменить в настройках массива

Это админы так говорят или ты сам смотришь?

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38522125
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladА вот тут желательно быть не больше размера страницы БД.
ты попутал с кластером файловой системы. Для raid-контроллеров размер страйпа 64к - это минимум, нормально 128к и 256к. И 16к он вообще не даст, а если и даст, то начнет дико тормозить.
...
Рейтинг: 0 / 0
Производительность gbak
    #38522131
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гаджимурадов Рустам,

Сам смотрю. В MegaRAID SU вообще все опции выключены. Возможно, их можно задавать при создании внутренней утилиты.
...
Рейтинг: 0 / 0
Производительность gbak
    #38522144
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvhvladА вот тут желательно быть не больше размера страницы БД.
ты попутал с кластером файловой системы. Для raid-контроллеров размер страйпа 64к - это минимум, нормально 128к и 256к. И 16к он вообще не даст, а если и даст, то начнет дико тормозить.Мы с тобой это уже обсуждали и ты не прав :)
...
Рейтинг: 0 / 0
Производительность gbak
    #38522149
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMax> Возможно, их можно задавать при создании внутренней утилиты.

Угу, и я о том же. Может, не умеет оно массив
перестраивать - только с нуля создать.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38522156
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvИ 16к он вообще не даст, а если и даст, то начнет дико тормозить. http://www.ixbt.com/storage/lsi-megaraid.shtml
MegaRAID поддерживается размер сегментов страйпа в 2KB, 4KB, 8KB, 16KB, 32KB, 64KB или 128KB.
Тормозить при малом страйпе будет RAID5 и его варианты, и то не факт.

RAID10 не считает контрольные суммы и тормозить там просто не чему, по крайней мере из-за размера страйпа.
...
Рейтинг: 0 / 0
Производительность gbak
    #38522390
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvlad,

статья 2004 года. про то, что мы это с тобой обсуждали, не помню совершенно.
В других статьях то пишут что софтовый рэйд имеет минимальный страйп 64к, то что у железных контроллеров минимум 64к.
последний тест, который я читал на эту тему, проверял от 64к до 256к. Возможно даже это был доклад Пола Ривза.

Сейчас вот вообще пишут
512K is commonly used and is supposed to have the best combination of benefits for large I/O and the least detriment for small I/O on this controller across multiple operating systems.

Ну и вот
http://www.kendalvandyke.com/2009/02/disk-performance-hands-on-part-2-raid.html
...
Рейтинг: 0 / 0
Производительность gbak
    #38522425
pastor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv,

вот и определился ориентир размера страницы БД в FB 4.0
...
Рейтинг: 0 / 0
Производительность gbak
    #38522450
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pastor> вот и определился ориентир размера страницы БД в FB 4.0

В палату №6, не иначе. Как макс. размер - ещё куда ни шло.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38522473
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvСейчас вот вообще пишут
512K is commonly used and is supposed to have the best combination of benefits for large I/O and the least detriment for small I/O on this controller across multiple operating systems.Ну, возможно кеширование в самом контроллере всё поменяло.
В любом случае - проверять нужно.
...
Рейтинг: 0 / 0
Производительность gbak
    #38522540
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvlad,

поскольку "разговор об этом с тобой" не вспоминается (я даже не помню, когда и где это было), то вот, что пишут:
- страйп - это кусок данных, хранимый на одном диске. т.е. например 64к на одном, потом 64к на другом, и т.д.
- поочередное чтение с дисков, разумеется, может увеличить скорость, но чем меньше будет страйп, тем хуже это будет для последовательного чтения (разумеется?).
- поскольку в тестах страйпов часто ссылаются на MS SQL, оптимальный размер в 128к может быть связан с "блочным чтением", о котором ты недавно говорил в отношении ФБ3 в фб-девел.
- при упоминании размера страйпа часто упоминают его прямую связь со скоростью шины контроллера. Отсюда оптимум в 64, 128 и 256 к.

И, да, про страйпы было у Ривза,
http://www.firebirdsql.org/file/community/ppts/fbcon11/FB_Conf_2011_Firebird_RAID.pdf
со слайда 32.

p.s. спорить я не хочу, проще найти результаты тестов контроллеров, но мне отсюда делать это не очень удобно.
...
Рейтинг: 0 / 0
Производительность gbak
    #38522741
Sergei.Agalakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Предположим нам надо прочитать 100Мб последовательных данных с дисковой системы (full table scan). На правильный операционной системе с правильной файловой системой одно логической чтение имеет лимит 1Мб. Итого нам потребуется минимум 100 логических чтений каждое на 1 Мб. Можно тогда ограничиться рассмотрением чтения 1Мб, поскольку далее мы просто повторяем это 100 раз. У нас есть доступ к массиву жестких дисков неограниченного размера, и мы можем конфигурировать его как хотим. Берем 128*2 дисков и делаем RAID10 с stripe=8k. Наше логическое чтение 1Мб контроллером размазывается на 128 чтений по 8Кб каждое на своем диске и мы без учета накладных расходов на контроллере получаем наш ответ за одно физическое чтение с каждого жесткого диска. Но суммарно мы сгенерировали 128 физических чтений. То есть для одной сессии мы производительность максимизировали, но для 100 сессий такого типа суммарная производительность массива неоптимальна. Такой stripe может иметь смысл для data warehouse и прочих DSS. Сделали stripe=512k. Чтение размазалось только на два шпинделя, мы создали только 2 физических чтения на 1 логическое, что хорого для конкурирующих чтений от других сессий, но производительность чтения нашей сессии упала, поскольку мы вынуждены ждать когда каждый диск сможет нам отдать наши 512Кб. К счастью с высокой вероятностью эти 512Кб записаны последовательно, а скорость последовательного чтения с жесткого диска в десятки раз выше случайного чтения. Так что можно надеяться получить скорость чтения всего в несколько раз меньше, чем с массива из 128 пар дисков.
Для случайной записи, конечно, фокус не придет, и надо как можно больше шпинделей, но нормально базы данных пишут гораздо меньше, чем читают.
...
Рейтинг: 0 / 0
Производительность gbak
    #38522751
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv- поочередное чтение с дисков, разумеется, может увеличить скорость, но чем меньше будет страйп, тем хуже это будет для последовательного чтения (разумеется?).Только в отсутствии read-ahead и кеша в контроллере.

kdv- поскольку в тестах страйпов часто ссылаются на MS SQL, оптимальный размер в 128к может быть связан с "блочным чтением", о котором ты недавно говорил в отношении ФБ3 в фб-девел.Размер экстента в MSSQL - 64KB и в твоей первой ссылке зуб дают, что испытывали рандомные одностраничные чтения

kdv- при упоминании размера страйпа часто упоминают его прямую связь со скоростью шины контроллера. Отсюда оптимум в 64, 128 и 256 к.Это может относиться только к большиму последовательному IO.

kdvИ, да, про страйпы было у РивзаУ него на стр.32 для рестора лучше всего страйп И страница 16КБ и страйп 256КБ везде проигрывает.
А потом, на стр.34 страйп 256КБ вдруг становится лучшим для инсертов (р-р страницы не указан, кстати).
А что есть рестор, как не куча инсертов ?
Про индексы во время рестора ничего не сказано.
Так что - я ему просто не верю. По крайней мере без объяснений.

kdvспорить я не хочуЯ же уже выше согласился - проверять надо. Конкретный контроллер с конкретным набором дисков.
...
Рейтинг: 0 / 0
Производительность gbak
    #38523875
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дальнейшее развитие ситуации.
1. Контроллер действительно не дает изменить никакие настройки при создании массива. Оказывается, это версия с какой-то особой прошивкой.
2. Провел тесты с другими дисками. Отдельный SAS-диск, подключенный к контроллеру, так и SATA-диск, подключенные к мат. плате, дали примерно такую же производительность при бэкапе - 100 секунд. При ресторе данных чуть SAS-диск быстрее (95 против 105 у SATA и RAID). остальне то же самое (~315 секунд).
3. x64-сборка при ресторе быстрее на 30 секунд при создании индексов. Остальные тайминги такие же.
4. Время рестора данных и бэкапа одинаковые и ~100 секунд. Размер fbk 400 Мб. Отсюда вывод - скорость чтения/вставки ~4 Мб/сек...

А вот теперь самое интересное. Так как памяти много, решил проверить - а что будет, если засунуть базу в RamDisk? Установил SoftPerfect RamDisk и получились следующие результаты. Бэкап - 100 секунд, рестор данных - 100 секунд, рестор индексов - 315 секунд. То есть дисковая подсистема тут вообще не влияет! Загрузка процессора все это время в районе 3-4%.
...
Рейтинг: 0 / 0
Производительность gbak
    #38523894
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMaxТо есть дисковая подсистема тут вообще не влияет! Загрузка процессора все это время в районе 3-4%.
Да ты уже близок к http://www.sql.ru/forum/actualutils.aspx?action=gotomsg&tid=1069931&msg=15395279
На счет 3-4% странно, если у тебя 16 ядер, то д.б. 6.25 % :)
...
Рейтинг: 0 / 0
Производительность gbak
    #38523921
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Евгений КилинНа счет 3-4% странно, если у тебя 16 ядер, то д.б. 6.25 % :)
Их 32 :). Процесс с FB грузится на 100%.

Протестировал B/R на RamDisk'е Windows 2008 R2, CPU i3 2.9 GHz.
Бэкап - 55 секунд. Рестор: данные 70 секунд, индексы 190 секунд. Итого 260 секунд против 415 на AMD Opteron 2.4 GHz.
...
Рейтинг: 0 / 0
Производительность gbak
    #38524077
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMax> То есть дисковая подсистема тут вообще не влияет!

Спрашивается, стоило ли столько мучаться, чтобы узнать
то, что итак известно и еще на первой странице упомянуто.

Покрути настройки конфига - может чуток и выиграешь где.
Заодно нам раcскажешь о подобранных оптим. параметрах.

CyberMax> Загрузка процессора все это время в районе 3-4%.

Странно это, ибо ты в проц и должен упираться по идее.
Уточни ещё у ДЕ/Влада, может ли там что-нибудь параллелиться.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38524079
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMax> Итого 260 секунд против 415 на AMD Opteron 2.4 GHz.

AMD гомно! Интел наше всё! (с)

Попробуй ещё ради интереса тактовую частоту
Интела до 2.4 снизить для пущей честности.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38524082
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А что у тебя так много варчар-индексов?

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38524091
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гаджимурадов РустамА что у тебя так много варчар-индексов?
На многих справочниках уникальность поля имени на них держится. Процентах на 80, примерно. Это плохо?
...
Рейтинг: 0 / 0
Производительность gbak
    #38524116
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гаджимурадов РустамСпрашивается, стоило ли столько мучаться, чтобы узнать то, что итак известно и еще на первой странице упомянуто.
Ну не верилось, что свежекупленный сервер будет проигрывать чисто по производительности CPU десктопу.

Гаджимурадов РустамПокрути настройки конфига - может чуток и выиграешь где. Заодно нам раcскажешь о подобранных оптим. параметрах.
Пока покрутил CPU Affinity и TempCacheLimit. Проверяю.
...
Рейтинг: 0 / 0
Производительность gbak
    #38524136
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMaxНу не верилось, что свежекупленный сервер будет проигрывать чисто по производительности CPU десктопу.разные весовые категории, это как сравнить белаз и феррари. ;)
Я когда помогал Диме тестить рестор запускал 4 копии рестора на сервере и они приходили к финишу практически одновременно, и по времени в пределах погрешности относительно одной запущенной копии.

Если есть игровая база где затерты реальные данные, могу потестить для тебя на линухе, как на интеле так и на АМД.
...
Рейтинг: 0 / 0
Производительность gbak
    #38524329
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMax> На многих справочниках уникальность поля имени
CyberMax> на них держится. Процентах на 80, примерно. Это плохо?

Да нет. Все длинные чтоль?

Был бы один высокий справочник - вышло бы дешевле, наверное.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38524332
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CyberMax> Ну не верилось, что свежекупленный сервер будет
CyberMax> проигрывать чисто по производительности CPU десктопу.

Он не проигрывает, он делает рестор чуть медленнее.

> Пока покрутил CPU Affinity и TempCacheLimit. Проверяю.

Забыл, что у тебя супер. Проверь на классике, ради интереса.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38524341
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
> Пока покрутил CPU Affinity и TempCacheLimit. Проверяю.

P.S. TempBlockSize ещё попробуй немного
увеличить - хотя вряд ли это как-то поможет.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38525228
Oliph
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Поскольку одна из причин упирания в гигагерцы это однопоточность клиента gbak, хочется помечтать:

1. Чтобы формат fbk был приспособлен как к последовательной обработке (как сейчас, как бы с магнитной ленты), так и к обработке произвольного доступа (по итогам бакапа в хвост файла пишется табличка смещений, по какому смещению в файле fbk лежат данные той или иной таблицы).
Тогда для больших табличек можно стартовать отдельные потоки, которые заливают данные своей таблицы.
Как бонус - возможность информировать о проценте выполнения (т.к. изначально известно конечный объем каждой таблицы)

2. Думаю п.1. можно распространить и на создание индексов.

В обоих случаях предполагается, что сервер будет все это обрабатывать многопоточно (на Super прироста, кажется не будет)
Прошу также заметить, что это предложение касается только клиентской программы gbak.
Сервер и так уже заточен на многопоточную обработку.

Если распространить мечту и на сервер, то:
3. Пакетное создание индексов одной таблицы.
Т.е. если в определенной таблице планируется создать более одного индекса, хорошо бы сообщить об этом серверу одной пачкой,
чтобы сервер мог создать все эти индексы за один проход исходной таблицы.

Разработчикам на заметку.
Приятно было бы отчитаться "gbak performance dramatically increased" (тем более сервер тройки во всех случаях True SMP).

Только вот...
wadmanЭто настолько частая операция?
У меня нбакап на ежесуточном, еженедельном и ежемесячном расписании сидит. Полный b/r - по настроению, обычно когда производство стоит.Может найдется энтузиаст, который сделает такой форк гбака :)
...
Рейтинг: 0 / 0
Производительность gbak
    #38525292
Fr0sT-Brutal
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Oliph,

трудоемкость этого будет не намного меньше, чем у создания самого сервера, кмк.
...
Рейтинг: 0 / 0
Производительность gbak
    #38525343
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Oliph,

2 - уже есть в InterBase XE3, но для того, чтобы фича приносила пользу, надо чтобы база и temp были на ssd или на raid из ssd.

OliphМожет найдется энтузиаст, который сделает такой форк гбака :)
тут даже форк делать необязательно. можно с нуля написать что угодно, прямо сейчас, сохраняющее в любой формат и с любой параллельностью.
...
Рейтинг: 0 / 0
Производительность gbak
    #38525457
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
можно и по другому переформулировать задачу, выгрузить базу в скрипт умеет много кто, как следствие научиться выделять в скрипте куски, которые можно исполнить параллельно, т.е приходим к форку не gbak-а, а isql-я.

Было бы время и желание. :)
...
Рейтинг: 0 / 0
Производительность gbak
    #38525682
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Oliphдля больших табличек можно стартовать отдельные потоки, которые заливают
данные своей таблицы.
И получить туеву хучу random I/O в процессе, а так же фрагментированные таблицы в
результате. Ню-ню... Может, экстенты это и смогут поправить, но я бы не был так
оптимистичен...

Как уже сказал kdv, каждый может написать свою собственную утилиту экспорта/импорта
(которой, собственно, и является gbak) чтобы проверить свои идеи на практике.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38525720
Сисдба Мастеркеевич
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А идея в многопоточном бэкапе или ресторе ? Многопоточный бэкап, кмк, не имеет будущего, ибо придется открыть отдельные транзакции на каждый поток, в итоге получим рассогласованные данные.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность gbak
    #38525740
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovИ получить туеву хучу random I/O в процессе, а так же фрагментированные таблицы в результате.ssd (или рам диск на время рестора с последующией заливкой результата на САС рэйд). Опять таки либо решать в железе которому пох рэндомной дисковый ИО либо кэшированием. Райтбэк кэш на правильном контроллере зело облегчит жизнь дискам.
...
Рейтинг: 0 / 0
74 сообщений из 74, показаны все 3 страниц
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность gbak
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]