Друзья, возникла довольно странная ситуация, возможно кто-то что подскажет.

Есть база FireBird 2.0, логика работы довольно сложная (много данных, индексов и триггеров, повешенных и на вставку и на обновление).

Ежедневно в базу льется порядка 10-20 тыс. записей (для простоты в одну таблицу).
Скорость добавления примерно 30-40 записей в секунду (да, небыстро, но это было некритично).

Потребовалось протестировать некий функционал на виртуальной машине (VirtualBox, Windows 7). Абсолютно одинаковые условия - версия Firebird, базы, приложения которое с ней работает. Только результаты оказались неожиданными - на виртуалке данные льются в базу намного быстрее, около 1000 з/с.

Вот тут и вопрос - что это, почему так? Куда копать? Это VB так опимизирует запись или Win тормозит или Firebird? Нужно хотя бы направление куда рыть.

wadmanExecutorна виртуалке данные льются в базу намного быстрее, около 1000 з/с.
В пустую таблицу?

Нет, в таблице постоянно поддерживается ~500 тыс актуальных записей.

hvladExecutorВот тут и вопрос - что это, почему так? Куда копать? Это VB так опимизирует запись или Win тормозит или Firebird? Нужно хотя бы направление куда рыть.Либо драйвер диска в VBox игнорирует FW (он же у вас ON, так ведь ?), либо сами диски сильно разные - это первое, что приходит в голову

В firebird.conf явно не указано значение FW, по умолчанию полагаю, что ON. А диски разные - нет, все на одном компе и на одном диске.

kdvExecutorВ firebird.conf явно не указано значение FW
Forced writes включается и выключается в базе, а не в конфиге (gfix -write ...).
Померять диск уже предложили - perfmon. А можно и замерять абстрактно, например утилитами теста скорости диска (их полно разных).
В общем, способов измерения много.

А зачем его измерять, простите? Диск - один и тот же, вплоть до раздела. База - одна и та же, тупо скопированная на виртуалку, значит и параметры идентичные.

Ivan_Pisarevskyhvladдрайвер диска в VBox игнорирует FWсамый вероятный сценарий.
Уже второе такое мнение ) Попробую отключить FW на нативной системе для проверки.

hvladExecutorА зачем его измерять, простите? Диск - один и тот же, вплоть до раздела. База - одна и та же, тупо скопированная на виртуалку, значит и параметры идентичные.Ну, значит и работает всё одинаково и вопросов нет. Топик можно закрывать.
Так в том и дело, что не работает одинаково.
Forced Writes в базе включен.

wadmanExecutorпропущено...

Так в том и дело, что не работает одинаково.
Forced Writes в базе включен.
Осталось сказать об этом виртуалке.

Если эта информация содержится в базе, то и работает с ней только Firebird, так? Т.е. получается, что раз Firebird в обоих случаях работает одинаково, то дело именно в способе записи на диск виртуалкой. Других вариантов не остается.

kdvExecutorто дело именно в способе записи на диск виртуалкой.
о чем тут сказали уже три или четыре раза.
Неужели? Речь вообще-то шла про Forced Writes, про который драйвер ввода-вывода виртуалки ни сном ни духом, так как понятия не имеет, что это.
Подведем итог - проблема остается нерешенной, будем рыть дальше. Всем спасибо.

rdb_devХостовой системе наплевать на FW базы Firebird гостевой системы, она просто тупо кэширует то, что пишет драйвер виртуального жесткого диска в свой файл на хостовой системе. Вот и весь расклад. Если не нравится такое поведение, можете попробовать отключить кэширование диска на хостовой системе и получите еще большие тормоза, чем были тогда, когда БД крутилась на хосте + тормоза при загрузке ОС и общее замедление операций с диском для всех приложений.
Хостовая и гостевая системы не связаны - все необходимое лежит и там и там и работает локально в обоих случаях.
Кэширование на хостовой системе, конечно, включено.

Поведение на виртуалке как раз нравится, даже очень. Меня и заинтересовал этот нюанс - есть ли возможность приблизить скорость к той, что на виртуалке, но для этого нужно понять причины такого поведения. Если на виртуалке драйвер ввода-вывода так хитро устроен, что дополнительно кэширует операции ввода-вывода, то понятно, что сделать уже ничего будет нельзя.

Dimitry SibiryakovExecutorПоведение на виртуалке как раз нравится, даже очень.

Ты всерьёз хочешь рисковать базой при краше системы?..

Какой краш, ты о чем? Сначала надо разбираться, потом принимать решение.

rdb_devExecutorПоведение на виртуалке как раз нравится, даже очень. Меня и заинтересовал этот нюанс - есть ли возможность приблизить скорость к той, что на виртуалке, но для этого нужно понять причины такого поведения. Если на виртуалке драйвер ввода-вывода так хитро устроен, что дополнительно кэширует операции ввода-вывода, то понятно, что сделать уже ничего будет нельзя.Можно! Отключи для базы ForcedWrites.
Выше это обсуждалось. База одна и та же, forced writes включено на обоих копиях - результаты разные.
Но, чтобы быть уверенным, провел серию экспериментов. Докладываю.

Изменений нет. Нигде. На хостовой системе скорость осталось такой же низкой, на виртуалке - такой же высокой. Результаты были перепроверены два раза и с включенным forced writes и с выключенным.

hvladExecutorРечь вообще-то шла про Forced Writes, про который драйвер ввода-вывода виртуалки ни сном ни духом, так как понятия не имеет, что это.Ну да. FW обеспечивается духом святой Анны.
Forced Writes это указание для сервера Firebird. Грубо говоря, как часто сбрасывать данные на диск. Драйверу ввода-вывод абсолютно пофиг, кто именно прислал блок памяти для записи на диск, он не знает ни про Firebird, ни про базу ни даже какая программа вообще прислала этот блок. Он только пишет его или читает.

Уверен, что Анна тут ни при чем.

rdb_devrdb_devпропущено...
Драйвер виртуального жесткого диска тут не причем. Кэшированием при файловых операциях ввода/вывода (на уровне драйвера файловой системы), какими, также, являются операции записи/чтения с файлом виртуального ЖД, занимается хостовая операционная система.Поторопился я с этим утверждением... Сейчас заглянул в настройки гостевой ОС VirtualBox'а и обнаружил не только возможность изменить тип контроллера (к примеру с PIIX4 на ICH6), но и включить/отключить кэширование для всех устройств контроллера.
Поскольку практически любая виртуалка выделяет себе здоровый файл под систему и, по сути, реализует свой собственный формат файла, то можно предположить что ее драйвер ввода-вывода реализует некий дополнительный кэш или буфер, и записывает информацию в этот файл более эффективно, нежели при использовании обычной файловой системы.

Ivan_PisarevskyExecutorForced Writes это указание для сервера Firebird. не совсем так.
А как?

rdb_devExecutorВыше это обсуждалось. База одна и та же, forced writes включено на обоих копиях - результаты разные.
Но, чтобы быть уверенным, провел серию экспериментов. Докладываю.

Изменений нет. Нигде. На хостовой системе скорость осталось такой же низкой, на виртуалке - такой же высокой. Результаты были перепроверены два раза и с включенным forced writes и с выключенным.Тебе русским языком уже объяснили, почему результаты разные. Что, опять, не понятно?
Пока объяснений я не увидел.

Симонов ДенисExecutorСкорость добавления примерно 30-40 записей в секунду

это надо ещё умудриться. Поэтому дикий прирост мне не кажется подозрительным. А вот столь низкая изначальная скорость ещё как
Я принимаю дела в том виде, как они есть. Дикий прирост наблюдается только при очень специфичных условиях, как написано выше.

Ivan_PisarevskyExecutorпропущено...

А как?Это атрибут файла, как должна с ним поступать Ось, имеет право она кэшировать запись в него или не имеет. какая прикладная программа пишет в файл не важно.

Ставлю 5 копеек на захламленность ОСи всякой гадостью (например антивирус, который вклинивает себя в операцию записи на диск).
Вы меня извините, но это не так. Нет таких атрибутов файла, и быть не может.
Речь идет о нескольких сотнях машин с этой базой, везде скорость одинаковая.

Dimitry SibiryakovExecutorВы меня извините, но это не так. Нет таких атрибутов файла, и быть не может.

У файла - нет. У его хэндла - да. RTFM CreateFile() FlagsAndAttributes параметр.

Да, об этих флагах я в курсе, просто есть сомнения, что Firebird возлагает это на ОС, а не обрабатывает сам. Могу ошибаться.

rdb_devExecutorпропущено...

Пока объяснений я не увидел.Еще раз объясняю - когда FW для БД включен, любая запись сервером Firebird в БД, после того, как попала в кэш системы, тут же пишется на диск (forced writes - принудительная запись). Когда ты запускаешь в VirtualBox'е, виртуальному драйверу IDE контроллера и хостовой ОС фиолетово, что в гостевой системе кто-то там что-то пытается принудительно записать на виртуальный диск и никакой принудительной записи на реальный жесткий диск, в действительности, не происходит, поэтому операции выполняются быстро, но надежность падает также, как и при отключенном FW, а может и того больше. Тебе об этом написали ранее.

В настройка VM VirtualBox'а для гостевой системы убери "галочку" с кеширования виртуальным IDE контроллером и еще раз проверь результат.
Ну я ведь изначально об этом и писал:

ExecutorЕсли эта информация содержится в базе, то и работает с ней только Firebird, так? Т.е. получается, что раз Firebird в обоих случаях работает одинаково, то дело именно в способе записи на диск виртуалкой. Других вариантов не остается.
А меня потащили в сторону forced writes.

hvladExecutorпропущено...

Forced Writes это указание для сервера Firebird.RTFM CreateFile

PS Это фишка такая - прийти за советом и спорить с теми, кто знает как готовить устриц ?
Дык совет-то требовался по другой теме )
Кроме того, forced writes так или иначе записывается в базу, так что по-любому - свойство конкретной базы, которое может быть переопределено при ее открытии.

rdb_devExecutorНу я ведь изначально об этом и писал:

пропущено...

А меня потащили в сторону forced writes.А надо было изначально не писать, а проверить настройки VM, убрать галочку с кэширования виртуальным IDE контроллером и провести сравнительный анализ.
Не так это просто было - ситуация наблюдалась через TeamViewer клиента. Посему было проще спросить совета, чем пытаться восстановить то, что было увидено практически краем глаза.

hvladExecutorДык совет-то требовался по другой теме )Т.е. ты не знаешь, что происходит (раз пришёл спрашивать), понятия не имеешь о том что и как там работает внутри (установлено по твоим репликам), но уж тему-то ты знаешь однозначно правильно ?

ExecutorКроме того, forced writes так или иначе записывается в базу, так что по-любому - свойство конкретной базы, которое может быть переопределено при ее открытии.А масло -масляное. Что сказать-то хотел ? К чему эта фраза ?
Такого рода вопросы - прямой путь к долгому и бессмысленному флейму и взаимосамоутверждению. Неинтересно.

В любом случае мои предположения подтвердились, что-то я освежил в памяти, что-то узнал новое.
Вопрос решен. Всем спасибо.