|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Здравствуйте! Как уменьшить размер lock файла что лежит в /tm/firebird/fb_lock_***? Грузит диск записью в среднем на 15-20М/сек ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 18:09 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Уменьшить размер - никак. Но можно а) Перенести его на другой диск с помощью переменной окружения FIREBIRD_LOCK б) Использовать суперсервер в) Нарастить ОЗУ Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 19:04 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Понял! Спасибо! Так и собирался его в RAM держать. 2Гб для темповой папки достаточно? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 19:23 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComТак и собирался его в RAM держать. Это бесполезно, он и так MMF и кэшируется по максимуму. Рам-диском ты только ухудшишь положение. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 19:35 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Тогда почему идет такой большой поток записи? 15-20 Мб/сек это очень не мало! И еще вопрос: вариант нарастить ОЗУ - это значит увеличить кэш для процессов fb(стоит classic) или просто в сервере(елси да - то насколько много надо??? сейчас стоит 80Гб)? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 19:57 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
В двух словах о сервере: обслуживает только одну БД, которая лежит на отдельном диске. Подключений к БД установлено ~400-500 постоянных, tpm ~1200. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 20:07 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransCom, значит, памяти мало. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 20:26 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Если сократить количество подключений, это поможет? Память свободная есть ещё 700мб чистой, ну и кэш ОС примерно 60Гб занимает, т.е. она не израсхоована ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 20:35 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComвариант нарастить ОЗУ - это значит увеличить кэш для процессов fb(стоит classic) или просто в сервере(елси да - то насколько много надо??? сейчас стоит 80Гб)? на классике оптимальный кэш - от 512 до 2048 страниц, максимум. У меня вопрос - а разве нельзя посмотреть, сколько памяти сейчас куда используется на сервере? Если винда, то это rammap, если линукс, то ... чем-то другим. Если 80 гиг памяти поделить примерно на 250 мб каждого процесса, то выходит 350 процессов классика, и если предположить меньше, по 150мб на процесс, то этого явно недостаточно. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 20:36 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Конечно, на процесс классика максимум 120Мб сейчас, но не на все, есть много мелких. Итого 20Гб на все процессы, даже меньше! Свободной памяти много! ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 20:57 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Все же не думаю, что дело в памяти, что-то явно не то, 3 месяца назад работал тот же сервис на 64Гб памяти и было все отлично, нагрузка ни чуть не увеличилась! Я думаю это при каких-то обстоятельствах создался этот файл, а теперь из-за него такая хрень ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 21:09 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComТогда почему идет такой большой поток записи? 15-20 Мб/сек это очень не мало! Во-первых, это не так уж и много. Во-вторых, это необязательно физическая запись. В-третьих, у меня такое чувство, что там постарался антивирус. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 21:22 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Это много, учитывая, что запись на диск с БД всего 1.5Мб/сек. Ранее, на старом сервере где 64Гб ОЗУ, запись была 3-5Мб/сек! Антивируса нет, стоит чистый дебиан без каких-либо программ, безопасность обеспечена iptables политикой drop, но это другая история. Просто хочу разобраться и понять, а вдруг создастся lock файл не 83Мб, как сейчас, а 200Мб, тогда видимо проблем не избежать. Даже сейчас к примеру утилита atop кричит на fb процессы и показывает disk utilisation 60-99% ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 21:30 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComстоит чистый дебиан А вот с этого и стоило начинать. tmp на обычном разделе или на выделенном с tmpfs? Что за диск? Какое ядро? Что с барьерами? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 21:35 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Это физическая запись, ну или почти, кэш записи рейд-контроллера возможно спасает, но судя по загруженности диска, не спасает. В это время растет ожидание io, это прямой показатель что диск физический загружен ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 21:37 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Ядро 4.9. стоит на обычном разделе, tmpfs я ж как раз и говорил!! Это и есть ram диск, когда его создаёшь он именно типа tmpfs. Все таки это поможет? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 21:39 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Диск обычно делаю на 1 рейде с кэшем на запись и чтение. Физические диски sas 15000rpm ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 21:41 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComВсе таки это поможет? Может и поможет. Я не заметил в стартовом посте /tmp и говорил с позиций Windows. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 21:51 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Отлично! Спасибо за помощь, попробую tmpfs ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 21:53 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComпопробую tmpfs Для начала покажи вывод "fb_lock_print -c твоя база". Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 21:56 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Поправочка: fb_lock_print -c -d <твоя база> Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 21:56 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
LOCK_HEADER BLOCK Version: 145, Active owner: 0, Length: 83886080, Used: 83568664 Flags: 0x0001 Enqs: 50346281431, Converts: 1678970393, Rejects: 295620623, Blocks: 4939062658 Deadlock scans: 26, Deadlocks: 0, Scan interval: 10 Acquires: 101956545174, Acquire blocks: 9698604275, Spin count: 0 Mutex wait: 9.5% Hash slots: 1009, Hash lengths (min/avg/max): 26/ 39/ 57 Remove node: 0, Insert queue: 0, Insert prior: 0 Owners (350): forward: 27746608, backward: 39531440 Free owners (703): forward: 67360120, backward: 59107744 Free locks (42308): forward: 35424648, backward: 23580568 Free requests (776745): forward: 40799688, backward: 15656208 Lock Ordering: Enabled ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 22:00 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransCom а вдруг создастся lock файл не 83Мб, как сейчас, а 200Мб, тогда видимо проблем не избежать. ну-ну LockMemSize >= Cache_pages * max_connections_count * 100 Текущий размер lockmemsize смотрится в fb_lock_print. Если до 500 коннектов, и кэш БД стоит 1024 страниц, то минимум - это 50 мегабайт. Если памяти под блокировки не хватает, то выделяется новый кусок, старое копируется туда. Скорее всего вы напоролись на просмотр "скорости записи" в этот файл в какой-то такой момент. Или когда действительно стало не хватать памяти. Собственно, сильно подозрительно, что в лок-файл "постоянно идет запись", при этом процессы занимают 20 гиг памяти, а 60 операционка отдала под файловый кэш. Размер базы-то какой? TransCom3 месяца назад работал тот же сервис на 64Гб памяти и было все отлично допустим, кэш БД был 512 страниц. А потом, когда стало 80 гиг памяти - кто-нибудь ляпнул: "а давайте кэш увеличим". И поставили 1024 страницы. И потребляемая память существенно увеличилась. Или, как обычно - поменяют сразу несколько параметров - конфиг оси подкрутят, памяти добавят, и еще чего-нибудь. А потом гадают - что-же такого произошло, что стало только хуже? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 22:02 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComHash slots: 1009 Увеличить раз в 10 необходимо. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 22:03 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Спасибо! В конфигурации укажу простое чисто в районе 10000, верно? Рестарт сервера нужен, или примерится при перезапуске процессов по очереди? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 22:14 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComРестарт сервера нужен Нужен. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 22:15 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
KDV, в том то и дело, что подозрительно, я поэтому и пишу, считаю что что-то идёт не по плану, пока все норм, но надо увеличить нагрузку в разы будет, готовлюсь... ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 22:17 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Понял, всем спасибо за помощь, тогда увеличу параметр в 10 раз и создам tmpfs, чтоб наверняка. Рестарты к сожалению у меня не допустимы, сервис 24/7 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2018, 22:18 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComЗдравствуйте! Как уменьшить размер lock файла что лежит в /tm/firebird/fb_lock_***? Грузит диск записью в среднем на 15-20М/секОткуда известно, что грузит запись именно в этот файл ? в /tmp/firebird может быть много других файлов, в /tmp - ещё больше TransComЯдро 4.9. стоит на обычном разделеНет такого типа раздела - обычный. И таки что там с барьерами ? TransComLOCK_HEADER BLOCK Version: 145, Active owner: 0, Length: 83886080, Used: 83568664 Flags: 0x0001 Enqs: 50346281431, Converts: 1678970393, Rejects: 295620623, Blocks: 4939062658 Deadlock scans: 26, Deadlocks: 0, Scan interval: 10 Acquires: 101956545174, Acquire blocks: 9698604275, Spin count: 0 Mutex wait: 9.5% Hash slots: 1009, Hash lengths (min/avg/max): 26/ 39/ 57 Remove node: 0, Insert queue: 0, Insert prior: 0 Owners (350): forward: 27746608, backward: 39531440 Free owners (703): forward: 67360120, backward: 59107744 Free locks (42308): forward: 35424648, backward: 23580568 Free requests (776745): forward: 40799688, backward: 15656208 Lock Ordering: Enabled LockMemSize ставь сразу в 80-100МБ Коннектов в пике до 1050, это нужно знать и понимать. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 00:20 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComVersion: 145, Active owner: 0, Length: 83886080, Used: 83568664 это для 350 коннектов. Так что чуть больше будет, и опять память лок-менеджер будет увеличивать. Так что, 83мб мало. Надо ставить 100мб, не меньше. Еще, на мой дилетантский по линуксу взгляд, Дебиан тут не в кассу. Центос - да, пожалуйста. И еще, мы не услышали про размер базы и размер страницы кэша БД, в конфиге и в заголовке БД (gstat -h). Собственно, 300 юзеров - это уже надо хорошо разбираться и в настройке линукса, и в конфиге ФБ, и в собственном железе. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 00:26 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
kdvэто для 350 коннектовНе, это для 1050 коннектов ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 00:41 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
hvlad, да там непонятно, это в конфиге 83мб, или доехало само. Не исключаю первое, конечно. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 01:15 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
hvlad, грузит с вероятностью 99% именно он, простыми мониторингами это очевидно. Под обычным типом я имел ввиду жесткий диск, тип у него ext4. Чем дебиан плох? На центосе сидел пару лет, не понравился kdv, в конфиге 83мб, или доехало само - доехало само, в конфиге 1Мб стоит Вот что установлено Page size 8192 Page buffers 3000 Размер БД 3.8Гб Про барьеры памяти, немного не понял что именно нужно, стоит есть 2 проца E5-2650 с instruction sets x86_64, тут уж зависит от того как написан код Коннектов в пике до 1050 - могло где-то до такого уровня доходить, как-то недавно ддосили на сам сервис (обычно на сетевое оборудование мелкими пакетами), я на всякий случай врубал дополнительных несколько обработчиков, что конечно увеличило кол-во подключений. В целом наверное оптимизирую число подключений или путем пула, или пула-shm ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 12:23 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Вопрос! Зачем мне ставить в конфиге LockMemSize, если он итак для классика сам вырастет до нужного размера? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 12:25 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComPage buffers 3000 для классика при таком количестве коннектов многовато. И дело тут вовсе не в потребляемой памяти. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 12:36 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Это я уже понял, лучше 2048 поставить или 1024? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 12:50 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComесли он итак для классика сам вырастет до нужного размера? я уже писал, что при росте этот кусок памяти целиком перераспределяется. Чтобы этого избежать, надо задать необходимый максимальный размер сразу. Он определяется по лок-принту, в момент максимального кол-ва коннектов. TransComPage buffers 3000 это в заголовке БД прописано? Ваша лаконичность совершенно не к месту. Для классика 3000 страниц кэша - это много. Надо 1024, это самый оптимум. Можно экспериментировать до 2048, но вряд-ли больше. Одновременно надо смотреть, что указано в конфиге, DefaultDbCachePages, и закомментировано или нет. TransComРазмер БД 3.8Гб это весьма небольшая БД. А значит она целиком в кэше. А значит, что с ваших слов 60 гиг кэша сейчас - это слишком дофига, и у вас на этом сервере, вероятно, крутится что-то еще, что вытесняет ФБ из памяти. Почитайте хотя бы вот это http://www.ibase.ru/files/firebird/Firebird_Hardware_Guide_2015_rus.pdf ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 12:52 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Спасибо, почитал. Нет, на сервере только БД +две ну очень мелкие проги, одна работает раз в сутки, вторая 24/7, но там потребление минимальное, это гарантировано) а кэша ОС взяла на данный момент даже больше, чем 60Гб. RSS сейчас суммарный 13.2Гб, остальное почти все кэш ОС. Кроме FB его и некому давать. Но это не беспокоит, пока только за диск переживаю) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 13:06 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
А база небольшая для удобства, большую уже пробанул, больше не хочу, все большие данные храню в другом месте ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 13:07 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransCom, на будущее задумайся над миграцией на Firebird 3.0 SS. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 13:13 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComhvlad, грузит с вероятностью 99% именно он, простыми мониторингами это очевидноЭто бла-бла-бла TransComПод обычным типом я имел ввиду жесткий диск, тип у него ext4 ... Про барьеры памяти, немного не понял что именно нужно ext4 - это тип файловой системы, не диска. Барьер - речь о св-вах файловой системы. PS такие сообщения ставят под огромное сомнение наличие каких-либо знаний ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 13:14 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Барьер включен, просто обычно работаю с барьерами у проца и компилятора, поэтому сразу о них и подумал) то что ext4 это не тип диска это итак понятно) то что это именно fb грузит - есть разные утилиты, к примеру atop, он четко показывает что процессы fb съедают диск, на котором нет базы, а только темп директория, откуда я знаю, что это именно этот лок-файл? да там конкурентов больше и нет, он один большой и изменяется очень часто, остальные или мелкие или не так часто меняются. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 13:47 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComоткуда я знаю, что это именно этот лок-файл? да там конкурентов больше и нет, он один большой и изменяется очень часто, остальные или мелкие или не так часто меняютсяЭто всё ещё не убедительно (бла-бла-бла) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 13:56 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComБарьер включенЭто может быть проблемой ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 13:56 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComБарьер включен http://www.sql.ru/forum/895986/ext4-barrier-0-ili-1 TransCom процессы fb съедают диск, на котором нет базы, а только темп директория, откуда я знаю, что это именно этот лок-файл? а может это временные файлы fb_... ? Если запросы с plan sort, то вполне возможно. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 14:07 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComоткуда я знаю, что это именно этот лок-файл? да там конкурентов больше и нет Вопрос на засыпку: это тебе ls сообщил или lsof? Временным файлам Firebird делает unlink сразу после создания, так что увидеть их невооружённым глазом не получится. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 14:12 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
На счёт барьера, я поставлю tmpfs под темп файлы, в принципе это решит и все остальные вопросы. На счёт Лок файла, конечно не уверен, но думаю что это именно он! Во-первых тяжёлых запросов у меня нет, это принципиальная вещь, во-вторых 99% запросов выполняются быстро, не требуют никакой сортировки, это выборка по ПК ключу одной записи, в 3-х диск загружен подозрительно равномерно, ну и в 4-х скорость чтения с БД 10-12Мб/сек, т.е. даже если все прочитать, и тут же скинуть на диск, все равно не наберётся столько(если только не запороть сортировку совсем), я понимаю, доводы косвенные) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 14:35 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Забыл про 5 пункт, ранее, все работало на 3-5М/с записи в темп, сервис не менял, запросы те же, нагрузка та же, возможно при переезде на новый сервер сменил версию фб на более новую только ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 14:37 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
В любом случае, tmpfs все сделает я думаю. Спасибо всем за советы по настройке фб! ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 14:47 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComtmpfs все сделает я думаю. Крэш сервера оно сделает в первую очередь если tmp забьётся временными файлами и расширять лок-файл будет некуда. Тщатильнее надо. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 14:53 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Это я знаю, хорошо если ещё крэш будет только) думаю 2Гб выделю, или больше, чтоб наверняка ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 15:12 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
И не на общую tmp а чисто по фб /tmp/firebird ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 15:13 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Без разницы. Для начала воспользуйся вариантом "а" из первого ответа: отдельный каталог на tmpfs и переменная окружения FIREBIRD_LOCK на него. Так ты разведёшь лок-файл и временные файлы. Возможно, уже тогда прояснится что именно создаёт поток данных. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 16:37 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransCom Лок файла, конечно не уверен, но думаю что это именно он! Во-первых тяжёлых запросов у меня нет, это принципиальная вещь я нифига не понимаю, но если попробую потыкать вот там и здесь, то может быть, и т.д. Приеципиально тяжелые запросы ты можешь отловить только трейсом. Про который ты понятия не имеешь. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2018, 21:03 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Про тяжёлые запросы - есть много косвенных показателей, мне их достаточно для моего уровня разработки, мне главное чтоб классно все работало, оно так и работает, поэтому вникать нет необходимости) хотя мне интересно, просто на все не хватает времени ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2018, 09:23 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Может ещё заодно подскажите про версию 3.0, можно ли безболезненно портировать с версии 2.5, подойдут ли UDF от 2.5(соответственно с перекомпиляции), есть ли нормальный клиент на C++, нынче использую ibpp +своя поверх оболочка, работает как часы, хотя сам ibpp конечно мягко говоря отстой или может думал ibpp адаптировать? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2018, 10:36 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransCom, у меня портирование пошло безболезненно (приложение на Delphi7 + IBX), но я тестировал всё ещё начиная с Alpha версии. Если UDF написаны как потокобезопасные то они скорее всего подойдут. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2018, 10:49 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
да, UDF потокобезопасные, значит только клиент нужен хороший, может кто ibpp случайно адаптировал уже?)) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2018, 10:59 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComзначит только клиент нужен хороший, может кто ibpp случайно адаптировал уже?)) Что там адаптировать-то? Базовое API осталось тем же самым. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2018, 12:08 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Круто тогда вообще!)) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2018, 12:10 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComМожет ещё заодно подскажите про версию 3.0, можно ли безболезненно портировать с версии 2.5, подойдут ли UDF от 2.5УДФ подойдут, если не глючные сами по себе. В любом случае надо вдумчиво тестировать, сельхозинвентаря там достаточно разложено. Тут и планы могут уехать и селективность индексов играет более весомую роль и синтаксис ужесточился и мешать явные с неявными джойнами не надо и т.п. У меня трешка на запись дает просадку раза в два-три по скорости, сижу вот ща репу чешу, тестовый стенд собираю, был тут недалече мой "плач ярославны". ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2018, 17:16 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Уже не первый раз встречаю, что у 3 версии потеря производительности в некоторых местах) видимо не слухи... ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2018, 17:40 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransCom, надо у себя тестировать. У всех разное железо, разные задачи, разные алгоритмы. Лично у меня ничего не тормозит. Если где-то замедление и есть, то оно мизерное. А на некоторых вещах я наоборот получил существенный прирост производительности. Если я правильно помню у Ивана там самописный репликатор подтормаживает. Но из этого трудно сделать вывод. Должен быть простой тест желательно с использованием isql, тогда разработчики ядра FB хотя бы смогут понять причину. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2018, 17:51 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Ещё круче было бы обе версии запустить под профайлером чтобы точно пальцем ткнуть "выполнение вот такой-то ветки кода теперь занимает в три раза больше времени". Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2018, 17:53 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, ну в 5-10% я могу поверить. В некоторых местах сам видел. Но чтобы в три раза. Возможно там что-то очень специфичное. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2018, 17:55 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Симонов ДенисДолжен быть простой тест желательно с использованием isql, тогда разработчики ядра FB хотя бы смогут понять причину.В процессе, жду железку, она одобрена. Приду в свой топик с новостями, давайте не будем тут флуд развивать. Симонов Денисну в 5-10% я могу поверить.Ну я и сам охренел слегонца. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2018, 18:24 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Раз уж случайно про репликацию немного речь пошла, кто что порекомедует? У меня сейчас primary+slave+slave с 5 видами репликации таблиц, основной из которых это триггер+запись в репл_таблицу+событие_для_чтения, работает классно, но вот думаю может через shm развернуть, чтоб не писать на диск эти данные (56 байт чистых данных на одну репликацию записи) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 12:02 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComможет через shm развернуть У тебя все три базы на одном хосте? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 12:25 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Конечно нет) Немного поясню, primary пишет в shm, а slaves забирают уже с другой программы программы, ну т.е. конечно не сами slaves, а опять же проги на них, которые уже и запишут данные (это коротко, конечно в реальности механизм передачи сообщений чуть (или намного) сложнее). Но может есть варианты покруче? Может кто придумал что-то очень быстрое и классное? Хотя бы идеи) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 13:21 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Ну, например, синхронная репликация через execute statement on external data source. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 13:30 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
А если удаленный хост недоступен? Это не подходит совсем ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 13:32 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComprimary пишет в shm, а slaves забирают уже с другой программы программы Покопай в этом направлении, почему бы и нет. Когда наткнёшься на проблему отсутствия триггеров на старт/откат сейфпоинта и найдёшь для неё решение не требующее модификации исходников Firebird - не забудь поделиться. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 13:40 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Savepoints я не использую - чем все проще тем все лучше! И вообще все надо сводить к атомарности, уходя от транзиктивности, это моё мнение, хотя конечно с транзакциями проще, но в действительности это не производительно само по себе, думаю все итак в курсе почему, не буду описывать. А shm нынче использую для разных целей, типа послать http(s), вставить к примру данные в другую БД и тп. до бесконечности (может кому-то это поможет в идеях) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 13:52 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComНо может есть варианты покруче? Может кто придумал что-то очень быстрое и классное? репликация в hqbird (и других), но тут 2 сервера надо. Или репликация в ФБ4 через нбэкап. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 13:59 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
ФБ4 не могу поставить пока, даже ФБ 3 еще стремно как-то) надо стабильно чтоб пахало) Может кто-то версию 2.5 пропатчил до in_memory таблиц?)))) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 14:04 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComSavepoints я не использую Движок их использует. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 14:22 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Я сейчас делаю так: в триггере пишу в память данные + номер транзакции, потом он_коммит или он_роллбэк уже либо очищает либо заносит в СШМ. За полтора года не заметил ошибок. Расскажите подробнее, на что я могу наткнуться? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 15:08 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Или он_коммит может тоже провалиться?) Если да - тогда: моя система работать не будет, и самое главное - зачем он тогда нужен) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 16:00 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComРасскажите подробнее, на что я могу наткнуться? Попробуй запрос, который обламывается с любой ошибкой. Тебе понравится. Особенно такой, который изменяет сразу несколько записей. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 16:09 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Ну и что, идет ролл_бэк, ничего в СШМ не пишется, данные с памяти удаляются при этом. Это уже пробовал естесственно на стадии разработки ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 16:11 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Про несколько записей: да хоть сколько угодно, лишь бы памяти хватило, они все объеденены единой транзакцией и ждут либо коммита либо очистки по роллбэк (если ни то ни то не вызовется, то ждут завершения процесса) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 16:15 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComНу и что, идет ролл_бэк Коммит попробуй. Роллбэк это слишком просто. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 16:20 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Коммит, который вызовет ошибку? Тогда да, у меня пройдет по идее по он_коммит, еслит он_коммит вызывается до фактического коммита (что не правильно само по себе, но это уже вопрос к разработчикам СУБД). Но вроде мне такой коммит не попадался еще. Кстати, даже такое поведение ни чуть не мешает делать успешную репликацию, а вот отправить к примеру запрос - это да) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 16:27 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComКоммит, который вызовет ошибку? Коммит после запроса, выполнившегося с ошибкой: Код: sql 1. 2. 3. 4.
Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 16:29 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
))) понятно))) мое приложение так не работает, при ошибке вызывает роллбэк, что очень логично) Т.е. эти три запроса я бы вылнял либо execute block если надо гарантировать целостность, либо если "что успешно, то успешно" это было бы 3 разных транзакции ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 16:36 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComSavepoints я не использую Я что-то важное проспал? Тогда поднимите мне веки. Ну позяззя. TransComхотя конечно с транзакциями проще, но в действительности это не производительно само по себе А вот это без экивоков записываю в блокнотик. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 22:01 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Старый плюшевый мишкаЯ что-то важное проспал? Тогда поднимите мне веки. Ну позяззя. Ну, от того что именно тебя пробудило - существование сейфпоитов или их неиспользование - веки придётся тянуть в разные стороны. Так что поясни. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 22:11 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransCom))) понятно))) мое приложение так не работает, при ошибке вызывает роллбэк, что очень логично) Т.е. эти три запроса я бы вылнял либо execute block если надо гарантировать целостность, либо если "что успешно, то успешно" это было бы 3 разных транзакции Я чота запутался в списке чужеродных вариантов при нажатии SRC пишучи (или писючи?) пост, решил нажать по простому FIX, такшта извиняйте если что. Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22.
Транзакция при обращении одна, хоть ты тресни. С точки зрения клиентской программы оператор Select * From Ooops атомарен. Сталбыть, в целях сокращения разрыва OIT-OAT и экономии памяти под TIP его следует завершать коммитом по-любому - если обломался, откатывать нечего. Однако, как много нам открытий чудных готовит просвещенья дух... Сэйвпойнты там всякие и всё такое... ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 22:23 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Старый плюшевый мишка, не ну это совсем косячный косяк. За такие процедуры руки вырывать надо ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 22:28 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Симонов ДенисСтарый плюшевый мишка, не ну это совсем косячный косяк. За такие процедуры руки вырывать надо Как хорошо, что я живу не в Рязани, руки до сих пор на месте В моей практике классика - перелив из одной таблицы с попутной модификацией структуры в другую. Или из одной базы, в частном случае повреждённой, в другую. Если там в ТаблеА лямов 15 записей, то сидеть и плевать в потолок скушна, а тут циферки по экрану бегут, видно сколько сделано, сколько осталось, а если обломится - с какого места начинать. Были такие и в регулярных алгоритмах, но тут уж надо понимать что делаешь и решать - если что, коммитить тебе надо или роллбачить :) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2018, 22:42 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Старый плюшевый мишка, ну как бы сделал селект из такой процедуры, отфетчил 10 записей из 100 и нажал коммит. Особенно в гриде, который фетчит сколько на 2 экрана влезает. Очень весело. Простым Код: sql 1. 2. 3.
без показа циферок быстрее будет. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.07.2018, 00:11 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Симонов ДенисСтарый плюшевый мишка, ну как бы сделал селект из такой процедуры, отфетчил 10 записей из 100 и нажал коммит. Особенно в гриде, который фетчит сколько на 2 экрана влезает. Очень весело. Простым Код: sql 1. 2. 3.
без показа циферок быстрее будет. Ты надеялся, что я это буду оспаривать? Речь вообще-то не о примерах из серии дважды два - четыре, это иллюстрации. Впрочем, зарекался я не вылезать из Пятницы, зря высунулся. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.07.2018, 01:02 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Старый плюшевый мишкаС точки зрения клиентской программы оператор Select * From Ooops атомарен. Он настолько атомарен, что сейфпоинта вообще не создаёт. И то, что унутре яго suspend - сугубо перпендикулярно, ибо тот принудительно подтверждает все сейфпоинты вплоть до вызывающей стороны. То бишь вернул этот select 15 записей - будь спок, что эти 15 записей изменились. И абсолютно адекватно, что то, что select не вернул - не изменилось. Есть, правда, нюанс в виде сетевого буфера, который создаёт разницу между "select вернул" и "на морде отобразилось". Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
28.07.2018, 12:24 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Старый плюшевый мишка, ну если ты целиком и полностью понимаешь как это работает, то пользоваться то конечно можно (хотя я побаиваюсь). Но вот демонстрировать такие примерчики на форумах это всё равно, что разложить мины на поле. Обязьяны обязательно их найдут :) ... |
|||
:
Нравится:
Не нравится:
|
|||
28.07.2018, 14:19 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Братцы! Да не виноватая я, он сам пришёл! И не учил я его плохому, просто показал, как легко и просто можно наступить на грабли того, что ты "не используешь". А уж когда руки стали отрывать, куды деваться-то, защищаться приходится ... |
|||
:
Нравится:
Не нравится:
|
|||
28.07.2018, 21:36 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
TransComесть ли нормальный клиент на C++, нынче использую ibpp +своя поверх оболочка В 3-ке появился штатный ООП интерфейс для C++ и Pascal (Delphi & Free) Я использовал на C++ - вполне юзабельно. Из минусов некоторая многословность, которая легко лечится небольшой своей обёрточкой и несколько странная стратегия освобождения некоторых объектов. :) Правда документации практически нет. Но есть примеры и этот форум. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
29.07.2018, 09:57 |
|
Firebird 2.5 lock file
|
|||
---|---|---|---|
#18+
Симонов Денис, Огромное спасибо! Не хватало. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.07.2018, 10:39 |
|
|
start [/forum/topic.php?all=1&fid=40&tid=1561029]: |
0ms |
get settings: |
7ms |
get forum list: |
10ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
57ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
91ms |
get tp. blocked users: |
1ms |
others: | 7ms |
total: | 188ms |
0 / 0 |