|
|
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
alex342SSD под систему и 1Тб под базубаза на вшивом САТА диске? или таки ССД на 1тб? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2015, 14:42 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
alex342Раскомментировал FileSystemCacheThreshold = 65536 по совету Симонова Дениса он ничего такого не советовал. Он задал три вопроса, из которых ответ был только на два. Архитектура ФБ какая используется? Зачем вы тыкаете в параметры, которые совсем не понимаете? Почему вы не можете обрезать лишнее у картинки? (приложения "Ножницы" нет?). alex342Время обработки первого запуска 8 мин и второго после перезапуска приложения тоже 8 минут. Кеш выключился. а ФБ рестартовали после изменения конфига? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2015, 15:03 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
alex342Dimitry Sibiryakov, А это следующий вопрос... После обработки 150000-200000 строк FB сервер начинал занимать 100% ядра и обработка падала с 600 строк в минуту вначале до 50 через несколько часов. Я думал, мешает уборка мусора. Оказалось , что нет. Но 0 оставил. У меня задача - максимально ускорить обработку кусков по 1-2 млн строк. В начале: select - 7-10 сек, execute proc 0.01-0.02 сек, commit - 1-2 сек Через несколько часов времена пропорционально увеличиваются. Это прокладка виновата. Которая не знает про утечку ресурсов. Короче программу надо показывать. Хотя бы блоками. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2015, 15:09 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
Ivan_Pisarevsky, Мало того САТА, что даже на 5400... Потому и хочу ее кешировать. Но очередь не поднимается до 0.2, время ответа 1-2 мс. А у приятеля 2 ССД на ПО и базу. Результаты почти аналогичны, ~20% побыстрее (скорее всего за большей частоты процессора 3.6 против 2.2). А машина свободна!!! Вот данные с закомментированным параметром #FileSystemCacheThreshold = 65536 По мере обработки кеш ОС вырастает не спеша до 1.5-2 гб. Наверное вернусь к SS. Там сразу и памяти FB берет под 2ГБ и кеш побольше. И проводок он обрабатывает сначала под 800 в минуту ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2015, 15:15 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
alex342Раскомментировал FileSystemCacheThreshold = 65536 по совету Симонова Дениса. я тебе такого не советовал ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2015, 15:16 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
Симонов Денис, Ты мне сказал, что FileSystemCacheThreshold (65536) параметр должен быть больше DefaultDbCachePages (20000). Я его и включил, он оказался больше, значит кеш ОС должен точно работать. А он не работает. >>>>Это важно. Если DefaultDbCachePages > FileSystemCacheThreshold, то файловый кеш будет отключен <<< А увеличиваю я только те параметры, которые есть в "оптимизированных" конфигах для SC иSS и смотрю на скорость обработки в программе. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2015, 15:26 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
Зимаргл, По мере работы программы растет время выполнения процедуры. Придется обращаться к разработчикам. Наверное все ускорение там и лежит. А в таком режиме обработку даже на выходные не оставить, она умирает. Приходится через несколько часов перезапускать ПО. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2015, 15:49 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
alex342, если параметр закомментирован, значит его значение будет дефолтным, т.е. те же самые 65536. Я спросил это лишь для того чтобы убедится, что значения твоих параметров удовлетворяют этому условию ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2015, 15:55 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
alex342И проводок он обрабатывает сначала под 800 в минутуСначала? alex342А в таком режиме обработку даже на выходные не оставить, она умирает. Приходится через несколько часов перезапускать ПО.Я вам по секрету скажу:"Ваша прикладная программа гамно". И быстрее она не заработает, даже если все положить на RAM диск. alex342Придется обращаться к разработчикам.Без этого никак. Правда не факт, что одолеют проблему. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2015, 15:55 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
Ivan_PisarevskyСначала?"Ничего не могу поделать - каждый день я всё дальше ухожу от банки с краской". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2015, 17:19 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
alex342Приходится через несколько часов перезапускать ПО. плохо написанное приложение (и вероятно, процедуры), накапливаются версии, увеличиваются тормоза. Кэшем это не исправить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.12.2015, 17:23 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
kdv, Разница между Oldest и Next transaction увеличивается. Это и есть накапливание версий (мусора)? Database "D:\RGB\RGB_DATA.FDB" Database header page information: Flags 0 Checksum 12345 Generation 14539 Page size 16384 ODS version 11.2 Oldest transaction 3827 Oldest active 9003 Oldest snapshot 8998 Next transaction 9067 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.12.2015, 11:44 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
alex342Разница между Oldest и Next transaction увеличивается. можно и так сказать, но вернее будет сказать, что OIT застряла, т.е. был rollback в транзакции 3827. Обычно OIT идет вместе с OST. alex342Это и есть накапливание версий (мусора)? я не собираюсь цитировать статьи с ibase.ru про свип, версионность, мусор и прочее, как минимум потому что я их писал. Мусор - это версии записей, которые никому не нужны. Есть версии - будет мусор. Нет версий - не будет никакого мусора. Прямой взаимосвязи между номерами транзакций и "количеством мусора" нет вообще. Можно стартовать миллион транзакций, и поменять всего одну запись. Или наоборот - можно вставить миллион записей в одной транзакции, а потом сделать rollback. Например, такое же как у вас состояние маркеров транзакций я вам могу сделать, не меняя вообще никаких данных в БД. Причем, несколькими вариантами. Один из вариантов - стартовать транзакцию, и сделать reset серверу ФБ. При старте он обнаружит, что транзакция N активна, хотя коннектов нет, и поменяет ее состояние с active на rolled back. Это и будет застрявшая OIT. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.12.2015, 12:14 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
kdvбыл rollback в транзакции 3827. А не 3828?.. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.12.2015, 13:13 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov, авторOldest transaction 3827 зачем здесь +1? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.12.2015, 14:05 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
kdvзачем здесь +1? ЕМНИП, Влад говорил, что в заголовок пишутся номера на единицу меньше реальных. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.12.2015, 14:10 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
kdv, Поговорил с программистами про накапливание мусора и версионности. Сказал, что после перезапуска приложения все сначала работает быстро. Они не вдаваясь в подробности, после обработки 20000 записей сделали дисконнект и реконнект к базе. Накапливающиеся тормоза пропали, скорость обработки к 3-м часам, я думаю что за счет кеша ОС выросла с 560 до 640 записей в минуту и на этом остановилась, остановился и рост кеша ОС. Вот картинка 4-х часов обработки. FB в режиме SS с задранными параметрами в памяти занимает 1-1.3 Гб ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.12.2015, 17:42 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
kdv, Теперь можно и в ночную, да несколько экземпляров ПО ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.12.2015, 17:44 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
alex342не вдаваясь в подробности Следует читать как "не пытаясь напрягать межушный ганглий". Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.12.2015, 17:46 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
kdv, Попробовал наше ПО на FB 3.0. Длинные операции работают быстрее! (причем файла базы данных в кеше Windows RamMap не видит вообще!). А вот как вернуть базу обратно для 2.5.5, если что не заладится? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.12.2015, 16:31 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
alex342А вот как вернуть базу обратно для 2.5.5, если что не заладится? во-первых, для этого нельзя использовать ничего нового из 3.0. во-вторых, http://www.ibase.ru/devinfo/prevver.htm см. раздел "переход на версию назад". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.12.2015, 17:10 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
alex342, еще, если система не ваша, т.е. разработана сторонними разработчиками, то менять версию ФБ нельзя вообще. кроме того, ФБ 3.0 еще не релиз, ожидается только к январю 2016. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.12.2015, 17:12 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
alex342Попробовал наше ПО на FB 3.0. Длинные операции работают быстрее! (причем файла базы данных в кеше Windows RamMap не видит вообще!). А вот как вернуть базу обратно для 2.5.5, если что не заладится? Берёшь Avalerion , делаешь репликацию в старую БД на старом сервере. Если что-то не заладится, просто меняешь сервер в строке подключения. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.12.2015, 17:16 |
|
||
|
Firebird и ОЗУ Windows
|
|||
|---|---|---|---|
|
#18+
kdv, FB 3.0 использовать для глобальных импортов и обработки, например в выходные. Выигрыш в скорости примерно на треть на каждое подключение (вместо 500-550 сделок в минуту - 750-800). А затем конвертироваться в 2.5 и работать с данными в ПО до следующего большого импорта. ПО достаточно универсальное, работает c SQL FB, MS, Oracle, есть контакт с разработчиками. Попробую gbak'ом в понедельник. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.12.2015, 17:38 |
|
||
|
|
start [/forum/topic.php?fid=40&gotonew=1&tid=1562456]: |
0ms |
get settings: |
12ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
31ms |
get topic data: |
11ms |
get first new msg: |
8ms |
get forum data: |
3ms |
get page messages: |
70ms |
get tp. blocked users: |
1ms |
| others: | 264ms |
| total: | 419ms |
| 0 / 0 |
