|
|
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
hi all. Сабж. Встречается эта "комета" чрезвычайно редко (я видел последний раз несколько лет взад, хотя изгаляюсь над ФБ чуть ли не каждый день). Все транзакции стартуют как read committed record_version no wait, число isql'ей = 350. Молотьба шла с 31-10-2013 15:53, остановлена только что. За эти 50 ч в двух error-логах окошек вылезло: Код: plaintext 1. 2. 3. 4. 5. Код: plaintext 1. 2. 3. 4. 5. 6. Видно, что каждый из этих isql'ей в соотв-щий ошибке момент времени не мог достучаться до сервака ("Cannot get server version without database connection"). Но в firebird.log'е НИЧЕГО нету! И крашей тоже не было. И чего тогда это могло быть ? Код: plaintext 1. 2. 3. 4. 5. 6. 7. PS. Вопрос ДСа от 2009 на эту же тему читал, но так и не понял, где собака порылась. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 18:22:53 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидPS. Вопрос ДСа от 2009 на эту же тему читал Тот мой вопрос был совсем на другую тему. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 19:49:23 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov, а, точно. Тогда всё еще загадочнее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 19:56:28 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид> Видно, что каждый из этих isql'ей в соотв-щий ошибке Таблоид> момент времени не мог достучаться до сервака Вроде бы это может не иметь никакого отношения к самим insert-ам, т.е. если какая-то бага и проблем действительно есть, то где-нибудь в другом месте. Иначе старый рецепт бесконфликтности insert-ов придётся пересматривать, чего лично мне очень бы не хотелось. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 20:54:15 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов РустамВроде бы это может не иметь никакого отношения к самим insert-ам, т.е. если какая-то бага и проблем действительно есть, то где-нибудь в другом месте.Вероятнее всего - именно так. Ибо "встреча" с этим сообщением для инсертов происходит ЧРЕЗВЫЧАЙНО редко. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 21:25:47 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Так хочешь поймать - избавься от всех реконнектов и пр. Оставь только 1 коннект в самом начале и запусти тест. Заодно ещё и нагрузку можно будет увеличть. Более того, в идеале - ещё и сначала 350 коннектов и только потом 350 молотилок insert-а. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 21:28:53 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Ну так попробуй не использовать no wait. Ибо что бы там ни говорил kdv, no wait это не единственный правильный вариант. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 21:32:32 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
А как wait вместо no wait должен помочь в данном случае? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 21:41:12 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов РустамА как wait вместо no wait должен помочь в данном случае? Заставит транзакцию подождать освобождения ресурса за который она конфликтует. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 21:44:47 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ГРТак хочешь поймать - избавься от всех реконнектов и пр. Оставь только 1 коннект в самом начале и запусти тест .Т.е. создать огромный скрипт не с 30 (как сейчас), а с 3000 execute_block'ами + коммитами и молотили чтобы без передыхов (типа shell ping -n 30 localhost>nul) - так ? ГРЗаодно ещё и нагрузку можно будет увеличть.Нагрузку могу увеличить раза в полтора-два, не более. Как-то делал 700-800 аттачей, ~полтора года взад, когда с missing entries воевал, - сервер начинает загибаться. Ошибка (на имеющемся у мну железе) появляется не чаще, чем орбитальные сближения Марса с Землёй. ГРБолее того, в идеале - ещё и сначала 350 коннектов и только потом 350 молотилок insert-а. Сделать что-то типа барьера (термин из java), когда 100 задач подходят к стартовой точке, НЕ начиная выполнения до тех пор, пока не откроется барьер, а затем после открытия этого шлагбаума сразу все вместе ломятся со своими 100500 insert'ами - я правильно понял твою мысль ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 22:19:45 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovГаджимурадов РустамА как wait вместо no wait должен помочь в данном случае?Заставит транзакцию подождать освобождения ресурса за который она конфликтует.Она дождётся этот ресурс и... чего дальше ? insert не может вызвать конфликт потерянного обновления, а в условиях юзания генератора для ПК - не может также вызвать нарушание этого ПК. Будет ли вообще сабжевая ошибка при таких условиях ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 22:22:20 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидОна дождётся этот ресурс и... чего дальше ? Скорее всего сделает что хочет и пойдёт дальше работать. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 22:27:13 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидОна дождётся этот ресурс и... чего дальше ? Скорее всего сделает что хочет и пойдёт дальше работать.ну, и как зарегистрировать тот факт, что перед этим моментом она некоторое время не могла делать insert ? т.е. вот упёрлась она wait-лбом во что-то - и как залогировать это её "затруднение" ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 22:30:38 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоидкак залогировать это её "затруднение" ? Никак, это рабочая ситуация. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 23:00:01 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидкак залогировать это её "затруднение" ?Никак, это рабочая ситуация.ну, и в чём профит ? с no_wait хотя бы видно, что проблема существует, а так и не увидим ничего... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 23:03:13 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоидс no_wait хотя бы видно, что проблема существует Какая проблема? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 23:05:09 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидс no_wait хотя бы видно, что проблема существуетКакая проблема?Проблема непонятности, см. стартовый вопрос топега... :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 23:35:15 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидПроблема непонятности, см. стартовый вопрос топега... :-) Проблема малоинформативности сообщений об ошибках в Firebird видна в любом случае. Но вот отсутствие в твоих логах собственно того statement, который failed, это уже проблема твоих логов, с Firebird не связанная. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2013, 23:59:13 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Нашёл я, где это происходит: к этому приводит во всех имеющихся случаях... запрос show version! Этот запрос сидит в самом начале .sql-скрипта, выполняемого каждой молотилкой. Вот как он выглядит: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. Вызов isql идёт с ключиком `-b` (bail on error), поэтому при обломе ЛЮБОЙ из команд скрипта (в т.ч. show-) будет немедленный возврат из скрипта. В итоге, вместо вот такого лога: типичный лог, когда нет ошибок Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. -- в каждом "странном" случае получаю вот такую пустышку: Код: plaintext 1. 2. 3. 4. И сопоставляя выведенный текст (в этой пустышке) с временем возникновения ошибки: Код: plaintext 1. 2. 3. 4. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 00:11:26 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоидвижу, что спотыкач случился именно на show version. Правильно. Потому что CONNECT обломился с приведённой ошибкой. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 00:15:29 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидвижу, что спотыкач случился именно на show version. Правильно. Потому что CONNECT обломился с приведённой ошибкой.А не обломился ли он именно от того, что первая команда в скрипте есть show version ? PS. Вызов isql'я (на всякий): Код: plaintext ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 00:21:49 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид> Нашёл я, где это происходит: к этому приводит во всех имеющихся случаях... запрос show version! Начал было отвечать на твоё сообщение выше, но вовремя увидел это. Так вот - так тебе и надо! :) Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 00:22:05 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов РустамТаблоид> Нашёл я, где это происходит: к этому приводит во всех имеющихся случаях... запрос show version! Начал было отвечать на твоё сообщение выше, но вовремя увидел это. Так вот - так тебе и надо! :)а чё не так ? нельзя версию спросить, что ле ?!.. :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 00:30:02 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид> а чё не так ? Подход к тестированию: а) тест синтетически не чистый (у тебя всегда так) б) тест плохо реализован (выводить кривой оператор нужно было сразу, а не с подсказки ДСа). > нельзя версию спросить, что ле ?!.. :-) Да хоть обспрашивайся, мне не жалко. :) Но посягать на святое - бесконфликтность инсертов - не нааадо!... Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 01:29:29 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов РустамИначе старый рецепт бесконфликтности insert-ов придётся пересматривать, чего лично мне очень бы не хотелось. Я в оракле недавно наткнулся на блокировку при вставке из-за наличия bitmap индекса. Было больно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 07:53:13 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов Рустама) тест синтетически не чистый (у тебя всегда так)я уже столько раз слышал от тебя упрёки в "синтетической нечистоте", что теперь точно знаю: ты когда-нибудь ОБЯЗАТЕЛЬНО приведёшь здесь, на скл.ру, абсолютно чистый несинтетический тест. Своего изготовления. Гаджимурадов Рустамб) тест плохо реализован (выводить кривой оператор нужно было сразу, а не с подсказки ДСа).Чем он (show version) кривой, откуда это известно ? И что значит "выводить нужно было СРАЗУ " ? (не понял я тут, объясни еще раз) Гаджимурадов РустамНо посягать на святое - бесконфликтность инсертов - не нааадо!... я и не думкал посягать на них. Сейчас запустил этот же тест, 450 молотилок, все делают инсерты. Но убрал из скрипта show version. Оставляю на N часов, по окончании его и посчитаем цыплят посмотрим в логи. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 13:07:00 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ГхостикЯ в оракле недавно наткнулся на блокировку при вставке из-за наличия bitmap индекса. Было больно.OLTP ? ( ибо... ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 13:11:25 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, я посмотрел твой тест. Честно говоря причину конфликта в конкретном скрипте не вижу. Скорее всего эта ошибка прилетела ещё откуда нибудь. Вообще тест конечно запутанный. Вот если бы ты сделал что-то более простое на чём можно было заметить эти конфликты тогда было бы проще. Сам тест конечно прикольный эмулирует высокую нагрузку по DML. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 13:39:42 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидА не обломился ли он именно от того, что первая команда в скрипте есть show version ? Нет. В нём нет телепатии чтобы предвидеть команды, а ошибка у тебя выводится ещё до начала выполнения скрипта. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 14:36:02 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов ДенисВообще тест конечно запутанный. Вот если бы ты сделал что-то более простое на чём можно было заметить эти конфликты тогда было бы проще.Он предназначался для других целей: в 2010 была наивная надежда стабильно воспроизвести с его помощью страшную гадость - missing entries в индексах. Стабильно воспроизвести не получалось, но Влад тогда всё-таки убил эту нечисть. Надеюсь, что навсегда. Затем этот тест юзался для проверки устойчивости работы ФБ под сильной DML-нагрузкой. Было выявлено несколько траблов Код: plaintext Увы, но проблема неожиданных затыков при установке коннектов (доходить может аж до... 600 сек!!) пока не решена, хотя именно её исследование сейчас и ведётся. Сабж обнаружился вообще случайно: несколько .err-логов имели ненулевой размер. Это я потом уже вспомнил, что видел его раньше. Ну так вот, докладываю: странное сообщение о конфликте блокировки при insert'ах НЕ связано с наличием оператора show version . Ибо сейчас этот оператор в скрипте закомментарен. А сообщение снова получено. Те же самые 450 молотилок всё-таки мистическим образом "сталкиваются" в каком-то астрале своими инсертами... Симонов ДенисСам тест конечно прикольный эмулирует высокую нагрузку по DML.У мну в планах есть сбацать настоящий тест, где будет много таблиц, отражающих реальные сущности (изделия, контрагенты, остатки и балансы етц). В него же хочу вкрячить бесконфликтное обновление балансов по "схеме ДСа" (она вроде не им придумана, но ДС её тут показывал), ну и еще несколько фишек, в т.ч. новшеств из ФБ-3. Но это попозжее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 18:14:01 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovНет. В нём нет телепатии чтобы предвидеть команды, а ошибка у тебя выводится ещё до начала выполнения скрипта.Если ошибка лезет в ответ на isc_attach_database(), то... откуда ФБ "знает", что скрипт собирается insert'ы делать ?! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 18:19:21 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидТе же самые 450 молотилок всё-таки мистическим образом "сталкиваются" в каком-то астрале своими инсертами... Сними fb_lock_print -a и посмотри длины очередей локов к разным страницам. Вполне возможно, что они сталкиваются не "в астрале", а на header page или TIP. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 18:19:39 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоидоткуда ФБ "знает", что скрипт собирается insert'ы делать ?! Он и не знает. С чего ты это взял?.. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 18:22:46 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид> А сообщение снова получено. То же самое сообщене (lock conflict on no wait tx) ? И на каком операторе? И приведи текст своего скрипта без закомментированного show version. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 18:52:18 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, меня настораживает кэш DefaultDbCachePages = 65000 чего так много Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. Page size = 4096 чего так мало ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 21:12:34 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидТе же самые 450 молотилок всё-таки мистическим образом "сталкиваются" в каком-то астрале своими инсертами...Сними fb_lock_print -a и посмотри длины очередей локов к разным страницам. Вполне возможно, что они сталкиваются не "в астрале", а на header page или TIP.Снимок лок-таблицы надо делать именно в тот момент, когда возникает это "нечто", выдающее себя за lock conflict. Предсказать сиё нельзя. Что тогда, снимать каждую секунду ? Всё равно слишком грубая точность. Надо чтобы ФБ сам создавал в таких ситуациях снимок ЛТ и стек-трейс. То есть, нужна какая-то аналогия триггера на это событие и чтобы этот триггер создал нужный лог. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 23:17:22 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидоткуда ФБ "знает", что скрипт собирается insert'ы делать ?! Он и не знает. С чего ты это взял?..ну откудова он тогда берёт текст 'lock conflict on no wait tx' ? какой еще оператор может вызвать его, кроме инсерта ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 23:18:18 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов Рустамприведи текст своего скрипта без закомментированного show version.в аттаче. Это большой скрипт, в котором: 1) сначала задаются команды: Код: plaintext 1. 2. 3. 2) 30 раз повторяется вот этот фрагмент: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. 113. 114. 115. 116. 117. 118. 119. 120. 121. 122. 123. 124. 125. 126. 127. 128. 129. 130. 131. 132. 133. 134. 135. 136. 137. 138. 139. 140. 141. 142. 143. 144. 145. 146. 147. 148. 149. 150. 151. 152. 153. 154. 155. 156. 157. 158. 159. 160. 161. 162. 163. 164. 165. 166. 167. 168. 169. 170. 171. 172. 173. 174. Скрипт сей вызывается из батника, в цикле, командой: Код: plaintext 1. В итоге, работа скрипта логируется в somename.txt, а ошибки выполнения - в соотв-щий somename.err, где имя <somename> генерится в батнике через имя компа + режим (%mode%) + номер_запущенного_окна. Вот пример лога выполнения скрипта: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 23:31:04 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов ДенисDefaultDbCachePages = 65000 чего так многоТестирую SuperServer, что плохого в таком значении ? Памяти на хосте 32 Гб. Симонов ДенисPage size = 4096 чего так малоДык DML будет фиговее идти (в отличие от селектов), когда размер страницы задран. Я вроде бы ковырял этот вопрос. Но не помню, вываливал сюда результаты или всё так и осталось в кулуаре. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 23:35:54 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидСнимок лок-таблицы надо делать именно в тот момент, когда возникает это "нечто", выдающее себя за lock conflict. Не надо. Общая картина очередей не должна сильно меняться. Просто в какой-то момент одна из и без того длинных очередей ещё чуть-чуть подрастает и - опа! - у кого-то не выдерживают нервы. Таблоидну откудова он тогда берёт текст 'lock conflict on no wait tx' ? какой еще оператор может вызвать его, кроме инсерта ? Из пальца высасывает. Это всего лишь текстовая интерпретация ошибки, выбрасываемой лок-менеджером. И как это обычно бывает, выкидываться она может из любого места, вплоть до не относящегося к транзакциям вообще. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 23:40:21 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов РустамТо же самое сообщене (lock conflict on no wait tx) ? И на каком операторе?Почти то же самое, отличие только во втором слове Оператор теперь тот, который "следующий в очереди" после закомментаренного: Код: plaintext 1. 2. 3. 4. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 23:40:27 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovЭто всего лишь текстовая интерпретация ошибки, выбрасываемой лок-менеджером. И как это обычно бывает, выкидываться она может из любого места, вплоть до не относящегося к транзакциям вообще.Код ошибки: 40001 - он должен быть "индивидуальным" для этой ситуации или так же будет выброшен "от балды" ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 23:41:58 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидСнимок лок-таблицы надо делать именно в тот момент, когда возникает это "нечто", выдающее себя за lock conflict. Не надо. Общая картина очередей не должна сильно меняться. Просто в какой-то момент одна из и без того длинных очередей ещё чуть-чуть подрастает и - опа! - у кого-то не выдерживают нервы.Ну, и с какой частотой посоветуешь запускать fb_lock_print ? Напомню: молотьба идёт 450 коннектами, только insert'ы, ИНДЕКСЫ ВСЕ УБИТЫ (временно :-)), рост размера базы - примерно 0.7 ... 1.0 Мб в секунду. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 23:44:26 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovИ как это обычно бывает, выкидываться она может из любого места, вплоть до не относящегося к транзакциям вообще.А это... как его... не может ли она выбрасываться в те моменты, когда ФБ запрашивает у диска место для увеличения размера .fdb ?! А то что-то не вижу в упор, что еще может вызвать сиё... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 23:47:07 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидКод ошибки: 40001 - он должен быть "индивидуальным" для этой ситуации или так же будет выброшен "от балды" ? SQLCODE это ещё большая братская могила чем gdscode. А текст ошибки это именно интерпретация gdscode. ТаблоидНу, и с какой частотой посоветуешь запускать fb_lock_print ? Напомню: молотьба идёт 450 коннектами, только insert'ы Один раз. Когда все окна уже запустились и молотьба идёт в стабильном режиме. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 23:47:54 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидА то что-то не вижу в упор, что еще может вызвать сиё... Да всё что угодно. У тебя же ОСь не реального времени. Активировался какой-нибудь процесс и сожрал немного больше ЦПУ или ввода-вывода и вот уже страница сбросилась в кэш на долю секунды позже. А молотилок много, они выстроились в очередь и у кого-то из них не выдержали нервы (то бишь случился таймаут) и была выброшена ошибка "не смог дождаться". Что в переводе и звучит как "lock conflict on no wait transaction". Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2013, 23:58:22 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидА то что-то не вижу в упор, что еще может вызвать сиё... Да всё что угодно. У тебя же ОСь не реального времени. Активировался какой-нибудь процесс и сожрал немного больше ЦПУ или ввода-вывода и вот уже страница сбросилась в кэш на долю секунды позже. А молотилок много, они выстроились в очередь и у кого-то из них не выдержали нервы (то бишь случился таймаут) и была выброшена ошибка "не смог дождаться". Что в переводе и звучит как "lock conflict on no wait transaction".В общем, запустил fb_lock_print -c -a -d ... с логированием и упаковкой каждого лога в отдельный .rar, с интервалом 30 сек. Оставляю до завтрего. Если за ночь появятся новые lock conflict'ы, то сделаю тынц на соотв-щие снимки лок-таблы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 00:41:36 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
... "before I forget" ((C) John Lord' 1982): надо бы запустить эти инсерты БЕЗ вызова gen_id(). Кто его знает, вдруг причина именно в этом... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 00:50:54 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
А также без show database, select-ов и пр. ненужного. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 00:53:26 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Пофиг. Ни генераторы, ни страницы данных при коннекте не читаются. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 00:55:57 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovА молотилок много, они выстроились в очередь и у кого-то из них не выдержали нервы (то бишь случился таймаут ) и была выброшена ошибка "не смог дождаться". Что в переводе и звучит как "lock conflict on no wait transaction".Таймаут при no wait... внезапно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 01:14:17 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
hvladТаймаут при no wait... внезапно Ну не таймаут... Немного поиска и я вижу, например, что она может кидаться из lck.cpp и без транзакции вообще. Фиг знает, конечно, в каких случаях... Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 03:00:07 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоидзапустил fb_lock_print -c -a -d ... с логированием и упаковкой каждого лога в отдельный .rar, с интервалом 30 сек. Оставляю до завтрего. Если за ночь появятся новые lock conflict'ы, то сделаю тынц на соотв-щие снимки лок-таблы.Попалось три карася. В 05:37:20, 05:37:27 & 08:50:14. Все три в своих .err-логах вывели одно и тоже: Код: plaintext 1. 2. 3. 4. Поскольку всё это время работал shell-скрипт, фоткавший лок-таблицу с интервалом 30 сек (от заверешния упаковки предыдущего снимка до запуска нового fb_lock_print'a), то в наличии есть соотв-щие архивы перед и после наступления моментов времени 05:37 и 08:50. Эти архивы (две папки с .rar'ами) выложил сюда: http://yadi.sk/d/tQ1mIjw-C64C7 Тест остановил, сейчас перезапущу его уже без всяких show version, gen_id и прочего - выкину всё, что только возможно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 10:28:56 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
PS. А еще есть несколько (четыре штуки) .err-логов вот с такой странностью: Код: plaintext Такие вот делы... :-/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 10:34:08 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидPS. А еще есть несколько (четыре штуки) .err-логов вот с такой странностью: Код: plaintext Такие вот делы... :-/... забыл добавить: в логе ФБ этим странностям (про неправильный пароль) соответствуют мессаги: Код: plaintext 1. 2. 3. 4. 5. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 10:37:37 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovФиг знает, конечно, в каких случаях...Может тогда лучше просто жевать ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 11:24:05 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, а что, разве было сказано, что с security уже всё ок ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 11:25:12 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
hvladа что, разве было сказано, что с security уже всё ок ?Нет, не было. Но никто и не ждёт, что в ФБ-3 будет сразу всё ОК. К тому же, в этом варианте теста коннекты все идут через legacy-плагин, т.е. клиент=2.5 (кроме bash-скрипта калибратора). Может, это как-то влияет... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 11:45:51 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
В общем, закомментарил все вызовы gen_id, заменил маразм вида "||(select cast('now') from rdb$database)" на просто "||cast('now')", закомментарил все прочие select'ы. Операторы show version & show database - закомментарены. Скрипт, который теперь выполняют 450 молотилок, выглядит так: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. 113. 114. 115. 116. 117. 118. 119. 120. 121. 122. 123. 124. 125. 126. 127. 128. 129. 130. 131. 132. 133. 0) калибратор скорости установки коннектов (это - святое ;)); 1) скрипт, ожидающий появление в .err-логах сообщения 'lock conflict', и регистрирующий это; 2) скрипт, снимающий лок-таблицу, но интервал поставил 15 сек вместо 30. Оставляю на несколько часов, "пущай полетает". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 12:07:43 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 12:07:55 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов ДенисТаблоид, ты на более свежем снапшоте проверь. Там CORE-4200 исправили. Может она являлась причиной.Это только завтра, видимо. Тест получается каждый раз часов на 10-12. Хотелось бы ясности сначала с сабжем, а уже после копать на тему неправильных (якобы) паролей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 12:20:31 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, там тикет не про неправильные пароли, про блокировку подключений. Кто знает может твой lock conflict от туда лез. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 12:32:28 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидВ общем, закомментарил все вызовы gen_id, заменил маразм вида "||(select cast('now') from rdb$database)" на просто "||cast('now')", закомментарил все прочие select'ы. Операторы show version & show database - закомментарены. <...> Оставляю на несколько часов, "пущай полетает".Хоп! А вот и первый (и единственный пока) карась, быстро же он попался: Код: plaintext 1. 2. Снимки лок-таблицы за период с 12:10 по 12:20 - тут: http://yadi.sk/d/DJqYJXYlC6Nwi HTH. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 12:39:34 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов Денистам тикет не про неправильные пароли, про блокировку подключений. Кто знает может твой lock conflict от туда лез.Тогда бы они вместе "ходили", сообщения эти: о недоступности sec3.fdb и о лок-конфликтах. А они, судя по всему, не связаны, т.к. в разное время лезут. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 12:41:03 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
hvladМожет тогда лучше просто жевать ? Нет, лучше не использовать вторсырьё левые коды ошибок. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 13:54:42 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидХоп! А вот и первый (и единственный пока) карась, быстро же он попалсяВторой карась попался. В общем, ошибка эта всё-таки НЕ была связана ни с show version / database, ни с вызовами gen_id(). Это выплёвывает либо вызов isc_attach, либо всё-таки insert. Снимки ЛТ во временнОй "окрестности" второго карася пока не делаю - жду, чего скажут Источники Света. Может, оно вообще так и должно быть сейчас в Фб-3.х, да на большой нагрузке ?.. ;-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 14:56:25 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Итог печален, как дождливый день. За период с 11:28 (т.е. пять часов) на двух машинах проявилось вполне себе ощутимое число lock conflict'ов при insert'ах(?). Часть из них действительно как-то "странно близки" по времени (см выделенные цветом), остальные вылезли сами по себе, вне связи с чем-либо. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. Ошибка лезет на скрипте, который делает execute block'и только с инсертами + коммиты. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 16:52:06 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
у тебя триггер на коннект небось есть? Может он не только бесконфликтные инсерты делает? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 18:24:51 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
dimitr, есть конечно. Вот он у него какой Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. но вроде он свои скрипты другим плоьзователем исполняет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 18:41:03 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
dimitrу тебя триггер на коннект небось есть? Может он не только бесконфликтные инсерты делает?Есть. База, кстати, та же самая, что и у тебя. Но не вижу в упор, что там такого конфликтного в триггере на коннект. Вот: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 18:44:23 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидНо не вижу в упор, что там такого конфликтного в триггере на коннект. Для него стартует транзакция, так что лично я бы его для тестов убрал. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 18:51:45 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидНо не вижу в упор, что там такого конфликтного в триггере на коннект.Для него стартует транзакция, так что лично я бы его для тестов убрал.Можно, конечно, попробовать. Но при сильной нагрузке каждая из молотилок выполняет своё задание (30 пакетов вида ecxecute block + commit, код я приводил выше) на несколько минут. Так что триггер этот будет гораздо чаще дёргаться одним лишь калибратором. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 19:01:44 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
У тебя ошибка вылазит при connect. Триггер выполняется при connect. Какая разница как часто он выполняется, если каждый раз он выполняется как раз тогда, когда вылазит ошибка? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 19:04:43 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovУ тебя ошибка вылазит при connect .Обоснуй! Меня терзают смутные сомнения, что это *не* isc_attach, а всё-таки какой-то баг при insert'ах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 19:07:23 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидОбоснуй! Тебе "After line 0" ничего не говорит?.. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 19:10:22 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
А, вижу. Сейчас проверил: действительно, при ошибке внутри execute block'а номер строки будет 1, а не 0. Ладно, дождусь результатов при DatabaseGrowthIncrement = 0 (запустил недавно), после чего проверю вариант без connect-триггера и калибратора. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 19:38:12 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Кажись, ДС прав: "что-то" там неправильное живёт в триггере на connect. Сейчас этот триггер удалён, и сабжевого сообщения в .err-логах нету. Оставляю молотьбу до утра. Если к утру ни одного карася не появится, значит точно трабл где-то в db_level-триггере. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 22:07:10 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидЕсли к утру ни одного карася не появится, значит точно трабл где-то в db_level-триггере."Караси" всё-таки случились. За полчаса - сразу 4 штуки. При отсутствии каких-либо триггеров . Индексов тоже нет. Код: plaintext 1. 2. 3. 4. А это значит, что проблема не в триггере. Any comments ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 23:19:06 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Запусти тест заново и на чистой БД. А-то у тебя то триггеры, то ещё что. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 00:01:54 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов РустамЗапусти тест заново и на чистой БД. А-то у тебя то триггеры, то ещё что.я запускаю каждый раз на базе, являющейся копией эталона. А эталон сейчас НЕ содержит ни индексов ни триггеров. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 00:54:22 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ДЕ и Владу ты его уже заслал? Ибо иначе угадать что-то вряд ли получится, чем играть в испорченный телефон им проще самим менять, что нужно, наверное. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 02:09:32 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Если есть подозрение, что виноваты инсерты, надо попробовать без них. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 10:42:44 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Сисдба Мастеркеевич, Кстати да. Интересный вариант. У меня почему-то пока подозрение на security ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 11:57:45 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов РустамДЕ и Владу ты его уже заслал?Этот тест есть у всех трёх Источников Света. Я понимаю, что у них нет времени на возню с подкручиванием его настроек, изменением режимов запуска, написание вспомогательных скриптов и проч., поэтому пишу им в личку результаты, в "фоновом режиме". Ну и сюда выкладываю, когда уже совсем что-то непонятное (типа сабжа). 2 Симонов Денис: у тебя есть там резервный сервак (линуксовый), чтобы запустить кое-что ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 13:32:42 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Сисдба МастеркеевичЕсли есть подозрение, что виноваты инсерты, надо попробовать без них.Была такая мысль, еще вчера. Запущу сегодня, попозже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 13:33:37 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, есть виртуалка CentOS 6.4 x64. Вечерком после работы могу попробовать. На работе есть и реальная машинка, но тут на ней оракля крутится. Использую для отладки одного приложения (досталось поддержка), а потому не хотелось бы на нее ставить ещё что либо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 13:46:27 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов Денисесть виртуалка CentOS 6.4 x64.сколько там памяти ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 13:47:15 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, оперативы 2 Гб, а вот дискового пространства не много ~60 Гб. Сколько надо (пора фильмы на болванки зарезать)? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 13:52:30 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов Денис, оперативы для 350 коннектов маловато будет, но больше вряд ли получиться предоставить. Компьютер - обычная рабочая станция с 4 Гб оперативки, больше половины под виртуалку отдать не могу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 13:55:35 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, хотя для супера может и ничего будет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 13:58:48 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов Денисоперативы 2 Гб, а вот дискового пространства не много ~60 Гб. Сколько надо (пора фильмы на болванки зарезать)?ну, хотя бы 4 гб оперативки хотелось бы... Впрочем, ладно: будем довольствоваться этим. Запустить тест на INSERT'ы (и только на них) сможешь ? Наверное, окошек 200 можно будет открыть - у мну дома комп с еще меньшим объемом памяти, он ворочал это количество окон. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 14:22:29 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, хорошо попробую вечерком. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 14:23:56 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Сисдба МастеркеевичЕсли есть подозрение, что виноваты инсерты, надо попробовать без них.В общем, по итогам ночного теста докладываю: "карасей" пришло целое стадо. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 14:48:16 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
2 dimitr: а можно ли сбацать какой-нибудь хитрый патч (только для этого варианта теста), чтобы он вываливал дамп и всю прочую инфу, как только в движке возникает lock conflict ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 14:54:57 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
PS. И еще. 1. Вылезли также ошибки инвалидных усеров-паролей: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 2 . Сейчас у меня есть вспомогательная база с результатами логирования вызовов isql батником (батник записывал в лог результат команды echo %time% непосредственно перед вызовом isql на каждой итерации; лог этот был обработан и загружен в .fdb). Таким обр., можно точно понять, каким было максимальное число isql'ей, выстраивавшихся в очередь на аттач к базе. На интервале 0.01 сек максимальные очереди возникали в следующие моменты времени (показаны первые 10 строк по убыванию `cnt`): Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Как видим, никакой связи между появлением ошибки 'invalid user/password' и числом isql'ей в очереди нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 15:11:46 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
До тех пор, пока Алекс не скажет, что с секюрити всё ок, я даже думать не буду об этом. Займись чем-то другим, неужели нет более важных задач ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 15:15:32 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
hvladДо тех пор, пока Алекс не скажет, что с секюрити всё ок, я даже думать не буду об этом.Алексу по поводу invalid user/password'a я сигналил еще до выходных. Сам жду от него ответа по этой теме. hvladЗаймись чем-то другим, неужели нет более важных задач ?Да заняться-то мне всегда есть чем. Ладно. Тест есть уже у четверых (три Источника Света и Денис), поддать с его помощью средний или сильный "жар" и получить ошибки - дело нескольких часов. Когда и если надо будет - сами сможете во всём убедиться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 16:06:13 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидВылезли также ошибки инвалидных усеров-паролей: Выкинь вообще из схемы security пока она сырая - запускай свои тесты в Embedded режиме. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 16:08:28 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидВылезли также ошибки инвалидных усеров-паролей: Выкинь вообще из схемы security пока она сырая - запускай свои тесты в Embedded режиме. да хрен с ней, с этой сек3.фдб! ты мну ответь лучше, как такое может быть, что lock conflict'ы лезут ? они НЕ связаны с секурити3. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 16:21:08 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, с чего ты взял? Мне не известно что там делается в security, но могу предположить что там есть внутренние запросы и не факт что только SELECT. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 16:24:20 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов Денисс чего ты взял? Мне не известно что там делается в security, но могу предположить что там есть внутренние запросы и не факт что только SELECT.А эти "внутренние запросы" - они в трейсе должны быть видны или нет (я про ФБ-3.х) ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 16:29:25 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоидты мну ответь лучше, как такое может быть, что lock conflict'ы лезут ? они НЕ связаны с секурити3. Во-первых, ты не путай "lock conflict" и "update conflict". Во-вторых, с чего ты так уверен, что они не связаны? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 16:30:56 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, по уму не должны иначе секьюрность фиговая будет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 16:33:06 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидты мну ответь лучше, как такое может быть, что lock conflict'ы лезут ? они НЕ связаны с секурити3. Во-первых, ты не путай "lock conflict" и "update conflict". Во-вторых, с чего ты так уверен, что они не связаны?1) вижу, что по времени нет никакой связи, вообще (между lock conflict'ами и invalid u/p) 2) помню - 100% - что этот самый lock conflict вылезал на ЭТОМ ЖЕ тесте, на ИНСЕРТАХ, в 2010-2011, когда шла борьба в 2.5.х с missing entries. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 16:41:54 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Только сейчас понял, что он 3.0 тестировал. Тьфу.. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 19:12:14 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
2 ГР: всем нечитателям посвящается... :-) http://www.sql.ru/forum/actualutils.aspx?action=gotomsg&tid=1056826&msg=15069553 <...> Код: plaintext 1. 2. 3. 4. 5. 6. 7. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 19:42:36 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Во-первых, я уже говорил о том, что это неудачная форма оформления и указания версии в частности. Но тогда, IIRC, птицеводы сказали, что кошерно и понятно - ну если вам удобно, то флаг в руки. Во-вторых, я понял, что 3.0 не перечитав первый пост, а увидев ваши диалоги про security-БД и пр. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 19:45:01 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов РустамВо-первых, я уже говорил о том, что это неудачная форма оформления и указания версии в частности.поясни, плз: чем она плохая ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 19:46:51 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, тем что в глаза бросается первая строчка, а в ней указана версия клиента. Которая кстати 2.5. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 20:20:40 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов Денистем что в глаза бросается первая строчка, а в ней указана версия клиента. Которая кстати 2.5.Слабоватый аргумент. Не верю, что завсегдатаи ФБ-кабачка не читают дальше первой строки. Хотя согласен в том, что версию клиента лучше задвинуть в подвал, она обычно не так важна, как версия сервера. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 20:31:32 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, ты пробовал ставить Fb3 на CentOS? Есть ли какие-нибудь грабли? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 20:47:01 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов Денисты пробовал ставить Fb3 на CentOS? Есть ли какие-нибудь грабли?нет, CentOS я в глаза не видел. Но прошёл все круги адцтва при установке ФБ-3 на Oracle Ent Linux. На всякий случай: будь готов, что постоянно чего-то не хватает. А также, что требуется какой-то там пакет версии именно 12.6, а не 12.6.3 (!!), ну и к прочим прелестям. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 20:50:50 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид> поясни, плз: чем она плохая ? Всем, кроме того, что она "стандартна" и её легко копипастить. Сравни твой ISQL Version: WI-V2.5.3.26682 Firebird 2.5Server version:Firebird/linux AMD64 (access method), version "LI-T3.0.0.30695 Firebird 3.0 Alpha 1"Firebird/linux AMD64 (remote server), version "LI-T3.0.0.30695 Firebird 3.0 Alpha 1/tcp (oel64)/P12"Firebird/x86/Windows NT (remote interface), version "WI-V2.5.3.26682 Firebird 2.5/tcp (CSMIRROR)/P12"on disk structure version 12.0Database: 192.168.0.220/3330:idx_test FB Linux.64 3.0.0.30695 TCP Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 21:07:09 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Разметка съехала (неправильные переносы строк). Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 21:08:46 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, да вроде установка прошла успешно, особых танцев с бубном не было. Единственное чего не хватало libtommath.so Правда я устанавливал не из исходников. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 22:09:09 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов ДенисЕдинственное чего не хватало libtommath.so Правда я устанавливал не из исходников.Повезло (что не хватало только этой библы). Есть, впрочем, смутное подозрение, что если бы ты ставил из исходников, то всё равно её пришлось бы ставить. Ну, так что ? Запустил тест на инсерты ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 00:33:14 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидСисдба МастеркеевичЕсли есть подозрение, что виноваты инсерты, надо попробовать без них.Была такая мысль, еще вчера. Запущу сегодня, попозже.Запустил снова 450 молотилок, каждая из которых делает вот такой оф-фигительный скрипт: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. 113. 114. 115. 116. 117. 118. 119. 120. 121. 122. 123. 124. 125. 126. 127. 128. 129. 130. 131. 132. 133. 134. 135. 136. 137. 138. 139. 140. 141. 142. 143. 144. 145. 146. 147. 148. 149. 150. 151. 152. 153. 154. 155. 156. 157. 158. 159. 160. 161. 162. 163. 164. 165. 166. 167. 168. 169. 170. 171. 172. 173. 174. 175. 176. 177. 178. 179. 180. 181. 182. 183. 184. 185. 186. 187. 188. 189. 190. 191. 192. 193. 194. 195. 196. 197. 198. 199. 200. 201. 202. 203. 204. 205. 206. 207. 208. 209. 210. 211. 212. 213. Заодно запустил: 1) калибратор скорости коннектов, интервал его работы между возвратом из isql и стартом новой попытки коннекта = 5 сек (он пока что отловил только одного "полу-тупицу", который устанавливался 1104 мс; посмотрим, что будет утром); 2) скрипт, сканирующий .err-логи на наличие ошибок с текстом 'lock conflict' и/или 'password'; 3) скрипт, логирующий аппетит процесса firebird (просто так, до кучи: кушать не просит, а какую-то инфу всё-таки даст): Код: plaintext 1. 2. 3. 4. 5. 6. 7. Посмотрим утром, что там будет в итоге. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 00:52:24 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидПосмотрим утром, что там будет в итоге....а в итоге следующее: 1) .err-логи молотилок не содержат ни одного возгласа на тему 'lock conflict' или 'invalid password'; 2) калибратор скорости установки коннектов показывает следующие топ-10 тормозов, которые были за минувшие 6 часов: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 3) Потребление памяти (кому интересно - вот статья , тынц на которую дал Источник Света): 3.1) сразу после загрузки ФБ, до старта теста: Код: plaintext 3.2) Все 450 молотилок окончательно загрузились в 00:36:40 (по данным лога с наибольшим "номером"), при этом: Код: plaintext 3.3) несколько промежуточных точек: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 3.4) сейчас: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 07:45:57 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Да, и еще. По поводу времени установки коннекта. (я знаю, что жутко надоел с этим всем Источникам Света, но всё-таки проблема эта существует, и не в моей голове, а натурально; так что извиняйте, но поэма будет продолжена!.. :)) Если затолкать в базу моменты времени вызовов isql'ей (а они складываются в лог батником, который вызывается молотилками: echo %time% >> %this_window_log% ) и затем сгруппировать записи, то получаем число isql'ей, которые выстраивались в очередь на установку коннекта в интервалах времени = 0.01 сек . Наибольшие очереди на интервалах 0.01 сек были такими: ~40 строк Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. top-10 коннектов, устанавливавшихся дольше всего Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. А вот результат группировки на интервалах = 1.00 сек для моментов времени, соотв-щих тупым коннектам: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. Сервак не мог быть загружен даже на 5% тем дурацким скриптом, который приведен тут . Там одни commit'ы! Причина внезапных тормозов при установке коннектов, увы, так и остается пока загадкой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 08:46:00 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, нет ещё не запускал. Пока только подготовил всё. Установил FB, добавил дополнительный виртуальный диск, пробросил сеть. Я так понял ты мониторинг снимал с linux, а сам тест на винде запускал? Или это не обязательно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 08:58:33 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, по поводу скорости установки коннектов я говорил что через srp оно значительно ниже. И даже приводил тест. Мне ответили, что в этом виновата процедура генерации ключа и обмена ключами. Также замедление может вызывать шифрование (но значительного замедления я там не заметил ~10%), а вот сами коннекты в 3 раза медленней. По поводу провалов скорости коннектов ничего сказать не могу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 09:04:16 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов ДенисЯ так понял ты мониторинг снимал с linux, а сам тест на винде запускал? Или это не обязательно.Скрипт калибратора коннектов, а также скрипт-наблюдатель за расходом памяти ФБ - да, на консоли линуха. Молотилки и скрипты, которые "смотрят" в их .err-логи - на виндузе. Батник, который вертит молотилками (t004dml.bat) и запускалка его (t004act.bat) есть в линуксовом варианте, но я его не запускал и даже еще не смотрел (его мне прислал Алекс). Если надо этот вариант - сообщи. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 09:07:09 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов Дениспо поводу скорости установки коннектов я говорил что через srp оно значительно ниже. И даже приводил тест. Мне ответили, что в этом виновата процедура генерации ключа и обмена ключами. Также замедление может вызывать шифрование (но значительного замедления я там не заметил ~10%), а вот сами коннекты в 3 раза медленней.Да эта хрень и год взад была, на 2.5. еще. Картина одна и та же: коннекты даже при сильной нагрузке спокойно укладываются в 500-1500 мс (это вполне приемлемое время!), а дальше - БАЦ! - застревание на 4-5 сек или 10 сек, или еще больше. И так длится 1-2 минуты, после чего "отпускает". И моменты времени этого "приступа" никак и ни с чем не связаны: ни с данными iostat'a, ни с инфой top'a, ни с числом isql'ей в очереди (как выяснилось). Одно только нарыл (недавно): в каждом случае, когда коннект застревает более чем на 20-30 сек, рост размера .fdb прекращается на некоторые промежутки времени (10-15 сек, иногда таких "плато" два). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 09:13:59 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, пришли на мыло. Так будет проще и можно будет влияние сети (виртуальной) исключить. ТаблоидПовезло (что не хватало только этой библы). Есть, впрочем, смутное подозрение, что если бы ты ставил из исходников, то всё равно её пришлось бы ставить Просто RHEL заточен под Oracle, а вот зато всё остальное на нём работает с большим геморроем. P.S. После установки Oracle 10 R2 на RHEL - установка FB просто праздник. Да и как ни странно на CentOS оракля встала с меньшим геморром. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 09:19:53 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов Дениспришли на мыло.чек мыл. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 09:40:26 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, письмо пришло. Спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 09:42:48 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Сисдба МастеркеевичЕсли есть подозрение, что виноваты инсерты, надо попробовать без них.Проверил еще и такой вариант: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. Молотьба идёт несколько часов, 450 окон. Сообщений 'lock conflict' или 'invalid password' в .err-логах НЕТ. Начинает терзать смутное сомнение: а не может ли быть причина в... наличии конструкции "execute block", внутри которой (-го) был цикл с аналогичными insert'ами ?! Другой кандидатуры вроде бы уже не остаётся... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 13:52:06 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид, у тебя в том блоке insert'ы с suspend'ами перемешаны ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 14:14:13 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Симонов Денису тебя в том блоке insert'ы с suspend'ами перемешаныПопробовал пустые execute block'и, без returns(msg varchar(...)) -эффекта нет, ошибка не вылазит. Сейчас немного усложнил: добавил returns, suspend, но пока без самих insert'ов и без обработчика 'when any': Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. Запустил всё те же 450 молотилок, буду подождать. (пфф... не ошибка, а оборотень какой-то... хрен поймёшь, когда и на чём вылезет...) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 20:28:14 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоидне ошибка, а оборотень какой-то... хрен поймёшь, когда и на чём вылезет... Так и будет пока разработчики не разроют эту братскую могилу и не идентифицируют трупы. То бишь пока не добавят уточняющей информации в сообщение. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 20:54:21 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Таблоид(пфф... не ошибка, а оборотень какой-то... хрен поймёшь, когда и на чём вылезет...) Инструмент не умеет нормально показывать инфу об ошибках. Главный баг в этом :) Хорошее решение - научить инструмент нормально показывать инфу об ошибках :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2013, 21:10:29 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидЗапустил всё те же 450 молотилок, буду подождать....в общем, встречайте, дамы и господа! Минимальный вариант, на котором мну удалось получить обе ошибки при молотьбе 450 окон: как lock conflict, так и invalid password. Тест стартовал 06.11.2013 в 21:50, первая из них (lock conflict) случилась 07.11.2013 в 08:29, вторая - только что, в 08:44. Ошибки произошли в разных окнах, более того - на разных компах. Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. Теорема доказана. Это были НЕ insert'ы, и это - главное :-) ЗЫ. Хорошо, что я сегодня долго спал, а то бы вырубил тест в 8 утра, подумав, что снова ничего не прокатит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.11.2013, 08:59:14 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Со скоростью установки коннектов на этом скрипте - веселуха. Форменная. TOP-20 тормозов за минувшие 11 часов молотьбы: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. Сколько там выстраивалось в очередь isql'ей в эти пиковые моменты - пока не знаю, надо логи заново парсить и в базу текст загружать. Выложу позже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.11.2013, 09:31:37 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
ТаблоидTOP-20 тормозов за минувшие 11 часов молотьбы: Код: plaintext 1. 2. 3. 4. 5. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.11.2013, 13:17:22 |
|
||
|
lock conflict при работе 350 аттачей, делающих только insert'ы. Отчего ?
|
|||
|---|---|---|---|
|
#18+
Ищущий да обрящет... Это всё-таки случилось! :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2013, 20:11:12 |
|
||
|
|

start [/forum/topic.php?all=1&fid=40&tid=1564145]: |
0ms |
get settings: |
8ms |
get forum list: |
17ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
155ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
134ms |
get tp. blocked users: |
1ms |
| others: | 190ms |
| total: | 522ms |

| 0 / 0 |
