Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
Недавно решил модернизировать существующую систему журналирования и ряд «автоматизаций» с использованием ServiceBroker. Вроде как асинхронность журналирование не будет тормозить, в при критической нагрузке — очередь постепенно в нужно порядке разгребется. Так как это вроде как «другой поток/подключение» не нужно париться с тем чтоб не потерять логи при rollback-ах. Сделал контракты, очереди, активаторы, скрипты тестовые — все ОК. Все делает как нужно, ошибки тож хорошо ловит (пробовал на делении на ноль), ничего не ломается. Но дальше начинается магия. Запускаю пачкой юнит тесты (из C# вызываются хранимки с «новым» журналированием). Ошибок нет. Логи — пустые. Очередь — пустая. Запускаю отдельно тест через отладчик — все норм, данные в логах есть. Запускаю ХП из SMS – логи есть. Отлаживаю дебаггером в SMS в которой есть ошибка (обращение к несуществующему объекту). Пошагово иду, и там где логи должны записываться — таблица пустая, ни до ошибки, ни самой ошибки, ни после. Хранимки логов вызваются, в очередь сообщения отправляются, но активатор не вызывается. Запускаю без дебаггера с «ошибкой» - логов тоже нет. Запускаю приложение .NET, жму кнопочки, вызываются другие ХП с таким же логированием, логи есть. Тут же еще раз дебаггером в SMS – логов нет. Правлю хранимку, чтоб не было ошибки, запускаю, без отладки — логи есть. Продолбался с этим конец рабочего дня. Сейчас сижу и ломаю голову. Это у меня что-то глючит или или в режиме дебаггера какой-то другой режим работы брокера? Или если ошибка посерьезнее чем деление на ноль, то запись в очередь умирает и это как-то просчитывается? И у брокера активатор работает не совсем в "отдельном потоке" и "отдельном подключении к БД"? Или брокера для логов использовать не камельфо? Есть какие-то нюансы которые я не учел? Куда пропадают логи когда пачкой работают юнит тесты? сервер - 2014 Standart ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2018, 20:47 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
по этой статейке с брокером работаю https://germangorelkin.blogspot.com/2017/07/ms-sql-server.html ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2018, 21:02 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
КифирчикТак как это вроде как «другой поток/подключение» не нужно париться с тем чтоб не потерять логи при rollback-ах.Вот с этим как раз и нужно "париться", т.к. при откате транзакции все, что отсылалось в очередь также откатывается. Обходится через event notifications - 17329722 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2018, 21:07 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
invm, я правильно понимаю, что "на пальцах", это примерно как я сделал, за исключением что попадание сообщения в очередь не через хранимку с dialog conversation а с использованием sp_trace_generateevent ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2018, 22:03 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
Кифирчикя правильно понимаю, что "на пальцах", это примерно как я сделал, за исключением что попадание сообщения в очередь не через хранимку с dialog conversation а с использованием sp_trace_generateevent ?Т.е. разница в поведении при откате транзакции для вас несущественна? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2018, 09:26 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
invm, конечно существенна я подразумевал реализацию а не поведение. и судя по всему тип сообщения службы только [ http://schemas.microsoft.com/SQL/Notifications/PostEventNotification%5D]http://schemas.microsoft.com/SQL/Notifications/PostEventNotification] ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2018, 09:41 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
Кифирчикя подразумевал реализацию а не поведение.Реализация да, через SB. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2018, 10:07 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
invm, слепил из вашей заготовки и своего кода. на вскидку, ничего не упустил? Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. 113. 114. 115. 116. 117. 118. 119. 120. 121. 122. 123. 124. 125. 126. 127. 128. 129. 130. 131. 132. 133. 134. 135. 136. 137. 138. 139. 140. 141. 142. 143. 144. 145. 146. 147. 148. 149. 150. 151. 152. 153. 154. 155. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2018, 10:25 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
Кифирчикна вскидку, ничего не упустил?Вроде нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2018, 10:38 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
Кифирчик, тесты откатывают транзакции и вместе с ними сообщения брокера. Вам для журналирования надо использовать механизм event notification, который передаёт сообщения брокеру независимо от отката. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2018, 11:16 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
Всем спасибо за наводки. Заработало на "боевой" базе. Правда еще пришлось танцевать с бабунами. допиливание чтоб на базе это все завелось (может кому пригодится) Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. признаюсь не до конца осознал последствия trustworthy и changedbowner, но это заработало ))) а внутри обработчика сообщений пришлось добавить строку set QUERY_GOVERNOR_COST_LIMIT 0; иначе брокер вылетал с ошибкой авторthe query has been canceled because the estimated cost of this query (8570) exceeds the configured threshold of 6000 Видать обработка XML со своими данными запиханного в BinaryData оказалась сравнительно ресурсоемкой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2018, 15:51 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
Кифирчик, подзравляю, теперь ваш любой db_owner может стать сисадмином сервера. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2018, 16:12 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
Кифирчикпризнаюсь не до конца осознал последствия trustworthy и changedbowner, но это заработало )))А зачем из процедуры активации обращаться к внешним ресурсам? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2018, 16:17 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
Кифирчик, кстати вам еще следуют учитывать что для уведомлений о событиях диалоги не закрываются. они висят до тех пор пока не будет удалено уведомление. Если у вас эта система логирования предполагает работать с высокой нагрузкой, следует озаботится вопросом что вы будете делать с открытыми диалогами ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2018, 17:08 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
felix_ffКифирчик, подзравляю, теперь ваш любой db_owner может стать сисадмином сервера. invm >признаюсь не до конца осознал последствия trustworthy и changedbowner, но это заработало ))) А зачем из процедуры активации обращаться к внешним ресурсам? уточните плиз, вопрос относительно trustworthy или changedbowner? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2018, 17:09 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
Кифирчик, совокупность. сделав овнером базы пользователя из группы сисадмин вы расширили его права, любой пользователь группы db_owner может сделать execute as user = 'dbo' тем самым переключив себя на контекст 'sa' но он пока еще закрыт в базе. поставив trustworthy вы открыли песочницу, тем самым пользователь теперь не заперт в базе а получает доступ прав уровня sysadmin ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2018, 17:12 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
felix_ffКифирчик, кстати вам еще следуют учитывать что для уведомлений о событиях диалоги не закрываются. они висят до тех пор пока не будет удалено уведомление. Если у вас эта система логирования предполагает работать с высокой нагрузкой, следует озаботится вопросом что вы будете делать с открытыми диалогами это не спасает? Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2018, 17:14 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
Кифирчик, не спасет. срабатываение события посылает в очередь только тип сообщения [ http://schemas.microsoft.com/SQL/Notifications/EventNotification%5D]http://schemas.microsoft.com/SQL/Notifications/EventNotification] никакого enddialog ему не приходит, поэтому у вас нижние ветки if никогда не сработают. [ http://schemas.microsoft.com/SQL/ServiceBroker/EndDialog%5D]http://schemas.microsoft.com/SQL/ServiceBroker/EndDialog] поступит в очередь только при удалении уведомления инструкцие drop event notification здесь вам по сути надо организовать логику вычитали сообщение закрыли диалог со стороны цели. Код: sql 1. 2. 3. 4. 5. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2018, 17:28 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
Кифирчик, диалог надо закрывать с двух сторон - и на сервисе А и на сервисе Б. Сервис А в данном случае контролирует система Event Notification, а сервис Б - ваша процедура. Вы получаете и обрабатываете сообщение и закрываете со своей сторону диалог в любом случае, независимо от типа полученного сообщения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2018, 17:40 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
felix_ff, Код: sql 1. 2. 3. 4. 5. в таком варианте, очередь обрабатывает только одно первое сообщение, все остальные sp_trace_generateevent я не вижу ((( Владислав Колосов диалог надо закрывать с двух сторон - и на сервисе А и на сервисе Б. Сервис А в данном случае контролирует система Event Notification, а сервис Б - ваша процедура. Вы получаете и обрабатываете сообщение и закрываете со своей сторону диалог в любом случае, независимо от типа полученного сообщения. Я не совсем понимаю "закрыть со своей стороны" Со своей стороны я вызываю Код: sql 1. 2. 3. как закрыть диалог с "моей стороны"? или "моя сторона" подразумевается процедура активации очереди? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2018, 17:53 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
Кифирчикуточните плиз, вопрос относительно trustworthy или changedbowner?Да. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2018, 17:58 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
Кифирчик, ну напишите так чтобы у вас при активации очереди цикл читал сообщения из очереди, если вдруг в цикле меняется conversation_handle или инструкция receive не возвращет сообщения, закрывается последний прочитанный диалог. Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. а лучше вычитывать в буффер Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2018, 18:55 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
КифирчикНедавно решил модернизировать существующую систему журналирования и ряд «автоматизаций» с использованием ServiceBroker. Вроде как асинхронность журналирование не будет тормозить, в при критической нагрузке — очередь постепенно в нужно порядке разгребется. Интересно, в чем разница: писать в очередь или сразу писать в журнал? ЗЫ. Битва с ветряными мельницами? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.12.2018, 06:06 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
aleks222КифирчикНедавно решил модернизировать существующую систему журналирования и ряд «автоматизаций» с использованием ServiceBroker. Вроде как асинхронность журналирование не будет тормозить, в при критической нагрузке — очередь постепенно в нужно порядке разгребется. Интересно, в чем разница: писать в очередь или сразу писать в журнал? ЗЫ. Битва с ветряными мельницами? Хороший вопрос, заставил задуматься... Но он был бы справедлив, если бы запись в очередь равнялась записи в таблицу. У нас простая схема (запись в таблицу) работает уже лет пять, и как показывает практика, в этих записях хрен разберешься. одновременно работают хранимки вызванные пользователем, джобы, триггеры (через которые мы выполняем автоматизацию с соседней системой). Куча проблем с ответом на вопросы кто кого вызвал, откуда, к какому именно вызову относится строка, к какому бизнес объекту. Логи на хранимки/модули нужно как-то включать/выключать по мере необходимости. В случае ошибки - откатываются и логи, и следов ошибки вообще нет. Ну и триггеры соседней системы также откатываются. В итоге, в виду того что часть работы это аутосорс у заказчика, он временами звонит, и говорит "вот, у меня тут вчера так то и так то глюкнуло, разберитесь", и начинается бурный секс с этим потоком данных. И нужно определенное "наитие" и бутылка водки чтоб в этом разобраться и возможно подправить последствия. В целом толку от этого лога очень мало. Это "простая" система. И даже на ней, коллеги следящие за перфомансом, комментят записи в логи получают профит. Недавно придумали новую систему, которая должна решить проблемы перечисленные выше: - дополнительно пишется ID "бизнес процесса", внутри которого может быть несколько ХП у которых тоже пишется свой не похожий на соседние ID - есть поле для "бизнес объекта" - есть система включения/выключение логирования (через табличку) - упрощена запись (длинная, с указанием кучи аргументов только первая строка) - не теряются логи после отката транзакции (через промежуточное хранение в табличной переменной) То есть логгирование хранимки в таком варианте - это минимум две записи о начале/окончании, и при каждой записи обращения к таблице настроек и мета информации плюс запись в логи. Это определенно окажет еще большее влияние на производительность. Также, попадаются ошибки из-за которых все равно логи откатываются, вариант с табличной переменной работает не идеально. Вчера на ноуте запустил тест, в котором ОЧЕНЬ много логов пишется через обсуждаемый вариант логирования (через брокера и event-ы) (упрощенный, только вставка без использование мета информации). Тесты за минуту забили в очередь 100к записей, которые асинхронно минут 15..20 распихивались в таблицу логов. По мне так это пример что это минимально нагружает хранимые процедуры. Также, мне кажется крайне важным асинхронно развязаться с триггерами соседней системы, не камельфо в них выполнять свои хранимые процедуры. И судя по всему тут доктор прописал использовать ServiceBroker. Сейчас появилась возможность, и я начал копать в сторону ServiceBroker-a, и решил начать с логов. Что касается ветряных мельниц - с точки зрения того что есть куча других задач, приходится делать фоново, да и без этого и так работает, то это определенно на ветряную мельницу смахивает. С точки зрения "хочется чтоб было не через ж#пу" и меньше долбаться с анализом проблем - это не мельница а крепость на пути к светлому будущему ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.12.2018, 12:38 |
|
||
|
Service broker для логирования, глюки
|
|||
|---|---|---|---|
|
#18+
КифирчикПо мне так это пример что это минимально нагружает хранимые процедуры. Тебе уже сказали: все очереди сервис брокера - суть таблицы. Т.е. твой пример пишет два раза. И это, канешно, быстрее, чем один раз. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.12.2018, 14:42 |
|
||
|
|

start [/forum/topic.php?fid=46&msg=39748040&tid=1688572]: |
0ms |
get settings: |
10ms |
get forum list: |
21ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
82ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
60ms |
get tp. blocked users: |
1ms |
| others: | 258ms |
| total: | 451ms |

| 0 / 0 |
