|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
Упал информикс . Не могу понять почему , запрос который пользователь выполнял в принципе очень скромный по меркам самой базы. Подскажите куда копать , Ids 9.4 UC4 Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. 113. 114. 115. 116. 117. 118. 119. 120. 121. 122. 123. 124. 125. 126. 127. 128. 129. 130. 131. 132. 133. 134. 135. 136. 137. 138. 139. 140. 141. 142. 143. 144. 145. 146. 147. 148. 149. 150. 151. 152. 153. 154. 155. 156. 157. 158. 159. 160. 161. 162. 163. 164. 165. 166. 167. 168. 169. 170. 171. 172. 173. 174. 175. 176. 177. 178. 179. 180. 181. 182. 183. 184. 185. 186. 187. 188. 189. 190. 191. 192. 193. 194. 195. 196. 197. 198. 199. 200. 201. 202. 203. 204. 205. 206. 207. 208. 209. 210. 211. 212. 213. 214. 215. 216. 217. 218. 219. 220. 221. 222. 223. 224. 225. 226. 227. 228. 229. 230. 231. 232. 233. 234. 235. 236. 237. 238. 239. 240. 241. 242. 243. 244. 245. 246. 247. 248. 249. 250. 251. 252. 253. 254. 255. 256. 257. 258. 259. 260. 261. 262. 263. 264. 265. 266. 267.
Сообщение из лога Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21.
И собственно сам af ... |
|||
:
Нравится:
Не нравится:
|
|||
20.02.2009, 18:55 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
KyRoУпал информикс . Не могу понять почему , запрос который пользователь выполнял в принципе очень скромный по меркам самой базы. Подскажите куда копать , Похоже, что кто-то начал экспериментировать с PDQ. Возможно, что даже планы процедур переоптимизировали :) Выключите его и не используйте без особой надобности. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.02.2009, 20:15 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
Поддерживаю vasilis по поводу PDQ. у меня был опыт эксплуатации этого приложения. PDQ там полезно для пользователей которые ведут пакетную обработку. на мануальные транзакции не влияет, значение 1 для этой системы самый оптимальный вариант. ИМХО И еще поробуйте поднять значение stacksize. Интуиция и просмотр сека вызовов мне подсказывает, что в стеке вызовов функции есть вызов функции с переменным количеством аргументов. Какая там архитектура стека я не знаю. но есть вероятность того что память просто портится когда нехватает стека. И еще в нашей версии были процедуры с трудом умещающиеся в ограничение 64 К. как они там лежат я не знаю, но 32 к для этой системы точно мало, у нас стояло 64 потом поднимали до 128 кажется. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.02.2009, 03:03 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
вот моя схожая проблема. Рекомендации помогли, выполнил все, правда так до сих пор и не провел эксперимент, чтобы выяснить какая именно оказалась решающей. Все таки склоняюсь к stacksize. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.02.2009, 13:41 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
Спасибо . Буду пробовать оптимизировать. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.02.2009, 13:52 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
После предложенной оптимизации , немного стабильности и вот опять упала система . Падать начала регулярно , по несколько раз на день . вообще не могу понять что к чему . Ругается на сессию , но запроса как такового нет . Посмотрите может что подскажете. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2009, 18:40 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
ИМХО копать нужно в сторону более свежих версий. Все остальное от лукавовго, тем более что как я поня саппорта нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2009, 18:48 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
авторВсе остальное от лукавовго, тем более что как я поня саппорта нет. Нет сапорта к сожалению нет . ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2009, 18:57 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
KyRoПосле предложенной оптимизации , немного стабильности и вот опять упала система . Падать начала регулярно , по несколько раз на день . вообще не могу понять что к чему . . А что именно вы "оптимизировали" ? Вы поняли совет по поводу PDQ ? По моему, вы ничего не сделали и не проверили из того, что я ранее советовал/спрашивал. Какой смысл смотреть и советовать дальше ? Лично для меня уже его нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2009, 21:40 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
Ну человек все таки поменял STACKSIZE, добавил еще один temp, увеличил BUFFERS. Первое могло повлиять на устойчивость положительно, второе по мнению Зайца скорее отрицательно, третье врядли вообще как-то могло что-то затронуть (если память в порядке и ее хватает). KyRo, передайте Лосеву привет от меня. Хорошо, что у вас процессинг не на Informix-e. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 09:26 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
авторВы поняли совет по поводу PDQ ? По моему, вы ничего не сделали и не проверили из того, что я ранее советовал/спрашивал. Почему же не понял , понял . Просто отключить просто так PDQ не могу , запрос разработчикам отправил , просто еще не пришел ответ , могу ли я его выключить. При этом я понаблюдал за системой и поспрашивал у наших разработчиков , используют ли они PDQ запросы. Все отвечают отрицательно . В сформированной af onstat -g mgm показывает что нет не одного активного PDQ Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40.
То же самое , при максимальной загрузке системы и выполнении ежедневных процедур. автор KyRo, передайте Лосеву привет от меня. Хорошо, что у вас процессинг не на Informix-e. Привет передам! Знать бы имя от кого , а то по нику форума , боюсь не поймет от кого . Кстати процессинг у нас как раз на информиксе. Вот что меня интересует , не может ли себя вот так вести сервер от не хватки оперативной памяти ? На базу данных 250 гигов , на сервере стоит всего 4 гб оперативной памяти , и я все время наблюдаю ее почти 100 % загрузку . ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 11:23 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
KyRo, и я все время наблюдаю ее почти 100 % загрузку .в никсах всегда 100% загрузка памяти, т.к. свободная память занимается буферным кешем, главное не должно быть своппинга постоянного см. vmstat колонки pi po (si so) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 11:26 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
авторглавное не должно быть своппинга Нет своп вообще не использует Код: plaintext 1. 2. 3. 4.
... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 12:29 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
KyRoавторглавное не должно быть своппинга Нет своп вообще не использует Код: plaintext 1. 2. 3. 4.
vmstat 60 15 это линукс? тогда команда free ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 12:34 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
Free показывает что в свап залазит , но я так мониторил память, вижу что если и залазит в свап то не сильно , вот где то как сейчас. Код: plaintext 1. 2. 3. 4. 5.
Код: plaintext 1. 2. 3. 4. 5.
... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 13:00 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
KyRoавторВы поняли совет по поводу PDQ ? По моему, вы ничего не сделали и не проверили из того, что я ранее советовал/спрашивал. Почему же не понял , понял . Просто отключить просто так PDQ не могу , запрос разработчикам отправил , просто еще не пришел ответ , могу ли я его выключить. А как вы собираетесь его выключить? Если вы все поняли и разобрались, то ответ должен быть конкретным. KyRoПри этом я понаблюдал за системой и поспрашивал у наших разработчиков , используют ли они PDQ запросы. Все отвечают отрицательно . В сформированной af onstat -g mgm показывает что нет не одного активного PDQ Код: plaintext 1. 2. 3. 4. 5.
А что показывают, по вашему, выше приведенные вами же цифры ? А по разработчикам я что то не понял - одним отправили запрос, в то же время спрашивали "у наших разработчиков". В итоге, где и какие разработчики и кто все таки несет ответственность за работу системы ? Но главное, что у вас в системе (в приведенном дампе) видно как минимум 5 многонитиевых сессий с кол-вом от 9 до 69(!). Другой такой картины, как при плохом использовании PDQ, я не помню. Наиболее вероятен следующий сценарий (встречал на практике несколько раз): - при создании процедуры (и ее оптимизации) включен PDQ или, что более вероятно, при выполнении Update Statistics (а в стандартном режиме утилита также переоптимизирует ХП) тоже оказался включен PDQ - при последующем выполнении процедуры она создает многонитиевый процесс - основные параметры PDQ в onconfig вообще не определялись (по умолчанию DS_MAX_QUERIES и DS_TOTAL_MEMORY) и очень плохие (типа, квантума в 128Кб) - из-за того что выполняются процедуры и не видно текстов запросов Приведите нам полный текст скрипта, которым выполняется сбор статистики и переменные окружения во время его выполнения - может быть что то можно будет увидеть. KyRoВот что меня интересует , не может ли себя вот так вести сервер от не хватки оперативной памяти ? На базу данных 250 гигов , на сервере стоит всего 4 гб оперативной памяти , и я все время наблюдаю ее почти 100 % загрузку . Из 4-х гиг вы используете Информиксом всего 1,1 гига. И общий размер базы слабо коррелируется с объемом используемой ОП. Нехватка ОП влияла бы на скорость, но не на устойчивость сервера. И последнее: кто конфигурировал onconfig ? И имеете ли возможность менять там параметры - мне многое там не нравится. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 13:51 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
KyRo cached 1923608 можно считать это тоже свободная [quot KyRo] 324 4192620 это мелочь ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 13:56 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
авторА как вы собираетесь его выключить? Выключается в онконфиге MAX_PDQPRIORITY 0 . Сейчас выставил в ноль, не дожидаясь ответа сапорта. Будем смотреть как теперь будет работать , пока вижу то что он хорошо залез в своп , хотя раньше этого не было Код: plaintext 1. 2. 3. 4. 5.
авторА по разработчикам я что то не понял - одним отправили запрос, в то же время спрашивали "у наших разработчиков". В итоге, где и какие разработчики и кто все таки несет ответственность за работу системы ? Дело в том что у нас две системы . Одна центральная в которой храниться вся информация (разрабатывается за границей и сапортится ей же) и дополнительная (для внутрешних целей, разрабатывается нашими программистами). В данной ситуации получается что падает центральная система , при попытке установить конект с дополнительной (через trust). Скрипт которым мы делаем update statistics Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60.
Переменная Код: plaintext 1. 2.
авторИ последнее: кто конфигурировал onconfig ? И имеете ли возможность менять там параметры - мне многое там не нравится. Кто конфигурировал сказать не могу , это было за долго до меня . Скорее всего сами разработчики системы , которые приезжали на миграцию . возможность править конфиг я имею. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 15:25 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
KyRo пока вижу то что он хорошо залез в своп , хотя раньше этого не было Код: plaintext 1. 2. 3. 4. 5.
Насколько я понимаю кроме informix на сервере ничего другого не работает, тогда это от того что у Вас чанки подключены как блочные устройства. Я практически уверен, что когда переведете базу на символьные, и падать перестанет. Мне когдато перевод чанков на символьнье устройства очень помог в избавлении от непредсказуемых падений, у меня правда чанки подключались через линки, что очень облегчило перевод. з.ы. По моему эта тема уже обсуждалась. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 15:50 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
KyRoавторА как вы собираетесь его выключить? Выключается в онконфиге MAX_PDQPRIORITY 0 . Сейчас выставил в ноль, не дожидаясь ответа сапорта. Будем смотреть как теперь будет работать , пока вижу то что он хорошо залез в своп , хотя раньше этого не было Покажите onstat -u после сброса (onstat -z) и рабочей нагрузки в течении часа KyRoВ данной ситуации получается что падает центральная система , при попытке установить конект с дополнительной (через trust). А из чего вы это заключили ? KyRoСкрипт которым мы делаем update statistics странноватый способ. Неужели в скрипте упомянуты абсолютно все фильтры и индексы, используемые в системе ? Намного проще было бы автоматизировать создание данного скрипта, с использованием и low с drop distributions вначале, и medium для ключей индексов (не первых) и high для первых в индексе и оптимизацией процедур, т.е. как это советуется во множестве рекомендаций и ФАК-ов. Ну да ладно. Основной мой вопрос ведь был в том, чтобы увидеть - не переоптимизируются ли процедуры с включенным PDQ, чего я все равно не увидел... KyRoПеременная Код: plaintext 1. 2.
Я ведь просил не одну эту переменную, а "переменн ые окружения во время его выполнения" авторИ последнее: кто конфигурировал onconfig ? И имеете ли возможность менять там параметры - мне многое там не нравится. KyRoКто конфигурировал сказать не могу , это было за долго до меня . Скорее всего сами разработчики системы , которые приезжали на миграцию . возможность править конфиг я имею. Хотите увидеть и попробовать мои рекомендации по onconfig ? Просто мне жаль будет потраченного времени, если я напишу, а вы все равно побоитесь их применить (и в чем то будете правы :) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 16:30 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
onstat-Я практически уверен, что когда переведете базу на символьные, и падать перестанет. Очень даже может быть. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 16:34 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
KyRo Подскажите куда копать , Ids 9.4 UC4 +1 к update версии ... а вообще, была проблема с падениями с подобными ошибками с MTEX.C на 9.4UC6 В моем случае помогло согласование (не)использования ACPI в биосе сервера и ядре ОС (а именно: отключил и там и там). ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 16:56 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
svat2KyRo Подскажите куда копать , Ids 9.4 UC4 +1 к update версии ... а вообще, была проблема с падениями с подобными ошибками с MTEX.C на 9.4UC6 В моем случае помогло согласование (не)использования ACPI в биосе сервера и ядре ОС (а именно: отключил и там и там). Дело в том, что каждый ДБА может рассказать много своих страшилок про ошибку в MTEX.C, которые забарывались или нет техсапортом или не техсапортом. Важно другое: даже если в данной конкретной ситуации подобрали параметры, которые не приводят к падению сервака, то это строго локальный результат, который будет жить скорее всего ограниченное время т.к. могут поменяться объемы данных, характер их распределения, умелые программеры наклепают новых запросов, появятся новые хранимые процедуры, появятся новые технологические решения и т.д. А в это время Informix исправляет баги и выпускает новые релизы. Самый лучший способ ИМХО - освежать версию время от времени. За 12 лет эксплуатации системы именно этот способ показал себя лучше всего. Если база не дорабатывается совсем и меет неизменный цикл рабочей нагрузки, то тогда может и нет смысла обновлять версии. Может такие базы и бывают в жизни. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 18:54 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
cpr Дело в том, что каждый ДБА может рассказать много своих страшилок про ошибку в MTEX.C, которые забарывались или нет техсапортом или не техсапортом. Важно другое: даже если в данной конкретной ситуации подобрали параметры, которые не приводят к падению сервака, то это строго локальный результат, который будет жить скорее всего ограниченное время т.к. могут поменяться объемы данных, характер их распределения, умелые программеры наклепают новых запросов, появятся новые хранимые процедуры, появятся новые технологические решения и т.д. А в это время Informix исправляет баги и выпускает новые релизы. Самый лучший способ ИМХО - освежать версию время от времени. За 12 лет эксплуатации системы именно этот способ показал себя лучше всего. Полностью согласен. Могу к этому еще добавить, что меняется и операционное окружение, которое иногда уже плохо стыкуется со старыми версиями IDS. cpr Если база не дорабатывается совсем и меет неизменный цикл рабочей нагрузки, то тогда может и нет смысла обновлять версии. Может такие базы и бывают в жизни. Бывают и много :) Но есть еще момент, о котором в странах СНГ часто забывают - далеко не всегда есть возможность сменить версию СУБД даже при большом желании админа: - финансовый и лицензионный аспект - производитель прикладного софта не может (не хочет) выпускать (тестировать) релиз под новые версии СУБД ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 20:52 |
|
Подскажите из за чего может падать сервер
|
|||
---|---|---|---|
#18+
vasilis KyRoСкрипт которым мы делаем update statistics странноватый способ. +1 vasilis Основной мой вопрос ведь был в том, чтобы увидеть - не переоптимизируются ли процедуры с включенным PDQ, чего я все равно не увидел... +1 И, соответственно, совет: не ждите "случайных" переоптимизаций процедур, которые появятся при первом же запуске процедур после сбора статистики по таблицам - добавьте в конец скрипта update statistics следующее: Код: plaintext 1. 2.
... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2009, 23:35 |
|
|
start [/forum/topic.php?fid=44&msg=35872437&tid=1607860]: |
0ms |
get settings: |
11ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
64ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
55ms |
get tp. blocked users: |
1ms |
others: | 331ms |
total: | 498ms |
0 / 0 |