|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
Есть расчётная таблица связей между объектами. Выдрал проблемный кусок и воспроизвёл. Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12.
Выполняемый код Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15.
2.5 - 3s 993ms 3.0 - 8s 268ms Немного деталей2.5 Plan PLAN (TEST_TABLE NATURAL) 49999 record(s) was(were) deleted from TEST_TABLE 49999 record(s) was(were) inserted into TEST_TABLE ------ Performance info ------ Prepare time = 0ms Execute time = 3s 993ms Current memory = 167 045 760 Max memory = 167 156 896 Memory buffers = 9 999 Reads from disk to cache = 0 Writes from cache to disk = 321 Fetches from cache = 2 374 700 3.0 Plan PLAN (TEST_TABLE NATURAL) 49999 record(s) was(were) deleted from TEST_TABLE 49999 record(s) was(were) inserted into TEST_TABLE ------ Performance info ------ Prepare time = 0ms Execute time = 8s 268ms Current memory = 171 632 040 Max memory = 171 953 816 Memory buffers = 9 999 Reads from disk to cache = 0 Writes from cache to disk = 739 Fetches from cache = 2 454 350 Конфигурация одинаковая. Страница 16к. Win1251. Что это может быть? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2016, 13:18 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
Безотносительно вопроса: ты в курсе, что твои индексы IDX1 и IDX4 чуть менее чем бесполезны?.. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2016, 13:31 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, я ждал этого вопроса. Там FK его создал, так что просто данность. IDX4 просто для нагрузки, т.к. это не 100% мой пример, но он воспроизводит поведение. Можно сделать (VALUE_2, VALUE_3); OFF: А ещё я верю, что однажды в FB будет некий Index Scan и такие индексы обретут смысл :) ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2016, 13:41 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
afgm2.5 ... Writes from cache to disk = 321 afgm3.0 ... Writes from cache to disk = 739Похоже на расширение файла БД во втором случае, не ? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2016, 13:47 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
hvlad, нет, не оно. Случайно так получилось. Я этой статистикой только запутал. Я прогоняю тесты несколько раз и на прогретом кеше. Пересоздал базы, и уже при первичном заполнении большая разница. Первичное заполнение Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20.
... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2016, 15:02 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
afgm, я попозже погоняю это у себя. Если есть возможность, выполни тест ещё раз без индексов. PS 3.0 в таких тестах медленнее на однопоточной нагрузке до 20%, это известно, ну тут что-то уж слишком много... ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2016, 15:09 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
afgm, у меня стабилизируется только на 3-м выполнении блока. И результат 4 и последующих такой: 2.5 ------ Performance info ------ Prepare time = 0ms Execute time = 4s 275ms Current memory = 34 839 620 Max memory = 34 883 072 Memory buffers = 2 048 Reads from disk to cache = 0 Writes from cache to disk = 181 Fetches from cache = 2 202 798 3.0 - по другому. то есть page writes (467), то нет, в зависимости как долго подождать после коммита блока. А fetches при этом почти одинаковый. ------ Performance info ------ Prepare time = 0ms Execute time = 10s 733ms Current memory = 36 249 360 Max memory = 36 289 032 Memory buffers = 2 048 Reads from disk to cache = 0 Writes from cache to disk = 0 Fetches from cache = 1 301 448 так что, да, медленнее, еще и "по другому". ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2016, 15:26 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
kdv, сразу заметил, и если выполнять один за другим, то в 2.5 Expunges вылезает, в 3.0 нет почти. Писать пока не стал, делаю консольный тест, чтобы статистику набрать. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2016, 15:44 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
afgmесли выполнять один за другим, то в 2.5 Expunges вылезаеExpunges ??? Во время insert'ов ??? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2016, 15:53 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
hvladafgmесли выполнять один за другим, то в 2.5 Expunges вылезаеExpunges ??? Во время insert'ов ???Отбой, я "delete from test_table" пропустил :) ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2016, 15:54 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
hvlad, без индексов из консоли разница не так велика. Из интерфейса ввиду задержек между выполнением, коммитом и новым запуском - есть. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2016, 16:17 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
kdvмедленнее, еще и "по другому". Чисто из любопытства: сравни ещё и с четвёркой. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2016, 16:37 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
afgmбез индексов из консоли разница не так велика. Из интерфейса ввиду задержек между выполнением, коммитом и новым запуском - есть. Наврал. Тест не тот запустил. Опечатка. Перезапускаю. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2016, 16:45 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
Результаты тестирования тестовый код Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. 113. 114. 115. 116. 117. 118. 119. 120. 121. 122. 123. 124. 125. 126. 127. 128. 129. 130. 131. 132. 133. 134. 135. 136. 137. 138. 139. 140. 141. 142. 143. 144. 145. 146. 147. 148. 149. 150. 151. 152. 153. 154. 155. 156. 157. 158. 159. 160. 161. 162. 163. 164. 165. 166. 167. 168. 169. 170. 171. 172. 173. 174. 175. 176.
Результаты тройки: - обновления - получение статистики - коммит Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27.
Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27.
2.5 полностью Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. 113. 114. 115. 116. 117. 118. 119. 120. 121. 122. 123. 124. 125. 126. 127. 128. 129. 130. 131. 132. 133. 134. 135. 136. 137. 138. 139. 140. 141. 142. 143. 144. 145. 146. 147. 148. 149. 150. 151. 152. 153. 154. 155. 156. 157. 158. 159. 160. 161. 162. 163. 164. 165. 166. 167. 168. 169. 170. 171. 172. 173. 174. 175. 176. 177. 178. 179. 180. 181. 182. 183. 184. 185. 186. 187. 188. 189. 190. 191. 192. 193. 194. 195. 196. 197. 198. 199. 200. 201. 202. 203. 204. 205. 206. 207. 208. 209. 210. 211. 212. 213. 214. 215. 216. 217. 218. 219. 220. 221. 222. 223. 224. 225. 226. 227. 228. 229. 230. 231. 232. 233. 234. 235. 236. 237. 238. 239. 240. 241. 242. 243. 244. 245. 246. 247. 248. 249. 250. 251. 252. 253. 254. 255. 256. 257. 258. 259. 260. 261. 262. 263. 264. 265. 266. 267. 268. 269. 270. 271. 272. 273. 274. 275. 276. 277. 278. 279. 280. 281. 282. 283. 284. 285. 286. 287. 288. 289. 290. 291. 292. 293. 294. 295. 296. 297. 298. 299. 300. 301. 302. 303. 304. 305. 306. 307. 308. 309. 310. 311. 312. 313. 314. 315. 316. 317. 318. 319. 320. 321. 322. 323. 324. 325. 326. 327. 328. 329. 330. 331. 332. 333. 334. 335. 336. 337. 338. 339. 340. 341. 342.
3.0 полностью Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. 113. 114. 115. 116. 117. 118. 119. 120. 121. 122. 123. 124. 125. 126. 127. 128. 129. 130. 131. 132. 133. 134. 135. 136. 137. 138. 139. 140. 141. 142. 143. 144. 145. 146. 147. 148. 149. 150. 151. 152. 153. 154. 155. 156. 157. 158. 159. 160. 161. 162. 163. 164. 165. 166. 167. 168. 169. 170. 171. 172. 173. 174. 175. 176. 177. 178. 179. 180. 181. 182. 183. 184. 185. 186. 187. 188. 189. 190. 191. 192. 193. 194. 195. 196. 197. 198. 199. 200. 201. 202. 203. 204. 205. 206. 207. 208. 209. 210. 211. 212. 213. 214. 215. 216. 217. 218. 219. 220. 221. 222. 223. 224. 225. 226. 227. 228. 229. 230. 231. 232. 233. 234. 235. 236. 237. 238. 239. 240. 241. 242. 243. 244. 245. 246. 247. 248. 249. 250. 251. 252. 253. 254. 255. 256. 257. 258. 259. 260. 261. 262. 263. 264. 265. 266. 267. 268. 269. 270. 271. 272. 273. 274. 275. 276. 277. 278. 279. 280. 281. 282. 283. 284. 285. 286. 287. 288. 289. 290. 291. 292. 293. 294. 295. 296. 297. 298. 299. 300. 301. 302. 303. 304. 305. 306. 307. 308. 309. 310. 311. 312. 313. 314. 315. 316. 317. 318. 319. 320. 321. 322. 323. 324. 325. 326. 327. 328. 329. 330. 331. 332. 333. 334. 335. 336. 337. 338. 339. 340. 341. 342. 343. 344. 345.
если надо могу выложить/выслать все батники+скрипты целиком. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2016, 17:39 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
afgm, мораль - чистить таблицу надо заранее. или переходить на gtt. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.07.2016, 00:48 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
kdv, почти разу так и сделал: - расчёты выполняем в GTT - удаляем из основной чего нет в GTT - merger-insert (update не нужен в данном случае) То, что повторно "топтаться" по версиям в FB не стоит, для себя уяснил давно. Два update подряд в одной транзакции наглядно демонстрируют это. Но вот уйти ещё в два раза - напрягает. Можно конечно и через инкрементальный подход делать расчёты, но логику это усложняет и чревато ошибками, потому как подход "старую информацию стираем" нагляднее и менее подвержен ошибкам при доработке. А вообще 10-20% для данного случая я бы пережил. И прекрасно понимаю замечание Влада о том, что в одно лицо запросы будут медленнее. Просто обидно за любимую птицу. Почти всегда новые фичи, или подобное поведение прогоняю в PgSQL и MSSQL. И результат не всегда на нашей стороне. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.07.2016, 09:40 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
afgm, регрессии в 3-ке изучаются, надеюсь будут и улучшения. Твой пример я постараюсь завтра подробно рассмотреть. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.07.2016, 11:01 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
Я нашёл причину регрессии с индексами, как вылечу - сообщу. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2016, 19:41 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
hvlad, Спасибо, буду ждать. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2016, 23:06 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
07.07.2016, 15:38 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
07.07.2016, 15:42 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
Симонов Денис, да, конечно. Я проверял полдня сегодня, но лишняя проверка не помешает. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.07.2016, 15:53 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
hvlad, прогнал батнички с тестами, работает даже быстрее чем 2.5. Надо будет завтра повнимательнее посмотреть. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.07.2016, 17:43 |
|
Упала скорость update при переходе с 2.5 на 3.0
|
|||
---|---|---|---|
#18+
afgm, ты из исходников что ли собирал? Очень важно прогнать CORE-4914, для него Таблоид писал нетривиальный тест, причём баг проявляется только на высокой нагрузке. Этот тикет очень важный, потому что баг приводил к разрушению БД. Я ему помогал тестировать это на своём серваке. Попробую прогнать тот тест завтра. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.07.2016, 18:16 |
|
|
start [/forum/topic.php?fid=40&msg=39266338&tid=1562041]: |
0ms |
get settings: |
9ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
49ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
52ms |
get tp. blocked users: |
1ms |
others: | 18ms |
total: | 163ms |
0 / 0 |