|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
сделал видео. В этом видео - тест параллельной вставки данных в одну таблицу. Теория и практика развеивают мифы. Сравнение серверов Firebird 2.5, 3.0, Classic, SuperClassic, SuperServer. Тут если вставить ссылку на ютуб, она вроде ембеддится, ну и ладно. Вопросы? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 14:50 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
Hello, Kdv! You wrote on 15 марта 2017 г. 14:54:12: KdvВопросы?Primary Key и вообще индексы есть? (ютуб зарезан) Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 14:55 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
Мимопроходящий, только ПК. таблица с целочисленными типами, запись 70-80 байт. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 15:09 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
Там на 15 минуте ошибка в тексте, AFAIU - должно быть "отрыв от SC и CS". Описание/код вставлятора есть где-то? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 15:10 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
Впрочем, досмотрел до конца, тогда код не нужен, пожалуй. :) Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 15:11 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
Hello, Kdv! You wrote on 15 марта 2017 г. 15:15:17: Kdv> только ПКну дык! сериализация ж никуда не делась. проверь без него. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 15:16 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
Гаджимурадов РустамОписание/код вставлятора есть где-то? сгенерированы скрипты для вставки, потом "запускатор" стартует партию ISQL с этими скриптами. Гаджимурадов РустамТам на 15 минуте ошибка в тексте, AFAIU - должно быть "отрыв от SC и CS". черт, да, конечно. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 15:16 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
Мимопроходящийну дык! сериализация ж никуда не делась. проверь без него. без него будет то же самое, только побыстрее. Собственно, Ковязин еще в 2015 году делал отдельный тест влияния "коротких" и "больших" ПК на вставку, и на миллионе записей и целочисленным ПК разница где-то в 2.5 раза, причем деградации нет. А вот на строковом индексе - деградация идет почти сразу, уже с десятков тысяч записей. Тест, конечно, надо перепроводить на 3.0.2, и у меня была мысль проверить совсем без индексов. Но пока повтор теста на втором месте по важности. Кроме того, hvlad сказал, что в отличие от всего остального SuperServer 3.0 будет пытаться искать другую свободную страницу, если наткнется на лок. Но я это обдумывал, и пришел к выводу, что нифига это не даст, кроме вероятной "фрагментированности" страниц (которую тоже надо будет проверить при повторении теста). ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 15:29 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
kdv, а можно к этому видео, размещённом на ibase.ru приложить скрипты самого теста? Чтобы любой желающий мог попробовать у себя. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 15:43 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
kdvНо я это обдумывал, и пришел к выводу, что нифига это не даст, кроме вероятной "фрагментированности" страниц (которую тоже надо будет проверить при повторении теста).Плохо обдумывал ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 15:51 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
hvlad> Плохо обдумывал А что в 2.5 происходит при локе, ждёт или ищет другую? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 16:00 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
Гаджимурадов Рустам, дык в 2.5 страницы по другому выделяются - одна за одной. А в 3.0 может выделяться пачками (эсктентами) ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 16:01 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
Симонов Денис приложить скрипты самого теста? может быть. А может и нет, в силу специфики "обвязки" для запуска isql. В минимальном варианте можно проверить на 1 и двух коннектах: - создать таблицу - сгенерить в ней млн записей (хоть ибэкспертом) - экспортнуть эти данные в текст, это будет скрипт1 - разрезать скрипт1 пополам, это будет скрипт2 - померять время на 1м isql и на двух запущеных хоть с интервалом в 1 сек. это так, чтобы не ждать. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 16:04 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
Симонов Денисдык в 2.5 страницы по другому выделяются - одна за одной. А в 3.0 может выделяться пачками (эсктентами)Именно. И поиск свободного места\не залоченной страницы осуществляется в пределах текущего экстента. Не самый эффективный алгоритм, тут есть что улучшать. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 16:15 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
kdvтолько ПК В следующем тесте добавь один или два. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 16:17 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
Я на днях уж посмотрел. И, вроде, даже лайкнул. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2017, 16:31 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
kdv, интересует: 1. Сервер однопроцессорный или нет? 2. Диски SSD или железка? Можно ли получить ваш набор в виде, годном для запуска? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2017, 13:28 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
RomanzekСервер однопроцессорный или нет? какая разница, интересно? Особенно если посмотреть на результаты 1, 2 и 4 коннектов. Ядер-то 12. И, сейчас точно не могу сказать, но явно процессор один, 6-ядерные на серверах вроде не бывают. RomanzekДиски SSD или железка? вроде RAID из SATA-дисков. Точно не SSD. скрипты возможно дадим, но позже. Перепроверять на 3.0.2 будем. Однако, мне интересно - что вы хотите получить перепроверкой теста у себя? То есть, вы хотите сравнить с приведенными результатами, или вы ожидаете, что результаты на разных архитектурах будут как-то сильно отличаться от наших результатов? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2017, 14:47 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
Hello, Kdv! You wrote on 17 марта 2017 г. 14:57:23: Kdv> 6-ядерные на серверах вроде не бывают.а для кого ж Intel 6-ядерные Xeon'ы клепает? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2017, 14:58 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
kdv6-ядерные на серверах вроде не бывают.у нас пара таких в сервере. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2017, 15:02 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
kdvRomanzekСервер однопроцессорный или нет? какая разница, интересно? Особенно если посмотреть на результаты 1, 2 и 4 коннектов. Ядер-то 12. И, сейчас точно не могу сказать, но явно процессор один, 6-ядерные на серверах вроде не бывают. Разница может быть очень существенной. Так как CFS ;-) Более того, там еще от модели процессора зависит поведение планировщика. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2017, 15:59 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
мы кстати тоже проводили подобные тесты. Но не с целью доказать, что производительность в нескольких потоках снижается - это мы и так понимаем. Наша цель была нащупать предел, после которого наступает серверный коллапс. То есть производительность падает до нуля (что и случалось у нас в продакшине). Но, к сожалению, синтетикой это нащупать оказалось крайне тяжело. Пришлось делать полноценный нагрузочный тест в приложении. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2017, 16:13 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
kdv, У меня c FB3 SS получилась немного другая картина. 6950X (10C:20T)/128GB/Win10. FB 3.0.2.32692 x64 SuperServer. DefaultDbCachePages = 200000 MaxUnflushedWrites = -1 MaxUnflushedWriteTime = -1 База на RAM диске. Страница 16KB. FW: OFF. Тестовая таблица - 1 колонка (BIGINT, PK). Есть триггер. Перед каждым запуском база приводится к исходному состоянию. На момент проведения этих тестов FB уже накрутил 200 часов (User Time), но перегружать я его не буду. Вставка 1 млн записей: Код: plaintext 1. 2. 3. 4. 5. 6. 7.
Вставка 10 млн записей (пробовал только один раз): Код: plaintext 1. 2. 3. 4. 5. 6.
Код теста на C# Код: c# 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. 113. 114. 115. 116. 117. 118. 119. 120. 121. 122. 123. 124. 125. 126. 127. 128. 129. 130. 131. 132. 133. 134. 135. 136. 137. 138. 139. 140. 141. 142. 143. 144. 145. 146. 147. 148. 149. 150. 151. 152. 153. 154. 155. 156. 157. 158. 159. 160. 161. 162. 163. 164. 165. 166. 167. 168. 169. 170. 171. 172. 173. 174. 175. 176. 177. 178. 179. 180. 181. 182. 183. 184. 185. 186. 187. 188. 189. 190. 191. 192. 193. 194. 195. 196. 197. 198. 199. 200. 201. 202. 203. 204. 205. 206. 207. 208. 209. 210. 211. 212. 213. 214. 215. 216. 217. 218. 219. 220. 221. 222. 223. 224. 225. 226. 227. 228. 229. 230. 231. 232. 233. 234. 235. 236. 237. 238. 239. 240. 241. 242. 243. 244. 245. 246. 247. 248. 249. 250. 251. 252. 253. 254. 255. 256. 257. 258. 259. 260. 261. 262. 263. 264. 265. 266. 267. 268. 269. 270. 271. 272. 273. 274. 275. 276. 277. 278. 279. 280. 281. 282. 283. 284. 285. 286. 287. 288. 289. 290. 291. 292. 293. 294. 295. 296. 297. 298. 299. 300. 301. 302. 303. 304. 305. 306. 307. 308. 309. 310. 311. 312. 313. 314. 315. 316. 317. 318. 319. 320. 321. 322. 323. 324. 325. 326. 327. 328. 329. 330. 331. 332. 333. 334. 335. 336. 337. 338. 339. 340. 341. 342. 343. 344. 345. 346. 347. 348. 349. 350. 351. 352. 353. 354. 355. 356. 357. 358. 359. 360. 361. 362. 363. 364. 365. 366. 367. 368. 369. 370. 371. 372. 373. 374. 375. 376. 377. 378. 379. 380. 381. 382. 383. 384. 385. 386. 387. 388. 389. 390. 391. 392. 393. 394.
run1.bat - запуск теста Код: plaintext 1. 2.
run.bat - запуск группы тестов Код: plaintext 1. 2. 3. 4. 5.
Лог запуска для 10млн записей и 8 потоков Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24.
Возможно что-то здесь не так. Но у меня нагрузочное тестирование в 4 потока идет ~16 часов. А в 8 потоков - ~10 часов. Тесты разные, но большая часть параллельно работает с одними и теми же таблицами. В 4 потока можно запускать сразу два экземпляра тестов (для разных баз данных) - те же 16 часов. Плюс минус. Естественно - нагрузочные тесты тоже на RAM-диске. Так что цифры вышеприведенного теста вроде адекватные. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2017, 16:36 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
Коваленко Дмитрий, Интересные результаты, спасибо Будем теперь с нетерпением ждать релиза нашей тройки :) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2017, 17:04 |
|
ANN: видео о мифе эффективности параллельной вставки
|
|||
---|---|---|---|
#18+
Hello, Romanzek! You wrote on 17 марта 2017 г. 17:07:05: Romanzek> Будем теперь с нетерпением ждать релиза нашей тройки :)обо что речь? какой тройки? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
17.03.2017, 17:07 |
|
|
start [/forum/topic.php?fid=40&msg=39421459&tid=1560443]: |
0ms |
get settings: |
8ms |
get forum list: |
8ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
127ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
50ms |
get tp. blocked users: |
1ms |
others: | 265ms |
total: | 472ms |
0 / 0 |