|
|
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
hi all DDL: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. Скрипт (file = ' ins_mul_run.sql '), выполняемый каждым из открываемых сеансов: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. Батник , стартующий то число ISQL'ей, которое ему будет подано первым аргументом (по дефолту = 10): Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. Отслежка загрузки процессом ФБ ядер: Код: plaintext Результат отслежки при работе 100 (ста) молотилок - см аттач. Вопрос-1. Чем объяснить, что всю дорогу только 7 ядер из 12 хоть как-то грузятся (на 20-25%), а остальные пять ловят халяву (3-7%) ? Вопрос-2. Почему распределение грузилова по ядрам какое-то подозрительно постоянное ? Например, если запустить вставку только с одного коннекта, то в top'e будет видно, как нагрузка время от времени "перебрасывается" осью с одного ядра на другое, причём в непредсказуемом порядке. А здесь всё время какая-то "статика" типа этой: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. Вопрос-3. У мну в железке два камня по 6 ядер. Почему в первом камушке загружаются 4, а во втором - 3 (если не рассматривать ядра с нагрузкой ниже 10%). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.11.2014, 20:33 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
ТаблоидЧем объяснить, что всю дорогу только 7 ядер из 12 хоть как-то грузятся (на 20-25%), а остальные пять ловят халяву (3-7%) ? Тем, что в твоём тесте 7 горячих точек. Любой процесс свыше этого числа будет ничего не делать, ожидая когда один из тех, кому повезло больше нужный ресурс освободит. ТаблоидУ мну в железке два камня по 6 ядер. Почему в первом камушке загружаются 4, а во втором - 3 Потому что 7 на 2 нацело не делится. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.11.2014, 20:40 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидЧем объяснить, что всю дорогу только 7 ядер из 12 хоть как-то грузятся (на 20-25%), а остальные пять ловят халяву (3-7%) ? Тем, что в твоём тесте 7 горячих точек. Любой процесс свыше этого числа будет ничего не делать, ожидая когда один из тех, кому повезло больше нужный ресурс освободит.Не понимаю. Что ты считаешь под "горячей точкой" ? Ресурсы, если не считать insert into tlog, заняты по большей части в выделенном ниже фрагменте. Там надо бесконца корректировать правый коне "финиш" листового уровня индекса, да и split'ы, наверное, должны часто возникать: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. Где еще шесть "гор. точек" ? И чем тогда объяснить, что остальные ядра (5 штук) торчать на какой-то не нулевой загрузке, если они всё время ждут щастья ? И почему всё время одни и те же ядра работают / ждут, т.е. нагрузка между ними не "перебрасывается" осью ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.11.2014, 20:52 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Интересно каков будет расклад если писать не в одну таблицу, а в сто. В винт упрётся? Или тоже на локах будет висеть? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.11.2014, 20:56 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
NickDeeИнтересно каков будет расклад если писать не в одну таблицу, а в сто. В винт упрётся? Или тоже на локах будет висеть? Я про SSD :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.11.2014, 20:59 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
NickDeeИнтересно каков будет расклад если писать не в одну таблицу, а в сто. В винт упрётся? Или тоже на локах будет висеть?локов станет в N раз меньше (PP & DP будут исключены из общего числа, останутся только индекс и страница генераторов), а в винт упереться - с чего бы это ?.. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.11.2014, 21:01 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
NickDeeЯ про SSD :)вот и проверь :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.11.2014, 21:01 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
ТаблоидГде еще шесть "гор. точек" ? DP, PP, TIP, HEADER, страница генераторов. Что шестое - сходу не вспоминается. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.11.2014, 21:02 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидГде еще шесть "гор. точек" ? DP, PP, TIP, HEADER, страница генераторов. Что шестое - сходу не вспоминается.ОК, придут монстры рока - прольют свет на оставшийся ресурс. Но остается вопрос-2 (про удивительное постоянство распределения нагрузки по ядрам). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.11.2014, 21:10 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидГде еще шесть "гор. точек" ? DP, PP, TIP, HEADER , страница генераторов. Что шестое - сходу не вспоминается.Стоп. У мну транзакции стартуют в этом тесте редко . Откудова взяться блокировкам TIP & HEADER ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.11.2014, 21:12 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
0xFF. Кажись, тест вообще какой-то адцко-сатанинский вышел. Ибо смотрю в логи молотилок и вижу: Код: plaintext 1. 2. 3. 4. При том, что Код: plaintext 1. 2. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.11.2014, 21:36 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Версия и архитектура сервера? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.11.2014, 15:54 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovВерсия и архитектура сервера? LI-T6.3.0.31394 Firebird 3.0 Beta 1, SuperServer. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.11.2014, 16:33 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Проверь как скажется на быстродействии и характере загрузки приложенный патч. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.11.2014, 17:10 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovПроверь как скажется на быстродействии и характере загрузки приложенный патч.Проверил. Вот что было до этого патча: Код: plaintext 1. 2. 3. 4. И вот что стало: Код: plaintext 1. 2. 3. 4. AVG - среднее время вставок 10 тыс строк, по всем аттачам. COUNT*10'000 - общее число строк, которое было добавлено в таблицу. Таким обр., дифферент в сторону "лучше" составил ~ 3% . Загрузка ядер осталась прежней: 7 штук грузятся "по человечьи", процентов на 15-20, остальные загружены "по децки", на 5-7%. 0xFF. На этом тесте также лезет ошибка следующего содержания: Код: plaintext 1. 2. 3. Воспроизводится НЕ регулярно, зараза. Но вот сейчас сразу на трёх аттачах вылезла. Кроме того, лезет еще один перл (в данном прогоне было сразу на пяти аттачах из 180 запущенных): Код: plaintext 1. 2. 3. 4. 5. (хотя база с таким именем, ес-сно, давно и спокойно себе живёт, да и остальные аттачи с ней работают ОК). Отправил кляузу Алексу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.11.2014, 18:05 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Таблоиддифферент в сторону "лучше" составил ~ 3%. Загрузка ядер осталась прежней /me теперь озадачен, поскольку ни одна из половинок этого патча не должна была бы так повлиять... Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.11.2014, 18:51 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Может уперлись в предел открытых файлов, раз он хаотично не пускает к рабочей базе новые коннекты? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.11.2014, 16:16 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Антон Карасёв, на супере вроде как эксклюзивное подключение к файлу БД. Да и файлы блокировок не создаются ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.11.2014, 16:18 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Антон Карасёвон хаотично не пускает к рабочей базе новые коннектыКто ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.11.2014, 16:30 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
возможно, в чем-то виноват в плане получения ошибки неоткрытия файла сам isql и скрипт. откуда-то ошибка ввода - вывода лезет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.11.2014, 16:34 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
hvlad, 2014-11-20T17:31:19.3440 (11984:0x7f30af975d90) ERROR AT JProvider::attachDatabase /var/db/fb30/tmpins.fdb (ATT_0, SYSDBA, NONE, TCPv4:192.168.0.201) C:\1Install\FIREBIRD_2_5\bin\isql.exe:7500 335544344 : I/O error during "open" operation for file "/var/db/fb30/tmpins.fdb" 335544734 : Error while trying to open file 2 : No such file or directory (хотя база с таким именем, ес-сно, давно и спокойно себе живёт, да и остальные аттачи с ней работают ОК). не знаю кто, но точно не пустил.... Симптомы мне напомнили грабли с недостатком ресурсов системы в т.ч. ограничение по файлам. Могу быть, конечно, не правым. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.11.2014, 16:37 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Антон КарасёвМожет уперлись в предел открытых файлов, раз он хаотично не пускает к рабочей базе новые коннекты? Код: plaintext 1. PS. Но я таки решил посмотреть: 1. Что открыто процессом ФБ, когда нет подключений к базам: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. 113. 114. 115. 116. 117. 118. 119. 120. 121. 122. 123. 124. 125. 126. 127. 128. 129. 130. 131. 132. 133. 134. 135. 136. 137. 138. 139. 140. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. Особливо интригуют строки про варадеро и дерби-реплику ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.11.2014, 16:53 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Таблоид$ grep "^[^#;]" /etc/security/limits.conf * soft core unlimited А как насчет наличия строк с "nofile"? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.11.2014, 17:01 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Антон КарасёвТаблоид$ grep "^[^#;]" /etc/security/limits.conf * soft core unlimited А как насчет наличия строк с "nofile"?Там есть еще две строки, но они вроде как только для оракла: Код: plaintext 1. 2. 3. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.11.2014, 17:04 |
|
||
|
insert'ы со 100 сеансов грузят только 7 ядер из 12
|
|||
|---|---|---|---|
|
#18+
Бесовщика какая-то с выводом lsof. Теперь лезут какие-то другие "странно-именованные ТСР": eg-office, blackjack(!) и еще там хз что :-) "Вы гляньте, гляньте на нашего активиста!" (C) Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. 113. 114. 115. 116. 117. 118. 119. 120. 121. 122. 123. 124. 125. 126. 127. 128. 129. 130. 131. 132. 133. 134. 135. 136. 137. 138. 139. 140. 141. 142. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.11.2014, 17:09 |
|
||
|
|

start [/forum/topic.php?fid=40&msg=38810142&tid=1563186]: |
0ms |
get settings: |
7ms |
get forum list: |
13ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
166ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
44ms |
get tp. blocked users: |
1ms |
| others: | 215ms |
| total: | 461ms |

| 0 / 0 |
