|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Коллеги, приветствую. Собственно возник сабжевый вопрос. кто может поделиться "бест практикс" или просто опытом? Работать с ФБ на железе мы более менее умеем, возникла задача работать с несколькими сайтами, причем достаточно интенсивно. Сайты сидят на всяких хостингах, на виртуальных машинах, гоним данные через инет туда, что не быстро, захотелось базу разместить поближе, чтобы сайт подпитывать быстрее. Под это дело изготовили тестовый полигон: железо пара зионов+24гига памяти и массив адаптек САС 6хРэйд10 сервак не новый, но на голом железе (центос6+фб2.5) крутит нашу базу весом примерно 50 гиг довольно весело и тормозов при нескольких десятках коннектов не наблюдается. Снесли с железа центос и поставили проксмокс4 (это такой дистриб на базе дебиана, заточен по виртуализацию https://www.proxmox.com/en/ ) в ВМ поставили центос7, ФБ, залили базу и поехали... точнее мы надеялись , что оно поедет, но оно поползло, скорость копирования по сети упала с 80 мегабайт/сек до 25-30, в интерактивном режиме наш АРМ стал заметно задумываться, отзывчивость по моим прикидкам с секундомером ухудшилась раза в 3, длительность сбора отчетов примерно вдвое и это при том, что ради тестов никто основной сервер не останавливал и он обслуживал помимо меня еще под сотню коннектов, а тестовый только мои изыскания. В общем эксперимент провалился. Это у нас настолько кривые руки или у всех так? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.10.2015, 16:54 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Ivan_Pisarevsky, скорость копирования по сети упала с 80 мегабайт/сек до 25-30 я бы смотрел в сторону настройки виртуалки PS: у меня FB на VirtualBOX работает в тех же параметрах, что и хостовая машина ... |
|||
:
Нравится:
Не нравится:
|
|||
26.10.2015, 17:14 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Ivan_Pisarevsky, очень интересует "массив адаптек САС 6хРэйд10" - 1. производительность диска на голом центос, какие-нибудь попугаи, что угодно 2. --//-- на голом proxmox 3. --//-- в вм Centos7. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.10.2015, 17:33 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
fankhmя бы смотрел в сторону настройки виртуалкиценный совет, всеобъемлющий, я бы сказал. fankhmFB на VirtualBOXэто тоже попробуем, на одном из десктопов он уже есть. kdv"массив адаптек САС 6хРэйд10"уточню завтра у нашего админа и остальное тоже. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.10.2015, 17:53 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Ivan_Pisarevskyценный совет, всеобъемлющий, я бы сказал. Насколько я помню, у KVM вообще сё железо виртуальное, поэтому там есть куда крутить и большое поле для кривых драйверов. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.10.2015, 18:00 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovKVMна нем свет клином не сошелся, просто полдюжины малонагруженных виртуалок у нашего админа на КВМе есть, вот и начали изыскания с него, как с более привычного. Dimitry Sibiryakovтам есть куда крутитьвот бы поконкретнее... ... |
|||
:
Нравится:
Не нравится:
|
|||
26.10.2015, 18:12 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Ivan_Pisarevskyвот бы поконкретнее... Первое же по ссылкам: http://www.linux-kvm.org/page/Tuning_Kernel http://www.linux-kvm.org/page/Tuning_KVM Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.10.2015, 18:28 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
kdvочень интересует "массив адаптек САС 6хРэйд10" - нормально там все с настройкой, если очень-очень интересно вся портянка параметров под спойлером Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. 113. 114. 115. 116. 117. 118. 119. 120. 121. 122. 123. 124. 125. 126. 127. 128. 129. 130. 131. 132. 133. 134. 135. 136. 137. 138. 139. 140. 141. 142. 143. 144. 145. 146. 147. 148. 149. 150. 151. 152. 153. 154. 155. 156. 157. 158. 159. 160. 161. 162. 163. 164. 165. 166. 167. 168. 169. 170. 171. 172. 173. 174. 175. 176. 177. 178. 179. 180. 181. 182. 183. 184. 185. 186. 187. 188. 189. 190. 191. 192. 193. 194. 195. 196. 197. 198. 199. 200. 201. 202. 203. 204. 205. 206. 207. 208. 209. 210. 211. 212. 213. 214. 215. 216. 217. 218. 219. 220. 221. 222. 223. 224. 225. 226. 227. 228. 229. 230. 231. 232. 233. 234.
kdv1. производительность диска на голом центос, какие-нибудь попугаи, что угоднонаш админ гонял какую-то синтетику и уверяет, что все кругом зашибись и на железе и в вм. Из того, что видно невооруженным глазом, копирование по ssh почти сровнялось в ВМ и на хосте, разброс уже не в разы, а процентов 25-30. Но тем не менее АРМ продолжает тупить, хотя ВМке отдали почти всю память и почти все ядра. Над написанием теста, который сымитирует нашу нагрузку я пока "чешу репу", синтетика мне вообще неинтересна. Поднял еще центос на своем десктопе в виртуалке (вмварь плейер, на железе OpenSuse 64 бита, ОЗУ 16гб, виртуалке отдал 8гб), визуально тупит даже меньше, чем центос в КВМе на вполне себе серверном железе. Для минимизации влияния дискововго ИО проводил несколько заходов, чтоб база закэшировалась, в вмваре тупить почти переставало (у меня на десктопе нет САС массива), в КВМе весь тупняк оставался на месте. Пока впечатление: "гамно все эти виртуалки". набросаю тест, который нарисует неких попугаев под наши задачи, там можно будет более предметно сравнить. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.10.2015, 12:25 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Иван, какой драйвер используется в гостевой системе на виртуальном сетевом адаптере? Para-virtualized "Virtio"? ... |
|||
:
Нравится:
Не нравится:
|
|||
30.10.2015, 13:04 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Ivan_PisarevskyАРМ продолжает тупить А что говорит стандартный мониторинг производительности при этом? top/iotop? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
30.10.2015, 13:11 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
DBConstructor"Virtio"?да. пробовали всякие, лучше не становилось. Dimitry Sibiryakovtop/iotop?"сервер бьет баклуши" в моем кратком образном пересказе. Я никак не въеду в чем проблема, поэтому, возможно, несу тут ахинею. Курю доки и придумываю тесткейз, ВМки для меня покуда темный лес с партизанами. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.10.2015, 13:27 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Ivan_PisarevskyDBConstructor"Virtio"?да. пробовали всякие, лучше не становилось. "Всякие" для гостевой в KVM - это вред. Оптимальная производительность гостевых ОС гарантируется только при использовании комплекта драйверов "VirtIO". https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Virtualization_Host_Configuration_and_Guest_Installation_Guide/ch10s04.html ... |
|||
:
Нравится:
Не нравится:
|
|||
30.10.2015, 13:33 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Ivan_PisarevskyАРМ продолжает тупить Есть возможность запустить этот АРМ в той же самой ВМ чтобы исключить очевидное - длинный пинг? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
30.10.2015, 13:39 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Ivan_Pisarevsky, Важно чтобы для гостевой системы использовались подходящие паравиртуальные драйвера, особенно для сетевой карты и SCSI. https://lonesysadmin.net/2013/12/13/use-paravirtualized-devices-virtual-machines/ https://linux.web.cern.ch/linux/centos7/docs/rhel/Red_Hat_Enterprise_Linux-7-Virtualization_Getting_Started_Guide-en-US.pdf ... |
|||
:
Нравится:
Не нравится:
|
|||
31.10.2015, 11:55 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Ivan_Pisarevsky, Весь комплект документации по RHEL7, в том числе и Virtualization_Deployment_and_Administration_Guide. http://www.nnme.racing/torrent/1658696818/RHEL7 zip ... |
|||
:
Нравится:
Не нравится:
|
|||
31.10.2015, 13:00 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
DBConstructor"Всякие" для гостевой в KVM - это вред.Попробовать на тестовой железяке это не вред, это опыт. DBConstructorОптимальная производительность гостевых ОС гарантируется только при использовании комплекта драйверов "VirtIO".виртио и выставлено в итоге. Dimitry SibiryakovЕсть возможность запустить этот АРМ в той же самой ВМ чтобы исключить очевидное - длинный пинг? пинг там локальной сети, АРМ виндовый, сентос в минимальной обвязке, там даже иксов нету, не то что вайна. хлопотно короче арм прямо там запускать, да по вайном его плотно не тестировали, можно еще на кучу граблей напороться. За ссылки на доки спасибо, я пока не успеваю все изучить, по мере осознания постараюсь осмысленно ответить. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.11.2015, 11:05 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Удалось установить, что в итоге стало "бутылочным горлышком"? Пропускная способность виртуального сетевого адаптера или мапированный раздел raid массива? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.11.2015, 11:29 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
DBConstructorУдалось установить, что в итоге стало "бутылочным горлышком"?Ivan_PisarevskyКурю доки и придумываю тесткейзПока конкретики нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.11.2015, 11:33 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Ivan_PisarevskyIvan_PisarevskyКурю доки и придумываю тесткейзПока конкретики нет. Гугля Хабр наткнулся на интересную публикацию по замеру скорости дисковых операций: http://habrahabr.ru/post/154235/ ... |
|||
:
Нравится:
Не нравится:
|
|||
02.11.2015, 13:00 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
А есть зависимость между блоком на HDD и рекомендуемым размером страницы? Сейчас я определился для себя путем эксперимента. Восстанавливал базы с разными размерами страницы и выполнял "тяжелый запрос". ... |
|||
:
Нравится:
Не нравится:
|
|||
02.11.2015, 15:14 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Dmitriy_3206, "блок" данных на HDD всегда 512 байт. Может, вы имели в виду размер кластера файловой системы или размер страйпа raid массива? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.11.2015, 15:17 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Dmitriy_3206, блок (сектор) на hdd поменять невозможно. у hdd это 512 байт, у ssd 4 килобайта. Новые большие hdd тоже с сектором 4кб. Поменять можно размер кластера файловой системы. Dmitriy_3206Восстанавливал базы с разными размерами страницы и выполнял "тяжелый запрос". на чтении это будет практически незаметно, разве только если размер кластера ставить совсем мелким, а размер страницы БД - 16к. Разница будет скорее при записи, если кластер и page_size отличаются. Если кластер больше - будет лишняя запись, если кластер меньше - будет несколько операций записи на 1 страницу БД. Впрочем, ОС это оптимизирует. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.11.2015, 15:20 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Спасибо за ответ. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2015, 14:11 |
|
firebird в виртуальной машине.
|
|||
---|---|---|---|
#18+
Признали эксперимент с виртуалками провалившимся, вынесли нах и все зашуршало весело и без затыков. Под сайт просто арендовали железку и он(сайт) тоже тупить перестал и обмен данными ускорился в разы даже без размещения нашей базы рядом с сайтом. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.11.2015, 17:32 |
|
|
start [/forum/topic.php?fid=40&msg=39092843&tid=1562489]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
32ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
63ms |
get tp. blocked users: |
2ms |
others: | 15ms |
total: | 158ms |
0 / 0 |