|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
KoTTTДохтаР, 80 активных из 2000 - это не так чтобы много. Какой-нибудь HP DL980 справится :) Это я про ДохтаРPOWERу альтернативы пока нет и врядли в ближайшем будущем появится Та яж не против, мы с kmaleev зацепили тему консолидации, с целью уменьшения стоимости владения. В рамаках темы и обсуждаем. У DL980 есть аппаратный гипервизор ? или какая либо другая технология виртуализации сертифицированная ораклом , что бы перетаскивать процессоры и память с ОС с не активной БД в ОС активной БД внутри одного сервера? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 13:34 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
kmaleevДохтаРпропущено... В лучшем случае получается получить 3 активных сессии оракла на процессорах на одну кору . В примере: 144/4 = 36 кор , 40 -50 активных сессий одновременно выполняется . Если забрать процов то количество выполняющих активных сессий не упадет, так как есть еще запас по утилизации процессорв. Произовдительность начинает падать при утилизации процов в 75% на систему. У нас не под Oracle вылезает системная утилизация под 100%. При пользовательской всего в 10-20%. Я думаю что виноват не сам оракл, а то как его и аикс по него настроили. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 13:38 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
ДохтаРkmaleevпропущено... У нас не под Oracle вылезает системная утилизация под 100%. При пользовательской всего в 10-20%. Я думаю что виноват не сам оракл, а то как его и аикс по него настроили.Все намного интересней. У нас 2 980 с 80 ядрами, которые были куплены фактически на старте продаж. Так вот на стартовом биосе и ОС без новых бандлов НТ работает нормально. А вот после недавнего обновления, нам пришлось отключить HT. Т.е. мы сейчас имеем ситуацию, что при одном и том же ПО, один сервер нормально работает с HT, а обновленный падает, если не отключить. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 13:45 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
ДохтаР, Я правильно вас понял, что у вас есть опыт настройки 980 под Oracle с включенным HT? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 13:46 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
kmaleevДохтаР, Я правильно вас понял, что у вас есть опыт настройки 980 под Oracle с включенным HT? Нет , у меня нет опыта работы с оборудованием HP. Приведенный пример - это работа Оракл 11 на IBM P770 с гипертредингом в полной виртуализации( Сетевые и FC адаптеры виртуальные). ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 13:56 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
ДохтаРkmaleevДохтаР, Я правильно вас понял, что у вас есть опыт настройки 980 под Oracle с включенным HT? Нет , у меня нет опыта работы с оборудованием HP. Приведенный пример - это работа Оракл 11 на IBM P770 с гипертредингом в полной виртуализации( Сетевые и FC адаптеры виртуальные). Насколько сложно было настроить ОС, чтобы получить 3 сессии на ядро? Я понимаю, что вопрос несколько сферический. Настройки из коробки или пришлось проводить многочисленные тесты? И как оцениваете ваши настройки, они универсальны для любой БД, или же подходят исключительно для вашей нагрузки? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 14:02 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
kmaleevДохтаР, Я правильно вас понял, что у вас есть опыт настройки 980 под Oracle с включенным HT?Я работал много с DL980 без HT (по той простой причине что HP настоятельно его не рекомендует использовать под Linux, где-то есть его whitepaper где говорится что scheduler Линукса хреново уживается с таким кол-вом ядер). Но вот недавно мигрировал систему где включили HT и проблем я не вижу. С другой стороны, если система не загружена и нагрузка не специфична для HT, то в HT смысла нет. А какие проблемы у вас? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 14:03 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
kmaleevДохтаРпропущено... Нет , у меня нет опыта работы с оборудованием HP. Приведенный пример - это работа Оракл 11 на IBM P770 с гипертредингом в полной виртуализации( Сетевые и FC адаптеры виртуальные). Насколько сложно было настроить ОС, чтобы получить 3 сессии на ядро? Я понимаю, что вопрос несколько сферический. Настройки из коробки или пришлось проводить многочисленные тесты? И как оцениваете ваши настройки, они универсальны для любой БД, или же подходят исключительно для вашей нагрузки? В перфоманс тюнинге универсальных методов не существует. Нужно искать бутылочные горла и их устранять Первый пример - практически чистый ОЛТП. этот, авторvmstat 1 100 System configuration: lcpu=60 mem=204800MB kthr memory page faults cpu ----- ----------- ------------------------ ------------ ----------- r b avm fre re pi po fr sr cy in sy cs us sy id wa 17 0 25551229 16237178 0 0 0 0 0 0 3448 304498 10077 48 9 38 5 15 0 25603840 16151814 0 0 0 0 0 0 5166 375174 13010 48 11 32 10 13 0 25605452 16120126 0 0 0 0 0 0 6081 327042 15057 40 9 38 13 15 0 25604374 16086387 0 0 0 0 0 0 4082 325013 12788 43 9 35 13 17 0 25602471 16055090 0 0 0 0 0 0 4468 312897 14124 44 8 35 13 17 0 25602493 16021452 0 0 0 0 0 0 5289 326832 11873 43 9 33 15 16 0 25602806 15996233 0 0 0 0 0 0 3833 356329 11055 41 9 35 15 0 0 25604726 15956243 0 0 0 0 0 0 4442 328039 13708 42 10 33 14 22 0 25603063 15923748 0 0 0 0 0 0 5265 307356 13591 44 9 33 14 19 0 25599125 15901939 0 0 0 0 0 0 3640 314068 11903 38 8 40 13 13 0 25600062 15880522 0 0 0 0 0 0 3697 235994 10854 38 8 39 16 ^C lp3-ltwa maintanence #su - oracle lp3-ltwa ~ $sqlplus / as sysdba SQL*Plus: Release 11.2.0.2.0 Production on Fri Sep 27 13:04:27 2013 Copyright (c) 1982, 2010, Oracle. All rights reserved. Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.2.0 - 64bit Production With the Partitioning, OLAP, Data Mining and Real Application Testing options SQL> SQL> SQL> SQL> select status, count(*) from v$session group by status; STATUS COUNT(*) -------- ---------- INACTIVE 138 ACTIVE 84 SQL> система принятия решений , которая постоянно продувает всевозможные кеши : Тут утилизация с точки зрения стоимости владения хуже. Но по производительности вроде всех устраивает. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 14:14 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
Best Practices When Deploying Linux on the HP ProLiant DL980While Red Hat Enterprise Linux 5. 5 (or later) and SUSE Linux Enterprise Server 10 SP 3 (or later) can support over 160 logical processors, they are not optimized for these high logical processor counts. This can result in increased kernel CPU consumption when attempting to schedule tasks across the available logical processors. Unless your workload is proven to benefit from Hyper Threading, HT should be disabled to reduce this system overhead. HT can always be enabled later if additional CPU capacity is requiredИ я с этим полностью согласен. ЧТобы загрузить 80 ядер D980 до того момента чтобы хоть какой-то бенефиг от HT получить (или наоборот деградировать из-за HT) я даже не знаю что на нем надо гонять. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 14:14 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
wurdukmaleevДохтаР, Я правильно вас понял, что у вас есть опыт настройки 980 под Oracle с включенным HT?Я работал много с DL980 без HT (по той простой причине что HP настоятельно его не рекомендует использовать под Linux, где-то есть его whitepaper где говорится что scheduler Линукса хреново уживается с таким кол-вом ядер). Но вот недавно мигрировал систему где включили HT и проблем я не вижу. С другой стороны, если система не загружена и нагрузка не специфична для HT, то в HT смысла нет. А какие проблемы у вас? Проблема ровно одна - наше руководство не хочет делать сотрудников Oracle долларовыми мульти миллионерами. Сейчас одно ядро Itanium = одна активная сессия. В сумме набегает на спонсирование регаты-другой для Ларри. Ищу методы снижения расходов. Очень рад, что именно вы заглянули в топик! Расскажите, пожалуйста, подробней про включение на 980 HT. Сколько сессий активных получается на одно "ядро"? Какой прирост производительности получили? Ну и насчет Itanium, насколько я помню, у нас большой опыт HP-UX. Пробовали включать HT? Прирост производительности получили? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 14:16 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
kmaleevwurduпропущено... Я работал много с DL980 без HT (по той простой причине что HP настоятельно его не рекомендует использовать под Linux, где-то есть его whitepaper где говорится что scheduler Линукса хреново уживается с таким кол-вом ядер). Но вот недавно мигрировал систему где включили HT и проблем я не вижу. С другой стороны, если система не загружена и нагрузка не специфична для HT, то в HT смысла нет. А какие проблемы у вас? Проблема ровно одна - наше руководство не хочет делать сотрудников Oracle долларовыми мульти миллионерами. Сейчас одно ядро Itanium = одна активная сессия. В сумме набегает на спонсирование регаты-другой для Ларри. Ищу методы снижения расходов. Очень рад, что именно вы заглянули в топик! Расскажите, пожалуйста, подробней про включение на 980 HT. Сколько сессий активных получается на одно "ядро"? Какой прирост производительности получили? Ну и насчет Itanium, насколько я помню, у нас большой опыт HP-UX. Пробовали включать HT? Прирост производительности получили?Я ни на Itanium ни на DL980 не видел эффекта от HT по той простой причине что я не доводил систему до состояния когда эффект от HT мог бы наступить :) По поводу Itanium - Xeon, я как-то впервые вижу такую метрику как кол-во сессий на ядро, хотя бы потому что сессии бывают разные. По факту я мигрировал достаточно серьезные системы с Супердомов на DL980 и в плане производительности тут даже и сравнивать нечего. DL980 уделает практически любую железку с Itanium с большим запасом без всякого HT. Просто потому что Xeon принципиально быстрее Itanium. На HP-UX если уж такая проблема с перегрузом ядер, можно поиграться с scheduler. sched_noage или наоборот дефолтный. Разница между ними существенная. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 14:45 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
А это вобще DWH свалка , в которой проутюжить пару миллинов записей фулсканом регуляное явление. Репорты строчат, кто как хочет . lp5-otla ~ #vmstat 1 100 System configuration: lcpu=20 mem=49152MB kthr memory page faults cpu ----- ----------- ------------------------ ------------ ----------- r b avm fre re pi po fr sr cy in sy cs us sy id wa 7 0 6691905 3624514 0 0 0 0 0 0 4771 70363 10997 43 13 39 6 13 0 6674295 3642123 0 0 0 0 0 0 3894 63537 9594 48 16 32 4 11 0 6699972 3616445 0 0 0 0 0 0 4322 68807 10669 50 16 29 5 16 0 6708776 3607641 0 0 0 0 0 0 4520 72488 11008 52 16 29 4 7 0 6712695 3603721 0 0 0 0 0 0 4762 69080 12079 45 12 38 5 11 0 6709202 3607213 0 0 0 0 0 0 3990 74189 11085 47 15 33 5 10 0 6700361 3616054 0 0 0 0 0 0 4841 70290 14875 42 12 41 5 6 0 6700430 3615985 0 0 0 0 0 0 4143 58725 10407 37 12 44 7 6 0 6709825 3606589 0 0 0 0 0 0 4779 68958 11614 45 14 36 6 4 0 6710742 3605672 0 0 0 0 0 0 5056 61019 12857 45 13 34 8 7 0 6712008 3604406 0 0 0 0 0 0 5469 70619 14448 49 17 28 6 6 0 6715871 3600542 0 0 0 0 0 0 5398 67458 12462 43 12 38 8 ^C lp5-otla ~ # lp5-otla ~ # lp5-otla ~ # lp5-otla ~ # lp5-otla ~ # lp5-otla ~ #su - oracle lp5-otla ~ $ lp5-otla ~ $ lp5-otla ~ $ lp5-otla ~ $sqlplus / as sysdba SQL*Plus: Release 11.2.0.2.0 Production on Fri Sep 27 13:22:16 2013 Copyright (c) 1982, 2010, Oracle. All rights reserved. Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.2.0 - 64bit Production With the Partitioning, OLAP, Data Mining and Real Application Testing options SQL> select status , count(*) from v$session group by status; STATUS COUNT(*) -------- ---------- INACTIVE 286 ACTIVE 59 SQL> Но когда там нужно простоить индекс , или посчитать отчеты за квартал или за год, то я ему на лету вкидываю десяток ядер и памяти и получаю профит без какого либо увеличения tco и с нулевым даунтаймом. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 14:46 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
Хотя что-то припоминаю что на DWH вроде как процентов 10 прирост при включении HT был (по крайней мере девелоперы зафиксировали на своих мониторингах) когда параллелизмом перегружен сервер был. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 14:49 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
wurduХотя что-то припоминаю что на DWH вроде как процентов 10 прирост при включении HT был (по крайней мере девелоперы зафиксировали на своих мониторингах) когда параллелизмом перегружен сервер был.Это Itanium. DL980 так легко не получается вгрузить. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 14:50 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
kmaleev , Вы всетаки рассмотрие IBM Power. У меня получается , что полный цикл обработки и хранения в БД для 10 млн бизнес операций в сутки. Помещается в 4 стойки и 128 ядер. Одна стойка 2 шт IBM P770 -- 16 юнитов + летночная библиотека. 3 стойки с дисками - 2 стораджа. Туда помещаются продуктивные БД систем OLTP , DSS, DWН. Плюс стендбаи основного ДЦ для OLTP , DSS, Плюс тестовые системы и системы для разработчиков. Еще один сервер стоит на удаленной площадке со стендбаем и стораджем для OLTP и DSS, и библиотекой , что бы востановить работоспособность бизнеса на случай ....... тфу тфу тфу :) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 15:13 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
Если считать рентабельность одной бизнес операции в 1 доллар , то вся система окупается меньше чем за 1 день. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 15:17 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
ДохтаРНо когда там нужно простоить индекс , или посчитать отчеты за квартал или за год, то я ему на лету вкидываю десяток ядер и памяти и получаю профит без какого либо увеличения tco и с нулевым даунтаймом.зачем при построении индекса память и десяток процессоров. распараллел использует директ пас, а память сортировки при амм весьма мизерна. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 16:09 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
чистый иоДохтаРНо когда там нужно простоить индекс , или посчитать отчеты за квартал или за год, то я ему на лету вкидываю десяток ядер и памяти и получаю профит без какого либо увеличения tco и с нулевым даунтаймом.зачем при построении индекса память и десяток процессоров. распараллел использует директ пас, а память сортировки при амм весьма мизерна. построения толстых индексов это отдельная тема при паралелизме 64+ получается очень хороший эффект пока не упиратется в темпдб ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 16:17 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
ДохтаР, В одном месте тест, разработка, хранилище. Не получится - не того я ранга, чтобы катком по нескольким дирекциям проехаться. Дай то бог убедить руководство и в одном месте порядок навести. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 16:18 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
kmaleevДохтаР, В одном месте тест, разработка, хранилище. Не получится - не того я ранга, чтобы катком по нескольким дирекциям проехаться. Дай то бог убедить руководство и в одном месте порядок навести. В основном продуктив и тест. Разработка это когда разработчики поместу хотят, что то прикрутить на лету , в ситуации прилиженной к боевой и им нужен полигон. Как правило одновременно тест и разработка не использутся между ними идет переброска ресурсов. Системы живущие в одной железяке могут быть разрезаны по Вланам, что без моего одобрямс друг друга не пропингуют. Тоже самое касается стендбаев , что бы катить логи 2 кор вполне достаточно. Когда нужно будет их включить в продуктив , туда будут вброшены процы и память. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 16:33 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
kmaleevДохтаР, В одном месте тест, разработка, хранилище. Не получится - не того я ранга, чтобы катком по нескольким дирекциям проехаться. Дай то бог убедить руководство и в одном месте порядок навести. У вас есть шанс рискнуть, взвалить на себя работу по организации и обслуживанию всей инфраструктуры( продуктив разработка тест) , сэкономить денги ТОПам на tco получить профит в виде повышения ЗП. У меня не получилось сильно подняться, потому что ЗП и и бех этого была порядочно выше рынка. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 16:50 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
Я получил опыта , как пол ИБМовского офиса, и теперь не знаю как и куда его продать Покупателей нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2013, 16:53 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
ДохтаРkmaleevДохтаР, Стоимость лицензий покрывает все прочие расходы :( Потому ищу варианты не только максимального использования cpu, но и более дешевые с точки зрения лицензий. Касательно HDS, у вас случайно нет прайса на них? Найти не получается, везде "звоните". А еще лучше в конце октября в Киеве будет большой хитачевский сейшин , точную дату и место должны сообщить на следующей неделе. Если интересно , давайте спишемся в личке , я вас там познакомлю с людими, которые уполномочены вести предметные разговоры. http://www.hdsinformationforum2013.com/kiev#.UlejKi7Uk24 ... |
|||
:
Нравится:
Не нравится:
|
|||
11.10.2013, 11:25 |
|
Вопрос по Exadata
|
|||
---|---|---|---|
#18+
Ну что вам сказать. Приходилось работать и на IBM X серии под AIX и на HP Super Dom на HPUX и сейчас на Oracle SC. Самые лучшие впечатления остались от IBM. Одна машинка X серии с успехом заменила 3 узловый RAC на Fudjsu (кажется). Вообще я разочаровался в RAC. Особенно меня умиляет фраза из размахаек - легко масштабируется из недорогих серверов. На самом деле из специально сертифицированных, и поэтому очень не дешёвых серверов. Ну да это так к слову. Особых проблем с Super Dom я не помню, кроме одной. Они сразу поставляются с полностью забитыми процессорными сокетами, и кажется с максимальной памятью, но лицензированны они не полностью. То есть надо больше процессоров - платите денежку и вам разблокируют столько то ядер. Всё хорошо, но стоимость какая то негуманная была. Да и линейка Itanium не самая удачная и её развитие под вопросом. Потом перешли на X86 молотилку от SuperMicro. Поработали пару лет, стало тоже не хватать и вот сейчас работаем на Oracle SC. Короче есть с чем сравнивать. На счёт виртуализации. Вопрос тонкий, и зависит от разных факторов - размера БД, загруженности БД, количества пользователей, версий БД и можно ещё придумать какие то факторы. Кому что актуальнее. С моей точки зрения, для высоко нагруженных систем ни о какой виртуализации говорить не приходится. Для средне загруженных и слабо загруженных систем в этом есть смысл. В таком случае самым критичным является подсистема ВВ. То есть на виртуалках легко добавить и процессоры, и память, но если медленный ВВ, это труба дело. Кому нужна низкая стоимость владения - могучая X86_64 молотилка с очень шустрой дисковой подсистемой, ставите на ней Oracle Linux и нарезаете на нём столько виртуалок сколько вам надо. На Oracle SC есть как физические домены (Pdom) так и логические (Ldom). Ldom - это та самая виртуализация на Solaris от Oracle. Сказать о ней что то внятное не могу, так как у нас очень высоко нагруженная система, и мы для максимизации производительности отказались от всяческих прослоек виртуализации. Но виртуализация на Oracle SC есть. Что касается Oracle SC С моей точки зрения это новое поколение Exedat. По крайней мере они оба используют Strorage Cell. Уверен, что если бы Oracle продавал Strorage Cell по отдельности, то могли бы быть очень интересные комбинации с другими платформами. Но Oracle их по отдельности не продаёт :-( Своей бортовой дисковой системы у Oracle SC нет. В его состав входит маленькая ZFS полочка (где то на 90ТБ) на которой нарезаются разделы для Oracle SC. C моей точки зрения, логичне мигрировать все имеющиеся БД до Oracle 12 (это дело не простое и тонкое, может потребоваться доработка приложений, не все могут это себе позволить), после чего использовать мультитенантную конфигурацию, при которой каждая старая БД будет представлять отдельную PDB. Обычно с миграцией самих БД проблем не возникает, но вот старые приложения могут в упор не понимать Oracle 12. Тут нужно тестирование и допиливание, но идущий в гору подъём осилит. Ну и вы помните о коэффициенте перерасчёта процессоров при лицензировании по процессорам - самый маленький коэффициент у Oracle SPARC :-). Мигрировать можно бесплатно если у вас за всё время с начала покупки БД была проплачена поддержка. Иначе прийдётся заплатить за пропущенные годы. В такой ситуации надо отказаться от старой версии Oracle (через официальное письмо) и купить самую новую версию Oracle. Так будет дешевле. Ну и для справки у нас 50ТБ БД, 6000 одновременно работающих пользователей, смешанный режим использования, по 250~300 активных сессий и 3000 не активных на каждом узле. 2ТБ ОЗУ три StorCell по 30ТБ каждый, и CPU 64 Cores/512 vCPUs, 64-bit (SPARC-M8). Ну и естественно все Strorage Cell и интерконнест на Infiniband. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.02.2020, 19:35 |
|
|
start [/forum/topic.php?fid=52&msg=38409870&tid=1881523]: |
0ms |
get settings: |
10ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
54ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
64ms |
get tp. blocked users: |
1ms |
others: | 292ms |
total: | 451ms |
0 / 0 |