|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
All, Чего-то тут совсем тихо и обсуждается только устаревшее железо. Или все уже сидят на AFA-СХД и особо проблем нет? ) Вообщем встала задача, нужно менять 7-летний DL380G5 32GB, на котором живет MS SQL. Железо совсем EOL, диски дохнут, нужно бы и памяти добавить. Там стоит Win 2008 R2 Standard, больше 32GB оно не умеет. Да и память DDR2 покупать сейчас немного странно. По любому переходить на Win 2012 R2 Standard и все переинсталлировать. Вообщем, проще купить новый HPE DL380 gen9. Базы живут на СХД дисках, но система хранения у нас тоже уже старенькая. Хочется нагрузку c нее немного снять и все сделать на локальных дисках. Может часть баз оставим. Новый сервер покупается на те же 5+ лет. Базы важные: 400GB, логи на 100GB. TempDB: 25GB + логи Еще всякие тестовые базы: 300GB+логи. Нагрузка ~1000 IOPS, но бывают всплески. Базовая конфигурация сервера, которая будет заказываться: HPE DL380 gen9 - 2 CPU, 128GB, 2xPSU, P440ar, 8 SFF Диски: 2 x 240GB SATA SSD Read Intensive-3 (RI-3) под OS/swap 2 x 900GB SAS 10K под локальные бекапы У этих SSD RI-3 DWPD < 1, можно записать около 315TB, под OS/swap на 5 лет должно хватить. А вот дальше начинаются муки выбора. 1. Можно пойти традиционным путем и взять SAS 15K HDD 300GB x 10, сделать raid10 из 8 дисков для БД/логов, 2 диска под temp db. Но мне кажется немного странно сегодня не делать дисковую систему на SSD, которая перекроет как минимум на 1 порядок традиционные диски по производительности, у которых меньше latency и стоимость не сильно отличается. На SSD volume можно положить все базы, логи, tempdb. 2. Смотрим SSD. Они у HPE бывают Write Intensive (DWPD=10), Mixed Use (DWPD=3), Read Intensive (DWPD<=1). Mixed Use (MU) нам должно хватить на 5 лет, поэтому будем брать эту серию. Можно взять 2 x 800GB SSD MU в raid1, можно 4 x 400GB MU в raid10 или даже лучше raid5. SSD бывают SATA и SAS. Двухпортовость SAS нам не нужна в этом сервере, а цена как бы отличается. DWPD у них одинаковое, в зависимости от модели чуть плавает производительность в IOPS. Raid нужно делать, т.к. все-таки железо иногда отказывает. Какая будет аргументация за SAS SSD? 2 x SATA SSD 800GB по деньгам сильно дешевле. 3. Но пойдем дальше. Сейчас появились платы NVMe SSD PCIe и диски NVMe SSD 2.5". У них меньше latency, больше производительность, цепляются напрямую к PCIe. Можно взять HPE 2 x NVMe 800GB MU, но не понятно, как делать raid1. Софтверно? Минусы - менять плату только с остановом сервера, софтверный raid (?). Только под заказ. 4. Можно вставить в сервер корзину на 6 x NVMe MU 2.5" SSD и взять HPE 2 x 800GB MU NVMe 2.5" SSD (они выглядят как диски 2.5", но цепляются напрямую к PCIe). Опять же вопрос, как делать raid1? Менять их удобнее. Только под заказ. Сильно дороже. 5. Intel NVMe P3608 1.6TB PCIe. Новая серия у Intel, на одной плате внутри два контроллера, каждый обслуживает свой 800GB диск. Можно сделать raid1 или raid0 софтом от Intel-а. DWPD=3, аналог HP MU. Есть в наличие, Intel дает гарантию 5 лет, HPE - 3 года. Производительность в 2-4 раза выше, чем у HPE. Минус - одна плата, в случае умирания придется ее снимать и ехать в ремонт. 6. Intel NVMe P3700 2 x 800GB DWPD=10, аналог HPE WI. Производительность хуже P3608, но за глаза хватит. Есть в наличие, гарантия 5 лет Софтверный raid ? Взвесим плюсы и минусы NVMe: HPE: + железо от одного вендора, работающий мониторинг через SIM/агентов. - все позиции SSD не ходовые и только под заказ на 4-6 недель. - ценник HPE повыше будет на 30-40%. Intel: + есть в наличие, 5 лет гарантии, производительность, дешевле HPE. - с мониторингом не понятно, с одной платой P3608 хуже надежность. По ценам HDD/SSD/NVMe получается в $4-8K дополнительно и вообщем сопоставимо. Ну и что выбрать? Аааааааа! ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2016, 01:34 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
user5, Без виртуализации живете? Я когда старый хлам апгрейдил, года три назад, все перевел на виртуалки з живой миграцией и балансировкой. Отделил, так сказать душу от тела. Сильно упростилась жисть. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2016, 01:55 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
А новое железо все равно будет быстрее, чем старое, по-любому. Так, что не мучайся. Думай об удобстве работы и дальнейших миграциях. В виртуале оно намного приятнее. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2016, 01:58 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
JVFА новое железо все равно будет быстрее, чем старое, по-любому. Так, что не мучайся. Думай об удобстве работы и дальнейших миграциях. В виртуале оно намного приятнее. Все уже виртуализировано. SQL пока не готовы. Нужно тогда пару блейдов одинаковых покупать и СХД апгрейдить. Пару лет еще подождем. Дешевые локальные диски странно не использовать. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2016, 02:12 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
user5Дешевые локальные диски странно не использовать.Да, локальные диски не используем. Не вписываются в концепцию. Да и на сторедже плюшек гораздо больше - снапшоты, моментальное клонирование баз, лайв майгрейшн, восстановление и прочие нищяки. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2016, 02:19 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
user5All, Чего-то тут совсем тихо и обсуждается только устаревшее железо. Или все уже сидят на AFA-СХД и особо проблем нет? ) Ну почему же :) Новый сервер покупается на те же 5+ лет. Базы важные: 400GB, логи на 100GB. TempDB: 25GB + логи Еще всякие тестовые базы: 300GB+логи. Нагрузка ~1000 IOPS, но бывают всплески. Базовая конфигурация сервера, которая будет заказываться: HPE DL380 gen9 - 2 CPU, 128GB, 2xPSU, P440ar, 8 SFF Диски: 2 x 240GB SATA SSD Read Intensive-3 (RI-3) под OS/swap 2 x 900GB SAS 10K под локальные бекапы У этих SSD RI-3 DWPD < 1, можно записать около 315TB, под OS/swap на 5 лет должно хватить. ... А вот дальше начинаются муки выбора. ... Ну и что выбрать? Аааааааа! Для начала - HPE без вариантов ? Есть ведь и другие брэнды первого уровня, и другие локальные брэнды по заметно более другим ценам. Но это вопрос Вашего корпоративного стандарта, конечно. NVMe в нынешней версии стандарта под Вашу задачу особенного смысла не имеют. Причина - они не умеют в аппаратный RAID и имеют цену чугунного моста, особенно от НРЕ: и дело не в "жадности" НРЕ, а в вендорах, ОЕМящих для НРЕ: это Fusion-IO, у них цена исторически.. тяжеловата, скажем так, в версиях под любыми лейблами. Вкрячивание интеловских SSD/NVMe чревато тем, что при любом кейсе саппорт НРЕ, для начала, вежливо попросит Вас убрать из сервера сторонние комплектующие. До, собственно, начала работы по этому кейсу. А так- в их сервисном соглашении есть строки, позволяющие им теоретически и отказаться от гарантии на сервер в целом на этот случай. Ну и опять-таки, использование NVMe - к нему надо подходить осторожно: с каждого процессора выходит 40 линий PCI-E, и заметная их часть (по крайней мере, от первого процессора) уже задействована - под всякие разные набортные устройства. Каждый NVMe нынешний "съест" 4 линии, если что. Конкретно в серверах НРЕ - потребуется установка специализированного кита под них (NVMe), который тоже заказной. По дисковой подсистеме: По уму, если брать с запасом - я бы рекомендовал что-то типа 4-6х 800-1.2ТБ SSD SATA/SAS (по бюджету, вендору и модели) Mixed Use (3-5 DWPD) в RAID10 под Вашу базу, в идеале - на аппаратном RAID SAS 12G, с кэшем и его защитой. Это сделает жизнь сильно проще, причем Вашу в первую очередь. Использовать жесткие диски, особенно малой емкости в качестве высокопроизводителей накопителей под БД при нынешних ценах на SSD - занятие уже бессмысленное. Процессоры: обратите внимание, что процессоры серии E5-2600v3 имеют лучшую производительность на ядро (относительно v4) - но меньше ядер, E5-2600v4 наоборот. Но в обоих сериях имеются высокочастотные (4-10-12 ядер 3+ ГГц) процессоры. Что именно для Ваших задач лучше (много ядер на 2.1-2.2 ГГц / производительность на ядро (2.3-2.6ГГц) + ядра / высокая производительность на ядро (3+ ГГц) и относительно мало ядер - это смотрите сами, из Ваших нагрузок. ОЗУ: очень рекомендую использовать LR-DIMM сразу. Причина проста - Load-Reduced DIMM это современная реинкарнация FB-DIMM (Full-Buffered DIMM), при их набивании "до упора" (до 3 модулей на канал, у каждого процессора - 4 канала к ОЗУ, итого - до 24 модулей на сервер такого типа) частота, на которой работает процессор с ОЗУ, не падает. У обычных "держится" до 2 модулей на канал, затем на 3 модулях на канал - "падает" на шаг (с 2400 на 2133 МГц для "старших" v4, например). LR-DIMM имеют емкость от 32ГБ и стоят несколько дороже, чем "обычные" модули - но разница не слишком велика. По сети - HPM (High-Performance Model) модели HPE (от E5-2650v3/v4 и выше) уже имеют на борту 10 Гбитки. Возможно, имеет смысл думать таки о модернизации своей сети - и вовсе не обязательно брать какие-то адовы Нексусы под 24-48 портов, у того же HP есть свичи от Aruba - 2920 серия, с 4 портами, куда можно привесить 10Гбит (RJ-45 кат. 6 или SFP+). Как-то так. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.07.2016, 16:50 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
a_shats, спасибо за ответ. Да, у нас только HPE. По CPU согласен. По дискам - тоже больше склоняюсь к raid из SSD. А из каких соображений RAID10, почему не RAID5? По поводу NVMe. Вот делают софтверный raid для OS из обычных дисков. Почему не сделать софтверный raid из NVMe для данных? ;-) Ну или какой драйвер, который делает псевдо-аппаратный raid типа как у Intel. Вы случайно не работаете в локальном производителе серверов? ;-) ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2016, 14:12 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
Еще по поводу NVMe. Интел делает хорошие SSD. Все вендоры (Cisco/HPE/etc) используют их SSD в своих серверах. Если NVMe пойдут в рынок, то все возьмут Intel в свои линейки. Нужно еще 1-2 года подождать ;-) ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2016, 14:17 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
А из каких соображений RAID10, почему не RAID5? Даже если бы в RAID5 был какой-то смысл (ну дедупликация работала б, например) - не вижу смысла нагибать считалку RAID-контроллера дурной нагрузкой, которая, по большому счету, служебная. По поводу NVMe. Вот делают софтверный raid для OS из обычных дисков. Почему не сделать софтверный raid из NVMe для данных? ;-) Сделать - не проблема. Проблема в том, что софтовые RAID несколько хуже и неудобней управляются/мониторятся/абстрагируют накопители от ОС, чем аппаратные. Ну и самих NVMe уже много не набить в принципе, количество PCI-E линий ограничено. Вы случайно не работаете в локальном производителе серверов? ;-) И даже не случайно работаю :D ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2016, 15:46 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
user5На SSD volume можно положить все базы, логи, tempdb. логи не стоит ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2016, 06:48 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
JVFuser5, Без виртуализации живете? Я когда старый хлам апгрейдил, года три назад, все перевел на виртуалки з живой миграцией и балансировкой. Отделил, так сказать душу от тела. Сильно упростилась жисть. Что в качестве гипервизора используете? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2016, 12:14 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
Критикuser5На SSD volume можно положить все базы, логи, tempdb. логи не стоит почему? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2016, 12:36 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
HettКритикпропущено... логи не стоит почему? Насколько я помню из рекомендаций, то на логи, почти все подавляющее большинство идет потоковой записи (ну если откатов не идет), а с потоковой записью классические винты справляются лучше, чем SSD (правда самый распоследние SSD не было возможности тестить на этот счет) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2016, 13:26 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
Вместо "не стоит" точнее было бы написать "не имеет смысла" ))) ИМХУ Но вообще, у __дешевых__ ССД есть реальные проблемы при большой и массивной записи. У меня десктопный ССД "умирает" при попытке одновременного обновления 3-4 гб. У ентерпрайзных так явно выраженно быть не должно. Могу ошибаться. Не админ и не железячник )))) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2016, 13:35 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev, как понимаю, тот же инсерт будет считаться завершенным только после записи в лог? А в случае с HDD на это уйдет куда больше времени. если какой-нибудь samsung evo юзать, то конечно он до 50 МБ/с просядет при активной записи, но с теми же Plextor линейки pro такой проблемы нет. Я уж не говорю о энтерпрайз железках. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2016, 13:42 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
rahzerНасколько я помню из рекомендаций, то на логи, почти все подавляющее большинство идет потоковой записи (ну если откатов не идет), а с потоковой записью классические винты справляются лучше, чем SSD (правда самый распоследние SSD не было возможности тестить на этот счет) Но как, сэр ? (с) Дисков, чтобы реализовать производительность (гарантированную) на запись при такой нагрузке - нужно сильно больше, чем SSD - и латентность этого хозяйства (вкупе с RAID-контроллером) будет сильно хуже. Разумеется, речь идет об Enterprise SSD. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2016, 11:34 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
Лог - это последовательная запись почти 100% времени. Нет никакого смысла в трате ограниченного и дорогого ресурса SSD на то, с чем отлично справляются обычные HDD. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2016, 13:15 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
Критик, "Ограниченный" и "дорогой" - это эмоции. На деле - самые низкоресурсные Enterprise SSD имеют ресурс 0,3- 1 объема перезаписи в сутки на 3-5 лет (в зависимости от вендора и модели). Гарантийный, подчеркиваю. То есть на нещасную 120 ГБ SSDшку Intel S3510 - гарантийный ресурс 40 ГБ перезаписи в сутки. Цена ей - средняя с Я. Маркета - 7500 руб. на момент написания данного поста. При этом она (на синтетике, разумеется) выдает 68К иопсов на чтение и что-то с 10К на запись, IRL несколько меньше, но тоже неслабо. Что с дисками сравнивать как-то странно. Если у Вас на такие дешевые вещи предполагается бОльший объем перезаписи в среднем - значит, Вы что-то не так делаете. Среднересурсные - это 3-5 DWPD: то есть Intel S3610 200GB - это уже 600 ГБ/сутки на 5 лет, гарантия. Разумеется, под всякого рода кэши такое не ставят - но оно и стоит немногим дороже, чем S3510. Реально дорогие - это высокоресурсные SAS/SATA (10+ DWPD) и NVMe, но те, кому они нужны, эмоциональные оценки при проектировании решений не используют. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2016, 14:16 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
Hettкак понимаю, тот же инсерт будет считаться завершенным только после записи в лог? А в случае с HDD на это уйдет куда больше времени. AFAIK Про MS не знаю, но в Oracle - не insert, а commit. При этом за одну операцию flush'а на диск может и сразу много commit'ов сброситься. Т.ч. если диск занять только логами и не загружен другими задачами (никто головки с последнего места записи не украдет) - то на IOPs скорее всего будет глубоко пофиг ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2016, 20:56 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevHettкак понимаю, тот же инсерт будет считаться завершенным только после записи в лог? А в случае с HDD на это уйдет куда больше времени. AFAIK Про MS не знаю, но в Oracle - не insert, а commit. При этом за одну операцию flush'а на диск может и сразу много commit'ов сброситься. Т.ч. если диск занять только логами и не загружен другими задачами (никто головки с последнего места записи не украдет) - то на IOPs скорее всего будет глубоко пофигВ сиквеле так же. Нагрузка на лог-файл последовательная, задержка будет действительно небольшая. Однако, средний SSD всё равно тут будет быстрее HDD, даже в таких условиях, хотя и не так кардинально, как для случайного доступа. КритикЛог - это последовательная запись почти 100% времени. Нет никакого смысла в трате ограниченного и дорогого ресурса SSD на то, с чем отлично справляются обычные HDD.Согласен с a_shats, стоимость SSD уже такова, что даже для последовательного доступа в случае файлов транзакций они пусть не выигрывают однозначно по соотношению цена/производительность, но, по крайней мере, проигрывают немного. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2016, 21:15 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
Запись HDD - 150мб/с в лучшем случае Запись SSD - 500 в худшем. Можно и тест синтетический провести ради интереса. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2016, 21:31 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
HettЗапись HDD - 150мб/с в лучшем случае Запись SSD - 500 в худшем. Можно и тест синтетический провести ради интереса. И.... ? Я думаю, что такую нагрузку на redo log'и (в терминах Oracle), кроме как у Сбербанка найти сложно. Но, я так же думаю, что SSD им все равно не поможет, как не помогает 256 процессоров в сервере.... )))) Другое дело, что вряд ли кто-то будет городить зоопарк из SSD / HDD и раскладывать все по разным дискам. Да и целиком HDD отдавать только под redo - как то стремно, у HDD объемы нехилые, а активные redo ... ну пара-десяток гигабайт max. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2016, 02:43 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
alexeyvgСогласен с a_shats, стоимость SSD уже такова, что даже для последовательного доступа в случае файлов транзакций они пусть не выигрывают однозначно по соотношению цена/производительность, но, по крайней мере, проигрывают немного. Чуток уточню - Вы, наверное, имели в виду соотношение цена/объем. По цене/производительности уже выигрывают, и достаточно давно: десяток SAS 15K у вышеописанной мной SSDшки на запись выиграют в iops крайне вряд ли, а вот стоить будут очень сильно дороже (и это без учета контроллера, который к этим дискам потребуется, и прочего - бэкплейна/кабелей/пр.). ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2016, 11:51 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
a_shatsalexeyvgСогласен с a_shats, стоимость SSD уже такова, что даже для последовательного доступа в случае файлов транзакций они пусть не выигрывают однозначно по соотношению цена/производительность, но, по крайней мере, проигрывают немного. Чуток уточню - Вы, наверное, имели в виду соотношение цена/объем. По цене/производительности уже выигрывают, и достаточно давно: десяток SAS 15K у вышеописанной мной SSDшки на запись выиграют в iops крайне вряд ли, а вот стоить будут очень сильно дороже (и это без учета контроллера, который к этим дискам потребуется, и прочего - бэкплейна/кабелей/пр.).Я же пишу про последовательный доступ, тут же не такая большая разница. Неужели десяток SAS 15K в RAID10 не обгонят уверенно пару SSD (не NVMe) в зеркале при последовательной записи? А если вы говорите про iops-ы, то, наверное, про случайный доступ? Тут, конечно, SSD сейчас далеко впереди по соотношению цена/производительность. Это не укладывается в голове, это странно, но если вы хотите сэкономить, покупайте SSD - к этому трудно привыкнуть :-) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2016, 23:57 |
|
New hardware for MS SQL server
|
|||
---|---|---|---|
#18+
alexeyvgЯ же пишу про последовательный доступ, тут же не такая большая разница. Неужели десяток SAS 15K в RAID10 не обгонят уверенно пару SSD (не NVMe) в зеркале при последовательной записи? А если вы говорите про iops-ы, то, наверное, про случайный доступ? Тут, конечно, SSD сейчас далеко впереди по соотношению цена/производительность. Это не укладывается в голове, это странно, но если вы хотите сэкономить, покупайте SSD - к этому трудно привыкнуть :-) А, просто я Вас не совсем правильно понял. Тут такое дело... Если взять даже SAS SSD (от того же HGST или Тошибы) - нет, не догонят, при этом один SSD будет всё равно дешевле десятка SAS 15K. SATA SSD ограничены интерфейсом 6G, но и 480-500 МБайт/с на запись - это штука, трудно достижимая на дисках за сравнимые деньги: к дискам, напоминаю, нужен какой-никакой контроллер и кабели к нему. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.07.2016, 11:11 |
|
|
start [/forum/topic.php?fid=30&msg=39274666&tid=1529175]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
237ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
64ms |
get tp. blocked users: |
2ms |
others: | 14ms |
total: | 358ms |
0 / 0 |