|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
Ivan_Pisarevskyмы сейчас упаковали свои серверы интеловыми ссдшками 4610 в зеркало+хотспар на адптеке получилось вполне себе шустро.Если это 64-Layer 3D TLC NAND , то при наличии админов- это не проблема. Ёмкое устройство на сомнительных моделях микросхем. Следите, чтобы readonly для них не случился слишком рано. Ivan_Pisarevskyприслать наложенным платежом дюжину-другую дохлых ХДД? диски что хдд, что ссд это расходный материал, да за ними надо планово следить и планово заменять.Что SSD, что HDD- видел. Но в случае с SSD лотерея несколько лотерейнее. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 17:39 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
Мимопроходящий15.03.2019 16:21, tunknown пишет: > то их можно положить на отдельный компьютер под репликацией. вася, шел бы ты отсюда... Я тож поржал. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:22 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
tunknownЁмкое устройство на сомнительных моделях микросхем.да 37 серия мне понравилась больше, ресурс больше, ни одного отказа за 5 лет и исчерпание ресурса мизерное, несмотря на постоянную долбежку, посмотрели по факту на расход ресурса и взяли менее ресурсные, по идее должно хватить на расчетный срок. Хотя я бы и взял 37, но у поставщика были в наличии только 46, а бюджет как обычно "горит". :) ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:28 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
Сегодня перед работой поднял DefaultDbCachePages до 1536. Получилось следующее:Обращения к диску/с Среднее: 115 Максимальное: 1170 Обращений чтения с диска/с Среднее: 2.3 Максимальное: 58 Обращений записи с диска/с Среднее: 114 Максимальное: 1164 Средняя длина очереди диска Среднее: 0.047 Максимальное: 0.303 % загруженности процессора Минимум: 5.6 Среднее: 22 Максимальное: 68 Ранее средняя загрузка процессора была 46%. Памяти стало чуть больше занимать - 7 Гб вместо 5Гб. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.03.2019, 08:59 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
Если недорогой RAID 1 (увеличение скорости не нужно, увеличение надежности нужно) рассматривать на 2 SSD, то что лучше в плане надежности: 1) аппаратный Adaptec/Intel + 2 SATA/SAS/U.2 - диска или 2) программный RAID на 2 PCi (у них скорость чтения/записи лучше чем у SATA/SAS/U.2 , но аппаратных рейдов для таких плат не видел)? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.03.2019, 09:07 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
ДаниилПамяти стало чуть больше занимать - 7 Гб вместо 5Гб. А теперь покажи результат fb_lock_print. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
19.03.2019, 13:19 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
ДаниилЕсли недорогой RAID 1 (увеличение скорости не нужно, увеличение надежности нужно) рассматривать на 2 SSD, то что лучше в плане надежности: 1) аппаратный Adaptec/Intel + 2 SATA/SAS/U.2 - диска или 2) программный RAID на 2 PCi (у них скорость чтения/записи лучше чем у SATA/SAS/U.2 , но аппаратных рейдов для таких плат не видел)? изучение теории надежности (Опасность и Безнадежность). в системе с аппаратным рэйдом и двумя дисками три элемента, один из которых не имеет резервирования. диск из программного рэйда можн прочитать на соседнем компе. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.03.2019, 14:01 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
pastorдиск из программного рэйда можно прочитать на соседнем компе.диск(и) из аппаратного не менее успешно читается на аналогичном контроллере. Т.к. инфа о том, членом какого массива оный является записана на каждом диске массива. софт рэйд очень весело разваливается при пропадании питания. УПС с обратно связью надеюсь, подразумевается? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.03.2019, 14:13 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
Ivan_Pisarevskypastorдиск из программного рэйда можно прочитать на соседнем компе.диск(и) из аппаратного не менее успешно читается на аналогичном контроллере . Т.к. инфа о том, членом какого массива оный является записана на каждом диске массива. софт рэйд очень весело разваливается при пропадании питания. УПС с обратно связью надеюсь, подразумевается? т.е. при наличии резервирования оного контроллера. софт рэйд также быстро восстанавливается :). наличие УПС сильно положительно сказывается на стабильности соединения с сервером. в далекой молодости ставили сервера с резервированными блоками питания. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.03.2019, 14:46 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
19.03.2019 14:46, pastor пишет: > в далекой молодости ставили сервера с резервированными блоками питания. оные и по сей день применяются и выпускаются. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
19.03.2019, 14:53 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
pastorсофт рэйд также быстро восстанавливается :).Счет идет на часы. А если вовремя не заметили? pastorпри наличии резервирования оного контроллера.Да, да фары дворники и тормоза придумали трусы! И хотспаре диски тоже. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.03.2019, 15:04 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
Ivan_Pisarevskypastorсофт рэйд также быстро восстанавливается :).Счет идет на часы. А если вовремя не заметили? pastorпри наличии резервирования оного контроллера.Да, да фары дворники и тормоза придумали трусы! И хотспаре диски тоже. софт рейд восстановится. не намного дольше, чем аппаратный. автор топика спрашивает о сравнении надежности одиночного аппаратного рэйда с двумя дисками и просто двумя дисками, особо оговаривая при этом, что производительность не беспокоит . я всего лишь указал на уязвимость одинокого контроллера, который сводит всю надежность к надежности одной платы. у нас достаточно много заказчиков, которые могут себе позволить 30 минут простоя, но не могут позволить полной потери данных. после эксгумации сервера, диск с базой втыкается в комп кассы и молотит там пока не привезут новый. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.03.2019, 15:21 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
pastor производительность не беспокоит .Первый пост в топике говорит немного об обратном. pastorя всего лишь указал на уязвимость одинокого контроллера, который сводит всю надежность к надежности одной платы.дисков дохлых видел реально много, дохлого адаптека или LSI до сих пор не приходилось видеть ни разу. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.03.2019, 16:41 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
Ivan_Pisarevskypastor производительность не беспокоит .Первый пост в топике говорит немного об обратном. Это о производительности системы в штатном режиме. Про время допустимого простоя - нет. Возможно, это мои домыслы. Я художник, я так вижу :) Регенерация программного рэйда идет на ходу, так же как и аппаратного. и тоже с потерей производительности. Ivan_Pisarevskypastorя всего лишь указал на уязвимость одинокого контроллера, который сводит всю надежность к надежности одной платы.дисков дохлых видел реально много, дохлого адаптека или LSI до сих пор не приходилось видеть ни разу. я видел. не раз. на большом однотипном парке - терпимо. на одиночном объекте - фатально. Критерий один - цена часа простоя. Если она превышает стоимость запасного сервака - то надо его ставить. Нет - так и пес с ним. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.03.2019, 17:07 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovА теперь покажи результат fb_lock_print. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13.
... |
|||
:
Нравится:
Не нравится:
|
|||
20.03.2019, 13:52 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
Ivan_Pisarevskypastor производительность не беспокоит .Первый пост в топике говорит немного об обратном. Сформулирую свою мысль более развернуто. Мне необходима достаточная производительность всего сервера в целом. Так же мне необходима и достаточная для моего случая надежность (ниже опишу что я под этим понимаю) Для себя из всего обсуждения наметил следующий порядок действий (в порядке приоритета): 1) Более плотно подойти к оптимизации БД. Провести оценку структуры, индексов (избыточность), триггеров (расчет агрегаций), запросов. Цель: уменьшить количество обращений к диску, снизить нагрузку на процессор. 2) Увеличить память до 64Гб. После этого посмотреть еще раз на производительность. Возможно, процессор станет справляться с нагрузкой. 3) Поменять 1 SSD на RAID из SSD. И тут 3 пункт для меня пока не очень понятен. С одной стороны в Firebird_Hardware_Guide говорится, что FB достаточно критичен к скорости хранилища БД. С другой стороны скорости 1 SSD вроде бы (?) достаточно, но его надежность под большим сомнением. Поэтому оставив ту же производительность хочу поставить RAID 1, который даст некую уверенность. Относительно разумных денег будут стоить 2 SSD на PCI, которые дадут еще бОльшую производительность относительно SATA/SAS/U.2 SSD дисков, но для них нет аппаратных контроллеров. Либо, выбрав на хороших SATA/SAS/U.2 SSD дисках аппаратный RAID-контроллер даже с батарейкой, при выходе его из строя - я теряю всю БД (восстановление бэкапа рассматриваем как крайний случай - это дополнительное время и потеря новых данных с последнего бэкапа). Если при выходе из строя железа сервера с программным RAID-ом есть надежда, что подоткнув один из SSD дисков в резервный сервер можно быстро запустить работу, то с аппаратным контроллером это будет значительно сложнее. Держать в резерве еще один контроллер я не готов. Питание сервера сейчас такое: здание подключено по 2й категории, время переключения на 2й кабель (от другого трансформатора) 10 минут, ИБП Eaton Powerware с двойным преобразованием выдерживает 40 минут. В принципе, можно подсоединить еще 1-2 доп.батареи и увеличить время работы от ИБП часов до 2-3. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.03.2019, 14:30 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
ДаниилDimitry SibiryakovА теперь покажи результат fb_lock_print. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13.
... |
|||
:
Нравится:
Не нравится:
|
|||
22.03.2019, 06:57 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
ДаниилИБП Eaton Powerware с двойным преобразованием выдерживает 40 минут. В принципе, можно подсоединить еще 1-2 доп.батареи и увеличить время работы от ИБП часов до 2-3.Дело не во времени работы, надо чтобы система сервер-УПС корректно погасла при пропадании питания. Даниилвосстановление бэкапа рассматриваем как крайний случай - это дополнительное время и потеря новых данных с последнего бэкапапосмотри внимательней на утилиту nbackup и возможность работы с инкрементарным бэкапом. потери можно свести до нескольких минут. В тройке ее работа подверглась серьезной оптимизации. ДаниилЛибо, выбрав на хороших SATA/SAS/U.2 SSD дисках аппаратный RAID-контроллер даже с батарейкой"батарейка" и соответственно райтбэк кеширование на ССД уже дает столь драматического прироста производительности как на хдд, надо просто свежий скоростной контроллер, который сможет пробросить через себя требуемые ИОпсы. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.03.2019, 09:43 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
ДаниилПодскажите, на какие цифры смотреть? Единственное на что можно повлиять с предсказуемыми результатами это "Hash slots: 30011, Hash lengths (min/avg/max): 0/ 1/ 6", но у тебя и так hash slots задраны до небес. Уменьшение слишком большого числа слотов может дать прирост производительности, но незначительный, гораздо меньший, чем увеличение в случае если бы их не хватало. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
22.03.2019, 13:10 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
Подниму свою старую тему по поводу попытки увеличения производительности. На данный момент настраиваю сервер FB на новом железе. Решил, что экспериментировать с переходом с 2.5 на 3.0 пока рано, поставил последнюю версию сервера ветки 2.5 (2.5.9.27139). С целью экономии остановился на варианте быстродействующего персонального компьютера вместо серверной платформы. Цена вопроса: 200 тыс.руб. (на i9) вместо 1200 тыс. (на Xeon Gold). Пока что провел тестирование только дисковой подсистемы с помощью backup'а. БД размером 57 Гб бэкапится в 35 Гб за 12 минут (50 Мб/с). Судя по статье ( http://www.ibase.ru/backupspeed3/) - это хорошие показатели. К сообщению приложил скриншот тестов дисков для DB и backup-а CrystalDiskMark'ом. Сейчас хочу оптимально выставить настройки сервера для максимальной производительности. Подскажите, правильно ли я подобрал параметры? Исходные данные такие: Размер БД: 57 Гб. Из них оперативные данные - это не более 5-10 Гб. Все остальные - архивные данные, которые редко читаются и практически никогда не изменяются. Firebird 2.5.9.27139 Classic. OC WIndows 2016std. Объем ОЗУ: 64 Гб (с возможностью нарастить до 128Гб, но пока не понятна целесообразность, пусть будет 64). Количество одновременно работающих пользователей: 120-140. БД расположена на отдельном от системного диска SSD. Так же в firebird.conf выделен отдельный HDD для TempDirectories (тот, что для используется для ежедневных бэкапов). Использую один и тот же диск исходя из логики, что таблицы сортировки серверу будут не нужны, когда все пользователи отключены и запущен gbak. А затем файл с бэкапом потихоньку забирается с этого быстрого но небольшого диска (запас диска от текущего размера бекапа - шестикратный) на большой медленный диск и далее на сетевые хранилища. Исходя из статей по оптимизации настроек и размера ОЗУ, прописал в firebird.conf (для Page size 16384) следующее: DefaultDbCachePages = 1536 # Пока поставил немного менее 2048 FileSystemCacheThreshold = 8192 # Должен быть больше CachePages. На сколько больше? Достаточно ли ограничения в 128Гб? LockMemSize = 23040000 # LockMemSize >= Cache_pages * max_connections_count * 100 (Посчитал для 150 пользователей) FileSystemCacheSize = 25 # Отдаем 16 Гб памяти под кэш ОС. Или не надо это явно ограничивать? TempCacheLimit = 8192M # Отдаем 8Гб памяти для сортировок TempBlockSize = 64M # По совету dimitr (TempBlockSize я бы советовал выставлять не более 5% от TempCacheLimit и не менее 1МБ (дефолтное значение)) LockHashSlots = 30011 # Из оптимизированного конфига с ibase.ru ... |
|||
:
Нравится:
Не нравится:
|
|||
27.08.2019, 15:41 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
ДаниилFileSystemCacheThreshold = 8192 # Должен быть больше CachePages. На сколько больше? Достаточно ли ограничения в 128Гб? эту настройку можно было вообще не трогать. Там и так большое значение по умолчанию Для классика полюбас подойдёт. Как гигабайты насчитал? ДаниилTempCacheLimit = 8192M # Отдаем 8Гб памяти для сортировок для классика многовато будет. Этот параметр общий в SS и SC, но не в классике. Надеюсь буковку M не оставил. Это работает начиная с 3.0. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.08.2019, 16:37 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
ДаниилРазмер БД: 57 Гб. Из них оперативные данные - это не более 5-10 Гб. Все остальные - архивные данные, которые редко читаются и практически никогда не изменяются. Firebird 2.5.9.27139 Classic. OC WIndows 2016std. Объем ОЗУ: 64 Гб (с возможностью нарастить до 128Гб, но пока не понятна целесообразность, пусть будет 64). Количество одновременно работающих пользователей: 120-140. БД расположена на отдельном от системного диска SSD. Так же в firebird.conf выделен отдельный HDD для TempDirectories (тот, что для используется для ежедневных бэкапов).Плохая идея. В C:\ProgramData\firebird расположены lock-файлы, для которых (тоже) нужен быстрый доступ. И для сортировок. В вашем раскладе легко получить 100% загрузки системного диска с огромной очередью и огрестись тормозами "вообще всего". Если не хотите размещать систему на SSD целиком, то "откусите" от SSD диска несколько гигабайт, создайте отдельный раздел и подмонтируйте его к пустому C:\ProgramData\firebird. Всё это можно проделать "онлайн" и остановка FB потребуется только для того, чтобы очистить ProgramData/firebird и смонтировать туда подготовленный раздел. Чтобы переместить на SSD fb_table, fb_sort и прочие временные файлы FB, установите глобальную переменную FIREBIRD_TMP (setx /m или аплет sysdm.cpl) в отдельный (существующий) каталог SSD-диска. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.08.2019, 17:41 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
Даниил Код: plaintext 1. 2. 3.
Причём от соответствующей версии, а не от произвольной: Код: plaintext 1. 2. 3. 4.
В пропущенном тоже немало интересного. Предельный размер буфера сортировок SuperClassic'а (общий на все подключения) должен быть менее 2ГБ. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.08.2019, 17:52 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
Симонов ДенисДаниилFileSystemCacheThreshold = 8192 # Должен быть больше CachePages. На сколько больше? Достаточно ли ограничения в 128Гб? эту настройку можно было вообще не трогать. Там и так большое значение по умолчанию Для классика полюбас подойдёт. Как гигабайты насчитал? Как я понял из https://ib-aid.com/download/webinar/memory_usage_in_firebird1.pdf 8192 - это максимальный размер кэша ОС, который может использовать FB при необходимости, измеряется в количестве страниц Поэтому 8192*16384=134217728=128Гб Симонов ДенисДаниилTempCacheLimit = 8192M # Отдаем 8Гб памяти для сортировок для классика многовато будет. Этот параметр общий в SS и SC, но не в классике. Надеюсь буковку M не оставил. Это работает начиная с 3.0. Вообще-то оставил, но пока на обсуждаемом конфиге не запускал. Комп сейчас свободный стоит, пока все хотя бы первоначально не настрою. Про ошибку свою понял. Про память для сортировок читал http://www.ibase.ru/files/firebird/Firebird_Hardware_Guide_2015_rus.pdf и https://ib-aid.com/download/webinar/memory_usage_in_firebird1.pdf но в итоге посчитал кэш общим для всех процессов (как в FB 3.0). Скачанный с www.ibsurgeon.com конфиг для Firebird 2.5 64-bit Classic содержит значение для TempCacheLimit = 77108864 и TempBlockSize = 2048576. Сделаю их такими. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.08.2019, 07:16 |
|
Помогите с подбором процессора для сервера
|
|||
---|---|---|---|
#18+
Basil A. SidorovДаниилРазмер БД: 57 Гб. Из них оперативные данные - это не более 5-10 Гб. Все остальные - архивные данные, которые редко читаются и практически никогда не изменяются. Firebird 2.5.9.27139 Classic. OC WIndows 2016std. Объем ОЗУ: 64 Гб (с возможностью нарастить до 128Гб, но пока не понятна целесообразность, пусть будет 64). Количество одновременно работающих пользователей: 120-140. БД расположена на отдельном от системного диска SSD. Так же в firebird.conf выделен отдельный HDD для TempDirectories (тот, что для используется для ежедневных бэкапов).Плохая идея. В C:\ProgramData\firebird расположены lock-файлы, для которых (тоже) нужен быстрый доступ. И для сортировок. В вашем раскладе легко получить 100% загрузки системного диска с огромной очередью и огрестись тормозами "вообще всего". Если не хотите размещать систему на SSD целиком, то "откусите" от SSD диска несколько гигабайт, создайте отдельный раздел и подмонтируйте его к пустому C:\ProgramData\firebird. Всё это можно проделать "онлайн" и остановка FB потребуется только для того, чтобы очистить ProgramData/firebird и смонтировать туда подготовленный раздел. Чтобы переместить на SSD fb_table, fb_sort и прочие временные файлы FB, установите глобальную переменную FIREBIRD_TMP (setx /m или аплет sysdm.cpl) в отдельный (существующий) каталог SSD-диска. Firebird 2.0 Administrators ManualUse the TempDirectories parameter to specify where the server will create temporary sort files. Firebird РУКОВОДСТВО РАЗРАБОТЧИКА БАЗ ДАННЫХ Борри ХеленПеременная окружения FIREBIRD_TMP (В версии 1.0.x - INTERBASE TMP) задает пользовательское размещение для файлов сортировки Firebird. Доступны также другие способы определения размещения этих файлов. Конфигурирование параметра TempDirectories Зачем мне тогда указывать FIREBIRD_TMP? Или параметр TempDirectories в конфиге задает место для сортировок, а системная переменная FIREBIRD_TMP не только сортировки, но еще и другие файлы? Не нашел этого в инструкциях. Диск для ОС у меня на самом деле точно такой же модели как для файла сортировок и еженочных оперативных бэкапов - SSD SAMSUNG 970 EVO Plus MZ-V7S250BW 250Гб, M.2 2280, PCI-E x4, NVMe. Это достаточно быстрый диск. Тормозов "вообще всего" быть не должно. А файл базы лежит на еще более быстром диске - зеркале из двух SSD INTEL Optane 900P SSDPED1D280GASX 280Гб, PCI-E AIC (add-in-card), PCI-E x4, NVMe Их скорости я выкладывал вчера. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.08.2019, 07:41 |
|
|
start [/forum/topic.php?fid=40&msg=39788380&tid=1560591]: |
0ms |
get settings: |
10ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
65ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
66ms |
get tp. blocked users: |
1ms |
others: | 281ms |
total: | 459ms |
0 / 0 |