Все работало отлично и вот в ноябре начались перезагрузки, сначала один раз в день, потом чаще.

Что я сделал:
1. Убрал все из /boot/loader.conf, остался только модуль gmirror
2. Убрал все из /etc/sysctl.conf
3. Тестировал память с помощью memtest86+ в разных режимах, ни одной ошибки не нашел.
4. Пробовал перезагрузиться в single режиме и проверял диски fsck, все ок.
5. По смарту диски проходят тесты SHORT И LONG, все ОК!
6. Стоит мониторинг munin, ничего странного на графиках нету, единственное что смущает раздел system statistic значение System Calls почемуто иногда по графику проседает в отрицательную сторону, вплоть до -1 000 000 per second , чтобы это могло значить? На других серверах у меня такого нету!
7. Посмотрел датчики ipmi все в норме, все напряжение в границах, датчики температуры показывают норму, хорошобы записать их статистику да нет на сервере модуля отдельного чтоб снять показания независимо от состояния ОС.

В логах сервера нет ничего, при подключении по KVM увидел мельком ошибку, что то там было про memory, но настолько быстро проскакивает что я не успеваю прочитать, просто не возможно.

Как можно получить ошибку, чтоб сервер не падал в перезагрузку, или куда мне копнуть еще, помогите SOS?

p.s. частота перезагрузок совершенно разная, никак не связана с нагрузкой на сервер, да ее и нет почти, вчера вот перезагружался почти каждые 2-5 минут, потом вроде отпустило и держался пол дня(((

Alex URS,

Там только лог загрузки сервера и все ничего странного

WARNING: /home was not properly dismounted
WARNING: /tmp was not properly dismounted
WARNING: /tmp: mount pending error: blocks 12640 files 0
WARNING: /usr was not properly dismounted
WARNING: /var was not properly dismounted

Ну это говорит что была резкая перезагрузка без размонтирования

Я уже 10 раз загружался в single и чистил разделы FSCK но при след перезагрузки опять тоже самое

Вот график перезагрузок за день и системная статистика, видно что совпадает проседания по system calls с перезагрузкой, чтобы это могло значить

Alex URSwestvovik,

1. это VPS/VDS? если да, что в логах?
2. что говорит out-of-band контроллер (iLO, iDRAC, ThinkServer или подобное)? или это не сервер?


Это наш сервер, размещен в ДЦ INTEL S5520UR,
удаленное управление только через KVM есть,
отдельного интерфейса с сетевухой для управления на нем нет

Alex URSwestvovik,

syscall отрицательный при write, но значением -1, и мне кажется, что -1000000 это не причина, а следствие
возможно отказ контроллера
какой RAID?

Там gmirror настроен на двух дисках SAS в зеркало

Alex URSwestvovikпропущено...


Там gmirror настроен на двух дисках SAS в зеркало

и что показывает статус программного рейда?

После перезагрузки один диск падает в состояние STALE
Я делаю rebuild, диск пересобирается, синхронизируется и работает, до следующей перезагрузки и опять в STALE,
Даже если я не делаю rebuild и работает один диск, сервер все равно перезагружается, так что это не очень связанные вещи как я понимаю

Dimitry SibiryakovwestvovikДаже если я не делаю rebuild и работает один диск, сервер все равно перезагружается, так
что это не очень связанные вещи как я понимаю

Убери один из дисков из сервера физически. Симптомы напоминают те, что я видел при плохом
контакте в шлейфе питания.


Знать бы какой диск убрать, а неужели реально могут быть плохой контакт у дисков которые в лотке вставляются в корпус и защелкиваются? Или в каком месте это может быть, там серверный корпус 1U?

Да и надо сказать в ДЦ все хорошо пыли нет нигде на комплектующих

Я смог сделать принт скрин ошибки которая промелкивала

вот, похоже что это все же память как я понимаю?

Scott TigerwestvovikЭто наш сервер, размещен в ДЦ INTEL S5520UR,
удаленное управление только через KVM есть,
отдельного интерфейса с сетевухой для управления на нем нет

На этой плате есть BMC, проверьте - https://www.intel.com/content/www/us/en/support/articles/000007037/server-products.html?productId=36456&localeCode=us_en . Тж. см. https://www.intel.com/content/dam/support/us/en/documents/motherboards/server/s5520ur/sb/e44031012_s5520ur_s5520urt_tps_r1_9.pdf

Чтобы не терять сообщения на консоли, во-первых, отключите перезагрузку по аппаратному сбою, во-вторых - перенаправьте консоль на последовательный порт ( https://www.freebsd.org/doc/handbook/serialconsole-setup.html ) и подключите этот порт к консольному коммутатору, который умеет хранить историю (в ДЦ быть должен, Altusen или что-то подобное).

Переусадите модули памяти. Если не полегчает, поменяйте их местами - это позволит понять, ходит ли ошибка за модулем или за слотом (во втором случае это будет слот памяти, материнская плата или, менее всего вероятно, процессор).

Подскажите, а удаленно как я понимаю этим сервером я управлять через BMC не смогу, если у меня на метери не вставлен RMM3 модуль так, а он приобретается отдельно?

Тогда что можно сделать с помощью BMC без RMM, для какой цели он нужен, не очень понимаю?

Alex URSwestvovik,

если ты не понимаешь, о чём тут пишут, хотя бы проверь это: ports, mcelog
и я так понял, что у тебя ни разу не сервер - это обычный desktop, которому так "приказали", ибо server - это не просто название

Зачем хамить то?

mcelog я установил!
Далее ему нужно скормить, как я понимаю логи для вывода инфы в человекочитаемом варианте, где взять эти логи или это Kernel Crash Dump?

Попробовал запустить его в режиме демона mcelog --daemon --logfile /var/log/mcelog, сервер перезагрузился, но в файле mcelog ничего нету!

что делаю не так?

Scott Tigerwestvovik, RMM нужен для удалённого сетевого доступа к BMC. В его отсутствие можете работать с консоли (опять же, goto к админам ДЦ). Почитайте внимательно мою первую ссылку - SEL Viewer работает даже в EFI Shell.

Спасибо за совет, SEL попробую!

Вчера при замене памяти в ДЦ сервер в биосе выдал что первые два слота память FAILED, вот переставили в другие два слота, сейчас все пока работает без перезагрузок, посмотрим что будет дальше.