С большой вероятностью может быть не очень надежный сетевой разъем на плате. Там обычно светодиод горит (зеленый или оранжевый), который указывает на нормальность цепи разъем - кабель - коммутатор, да и на коммутаторе ему соответствующий должен быть. Поэтому надо обратить внимание, как ведут себя светодиоды, когда пропадает соединение. Может быть также неквалифицированно обжат кабель в разъеме, а также разболтано гнездо в плате.
Что еще можно дальше пробовать: установить в PCI какую-нибудь хорошую сетевую плату, и, если сервер несложно настроить на нее, некоторое время попробовать в этом режиме.
Может быть также вариант, что конфликт IP-адресов - но если всего на несколько секунд пропадает, то это скорее всего не причина.