Есть приложение, которое проверяет ссылки в базе данных. Все broken links пишет в лог-файл. Когда проверяю ссылки из лог-файла, некотрые из низ оказываются рабочими. Такое впечатление, что есть "умные сервера", которые догадываются, что запрос послан автоматически, а не мануально :) из броузера.

Вот кусочек кода:

---------------------------------------------
Uri siteUri = new Uri(txtUrl.Text);

HttpWebRequest wrq = (HttpWebRequest)WebRequest.Create(siteUri);
wrq.Credentials = CredentialCache.DefaultCredentials;
wrq.Timeout = 30000; //(30 seconds)
wrq.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)";
wrq.Referer = "http://www.companyname.com";
wrq.KeepAlive = false;
wrq.ProtocolVersion = HttpVersion.Version10;

wrq.Headers.Add(HttpRequestHeader.AcceptEncoding, "deflate");
wrq.Headers.Add(HttpRequestHeader.CacheControl, "no-cache");
wrq.Headers.Add(HttpRequestHeader.AcceptLanguage, "en-us");

wrq.AllowAutoRedirect = true;
wrq.MaximumAutomaticRedirections = 5;

HttpWebResponse wrs = (HttpWebResponse)wrq.GetResponse();
wrs.Close();

------------------------------------------------

Для http://www.camese.org/ получаю error:
"The server commited a protocol violation. Section=ResponseHeader Detail=CR must be followed by LF"

Как с этим бороться?Что еще надо добавить в код, чтобы сформировать полностью агалогичный броузеру Request?