Имеется программа, которая обращается на один из вебсайтов для получения определенного документа. Адрес этого документа известен заранее, но он не публикуется до определенного времени дня, скажем до 12.00. В 11.59 моя программа начинает обращаться по этому адресу для получения документа несколько раз в секунду. Первую минуту его там нет и я получаю 404 not found, это нормально, однако начиная с 12.00 документ там есть, я вижу что на него появилась ссылка на других страницах, однако по-прежнему получаю 404 not found при обращении по этому адресу. Более того, я получаю 404 даже при обращении по этому адресу через браузер. Помогает только отключение от интернета и повторное подключение (3G, значит подключаюсь с новым айпишником.)
Такое впечатление что сервак закэшировал 404 для моих подключений и автоматом теперь только и шлет. Почему это происходит, это какая-то защита сервера от многочисленных запросов (хотя их всего-то несколько в секунду) или какой-то глюк где-то в другом месте?