Привет всем! Подскажите путь джедаю:
Условие задачи: "Организовать систему для загрузки содержимого веб сайтов. На входе списки урлов, на выходе - их содержимое. Система должна быть распределенной, масштабируемой. Для заданного списка доменов необходимо организовать ограничение по количеству загрузок в секунду чтобы избежать блокировок нашего сервиса с их стороны."
Прошу написать, как Вы будете решать эту задачу. Нам не требуется само решение. Нас интересует путь решения с подробностями, если такое возможно. Платформа - любой Линукс сервер.
============================================================================================================
"О, сколько нам открытий чудных готовит просвещения дух, и опыт - сын ошибок трудных, и гений - парадоксов друг, и случай - бог изобретатель" (Пушкин, однако).

Dimitry Sibiryakov,

А что-нибудь можете сказать про parser.ru студии Лебедева?

А как сделать систему распределённой и масштабируемой, если пользоваться curl?

bga83,

А если средствами системы по максимальной возможности, то как лучше это организовать?