Добрый день.
Есть приложение, которое получает данные от стороннего источника по api. Данных очень много и устаревают они быстро. Если запустить скрипт на импорт всех данных, то по расчетам работу он закончит через несколько дней. Мне же нужно чтобы обновления выполнялись несколько раз в день. Причем задержка происходит на этапе обращения к веб-сервису, а не при операциях с БД. Т.е. сам процесс постраничного вытягивания данных очень долгий. Веб-сервис имеет много ограничений, например фиксированное количество запросов в единицу времени. П.э. запустить скрипт в несколько потоков не получается. Разбить данные на более важные и менее важные тоже не получается. Как быть в этой ситуации? Может есть стандартные подходы к решению указанной проблемы?

Чтобы узнать изменились ли данные мне нужно выкачать их все. В api нет метода получения последних изменений.

Infernal V. Raven,

за api отвечает сторонняя компания. Я не могу влиять на ход разработки

Dimitry Sibiryakov,

Если будет большой наплыв посетителей, то веб-сервис меня забанит. Еще по моим данным будет организован поиск, т.е. их нужно будет индексировать поисковым движком.

Infernal V. Raven,

не, все честно. У веб-сервиса ограничение на количество обращений с одного ip в единицу времени. И много ip вряд ли получится получить.

alexeyvg,

Решили частично использовать ваше решение. И будем вести переговоры с разработчиками сервиса. Всем спасибо за помощь.