Где-то в моих завалах валяется такой "универсальный" парсер, где настройка на парсинг сайта делается .. оператором, тыкая в нужные блоки на страничках сайта. По мере тыканья, ему показывается результат парсинга "что получится" и он может скорректировать регексп самостоятельно, даже не особо в нем разбираясь ибо есть "подсказки" как это поправить..
Результат сохраненной "инструкции" парсеру можно натравить на другую подобнуб страничку и убедиться что подводных камней нет .. или есть.
Парсер работает в фоновом режиме (писан на ПХП), умеет регулировать нагрузку на сайт, работать через проски и внешние анонимайзеры, для чего у него есть спец кнопка "поиск анонимайзера", которая по внутренней СУБД (пополняется кроном отдельным процессом) тестится запросом самому себе с оценкой времени прохождения запроса. Есть режим карусели, где случайное количество запросов к сайту разбрасывается через десяток наилучших внешних прокси случайным образом.
Результат парсится согласно инструкции в EAV СУБД на Мускуле, и потом его можно "просмотреть" и скорректировать, если что-то пошло не так.
Умеет парсить постраничный вывод через разбор пагинаторов.

Ничего особо сложного там не было, наращивался по мере развития задачи, примерно полгода. Сделан полностью на регексп подходе.

Основное назначение - забор прайсов товарных позиций поставщиков товарно-ценового агрегатора (возьмите с сайта, нам лениво обновлять свои ценники на вашем портале), успешно применялся для парсинга форумов, с раскладкой "чье сообщение", с последующим синт. и фразеологическим анализом содержимого .. какое-то время пытался писать "автобота" для болтания на форумах.

Устарел, т.к. сейчас проще запросить стороннее АПИ, чем изголяться и держать оператора. Да и .. обновление сайтов часто желает лучшего .. смысл качать то, что давно устарело? А устаревает оно примерно уже за неделю.

В общем .. в современных реалиях нафиг не нужно. Писалось в 2012-2014гг, где-то там и уже тогда становилось очевидным, что это бесполезная хотелка Заказчика..