ZyK_BotaN,
Интересная статья. Для финальной версии системы постараюсь сделать так.
Есть еще один немало важный фактор:
сколько времени понадобится , чтобы изучить новый для меня ЯП.
Ведь для полномасштабной работы нужно будет и взаимодействие с БД добавить
и отправку Email и сложную логику принятия решения - идти ли дальше по ссылкам, найденным на странице
и много еще чего.
Erlang или
Python - придется изучать с "0" (то же про
XPath запросы )
А это значит, что нужно иметь под рукой большое количество примеров кода на разные случаи
и активное сообщество - кто сможет подсказать по проблемам программирования.
PHP - небольшой опыт есть (доработка Joomla компонентов)
С++ - есть опыт, но только под Windows.
Если сократить время за счет обучения,
то для меня - быстрее будет получить результат на PHP
php-crawler-tutorial
simple-php-crawler-example
Это для предварительной/тестовой версии,
а к Erlang, видимо, еще вернусь - но чуть позже.
Вопрос о выполнении JS вынесем пока за скобки (начать можно и без этого).
Да, я понимаю, что можно имитировать Ajax запросы,
но для этого нужно заранее знать как работает "движек" сайта.
(т.е. не всегда удастся автоматически находить новые сайты и добавлять их в контроль-список без участия человека)
Кстати, я подумываю о том, чтобы разбор документа делать хранимками на MySQL
Там есть
XPath - MySQL и
regexp
В моем случае - без анализа на стороне MySQL сервера никакие дальнейшие действия паука не допускаются.
Поэтому результат разбора документа - все равно/полюбому нужно будет передавать на сервер - для дальнейшего анализа.
Так, может быть, сразу на сервере и извлекать эти данные ? И тут же использовать результаты во всевозможных Join-ах ?
