Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Java [игнор отключен] [закрыт для гостей] / Мониторинг содержимого страниц / 3 сообщений из 3, страница 1 из 1
30.12.2011, 10:41:01
    #37599995
pitfraydays
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мониторинг содержимого страниц
Всем привет и с наступающем.

Есть список ресурсов, на которых публикуется информация о различных тарифах. Как в автомате отслеживать изменение этих тарифов?

html parsing не пойдет, т.к. в списке порядка сотни ресурсов и на всех тарифы представлены по разному. Писать сотню разных парсеров - не айс.

Думал может быть хранить хэши этих страниц и периодически сравнивать их с актуальными, но тогда если страница с тарифом генерится динамически, то будут ложные срабатывания на всякие там баннеры и всякую ерунду.

Какие есть мысли у коллег?
...
Рейтинг: 0 / 0
30.12.2011, 10:45:15
    #37600006
grasoff.net
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мониторинг содержимого страниц
парсить html
...
Рейтинг: 0 / 0
30.12.2011, 11:23:18
    #37600063
Leonidv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мониторинг содержимого страниц
pitfraydayshtml parsing не пойдет, т.к. в списке порядка сотни ресурсов и на всех тарифы представлены по разному. Писать сотню разных парсеров - не айс.
Написать парсеры. Если интересно, у нас есть решение, которое можно адаптировать под вас (обход сайтов + сбор данных). Вам будет дешевле, чем писать самим, раз в n :)

Можно не писать парасеры, но тогда ваша задачу из инженерной (= предсказуемо решаемой) автоматически превращается в научную (= непредсказуемо).
...
Рейтинг: 0 / 0
Форумы / Java [игнор отключен] [закрыт для гостей] / Мониторинг содержимого страниц / 3 сообщений из 3, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]