
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
30.12.2011, 10:41:01
|
|||
|---|---|---|---|
|
|||
Мониторинг содержимого страниц |
|||
|
#18+
Всем привет и с наступающем. Есть список ресурсов, на которых публикуется информация о различных тарифах. Как в автомате отслеживать изменение этих тарифов? html parsing не пойдет, т.к. в списке порядка сотни ресурсов и на всех тарифы представлены по разному. Писать сотню разных парсеров - не айс. Думал может быть хранить хэши этих страниц и периодически сравнивать их с актуальными, но тогда если страница с тарифом генерится динамически, то будут ложные срабатывания на всякие там баннеры и всякую ерунду. Какие есть мысли у коллег? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.12.2011, 10:45:15
|
|||
|---|---|---|---|
|
|||
Мониторинг содержимого страниц |
|||
|
#18+
парсить html ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.12.2011, 11:23:18
|
|||
|---|---|---|---|
Мониторинг содержимого страниц |
|||
|
#18+
pitfraydayshtml parsing не пойдет, т.к. в списке порядка сотни ресурсов и на всех тарифы представлены по разному. Писать сотню разных парсеров - не айс. Написать парсеры. Если интересно, у нас есть решение, которое можно адаптировать под вас (обход сайтов + сбор данных). Вам будет дешевле, чем писать самим, раз в n :) Можно не писать парасеры, но тогда ваша задачу из инженерной (= предсказуемо решаемой) автоматически превращается в научную (= непредсказуемо). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|

start [/forum/topic.php?fid=59&mobile=1&tid=2132939]: |
0ms |
get settings: |
32ms |
get forum list: |
19ms |
check forum access: |
12ms |
check topic access: |
12ms |
track hit: |
50ms |
get topic data: |
18ms |
get forum data: |
4ms |
get page messages: |
95ms |
get tp. blocked users: |
2ms |
| others: | 362ms |
| total: | 606ms |

| 0 / 0 |
