|
|
|
Мониторинг содержимого страниц
|
|||
|---|---|---|---|
|
#18+
Всем привет и с наступающем. Есть список ресурсов, на которых публикуется информация о различных тарифах. Как в автомате отслеживать изменение этих тарифов? html parsing не пойдет, т.к. в списке порядка сотни ресурсов и на всех тарифы представлены по разному. Писать сотню разных парсеров - не айс. Думал может быть хранить хэши этих страниц и периодически сравнивать их с актуальными, но тогда если страница с тарифом генерится динамически, то будут ложные срабатывания на всякие там баннеры и всякую ерунду. Какие есть мысли у коллег? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.12.2011, 10:41:01 |
|
||
|
Мониторинг содержимого страниц
|
|||
|---|---|---|---|
|
#18+
парсить html ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.12.2011, 10:45:15 |
|
||
|
Мониторинг содержимого страниц
|
|||
|---|---|---|---|
|
#18+
pitfraydayshtml parsing не пойдет, т.к. в списке порядка сотни ресурсов и на всех тарифы представлены по разному. Писать сотню разных парсеров - не айс. Написать парсеры. Если интересно, у нас есть решение, которое можно адаптировать под вас (обход сайтов + сбор данных). Вам будет дешевле, чем писать самим, раз в n :) Можно не писать парасеры, но тогда ваша задачу из инженерной (= предсказуемо решаемой) автоматически превращается в научную (= непредсказуемо). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.12.2011, 11:23:18 |
|
||
|
|

start [/forum/topic.php?fid=59&msg=37600006&tid=2132939]: |
0ms |
get settings: |
21ms |
get forum list: |
17ms |
check forum access: |
6ms |
check topic access: |
6ms |
track hit: |
33ms |
get topic data: |
14ms |
get forum data: |
4ms |
get page messages: |
69ms |
get tp. blocked users: |
2ms |
| others: | 362ms |
| total: | 534ms |

| 0 / 0 |
