|
|
|
Как программно скачать все дочерние страницы сайта
|
|||
|---|---|---|---|
|
#18+
Как скачать все имеющиеся страницы с сайта Например есть корневой сайт http://www.sql.ru/ нужно скачать все его дочерние узлы http://www.sql.ru/forum/ http://www.sql.ru/forum/microsoft-sql-server http://www.sql.ru/forum/oracle ...... http://www.sql.ru/subscribe/ http://www.sql.ru/subscribe/???? http://www.sql.ru/subscribe/??????? Как найти маршруты всех его дочерних узлов ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.01.2018, 12:11 |
|
||
|
Как программно скачать все дочерние страницы сайта
|
|||
|---|---|---|---|
|
#18+
abort, Джудж не даст. У него какая-то защита от таких качалок ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.01.2018, 14:52 |
|
||
|
Как программно скачать все дочерние страницы сайта
|
|||
|---|---|---|---|
|
#18+
abortКак скачать все имеющиеся страницы с сайта Например есть корневой сайт http://www.sql.ru/ нужно скачать все его дочерние узлы http://www.sql.ru/forum/ http://www.sql.ru/forum/microsoft-sql-server http://www.sql.ru/forum/oracle ...... http://www.sql.ru/subscribe/ http://www.sql.ru/subscribe/???? http://www.sql.ru/subscribe/??????? Как найти маршруты всех его дочерних узлов 1/ в общем случае так - скачать в html agility pack 2/ вытащить все ссылки (<a ...) 3/ для всех ссылок, начинающихся с корневого узла повторить с 1 пункта 4/ не забыть вести список уже пройденных ссылок, чтобы не зациклиться ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.01.2018, 22:48 |
|
||
|
|
start [/forum/topic.php?fid=20&fpage=34&tid=1399514]: |
0ms |
get settings: |
11ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
35ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
45ms |
get tp. blocked users: |
2ms |
| others: | 304ms |
| total: | 432ms |
| 0 / 0 |
