Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
27.01.2018, 12:11
|
|||
---|---|---|---|
Как программно скачать все дочерние страницы сайта |
|||
#18+
Как скачать все имеющиеся страницы с сайта Например есть корневой сайт http://www.sql.ru/ нужно скачать все его дочерние узлы http://www.sql.ru/forum/ http://www.sql.ru/forum/microsoft-sql-server http://www.sql.ru/forum/oracle ...... http://www.sql.ru/subscribe/ http://www.sql.ru/subscribe/???? http://www.sql.ru/subscribe/??????? Как найти маршруты всех его дочерних узлов ... |
|||
:
Нравится:
Не нравится:
|
|||
|
27.01.2018, 14:52
|
|||
---|---|---|---|
Как программно скачать все дочерние страницы сайта |
|||
#18+
abort, Джудж не даст. У него какая-то защита от таких качалок ... |
|||
:
Нравится:
Не нравится:
|
|||
|
27.01.2018, 22:48
|
|||
---|---|---|---|
Как программно скачать все дочерние страницы сайта |
|||
#18+
abortКак скачать все имеющиеся страницы с сайта Например есть корневой сайт http://www.sql.ru/ нужно скачать все его дочерние узлы http://www.sql.ru/forum/ http://www.sql.ru/forum/microsoft-sql-server http://www.sql.ru/forum/oracle ...... http://www.sql.ru/subscribe/ http://www.sql.ru/subscribe/???? http://www.sql.ru/subscribe/??????? Как найти маршруты всех его дочерних узлов 1/ в общем случае так - скачать в html agility pack 2/ вытащить все ссылки (<a ...) 3/ для всех ссылок, начинающихся с корневого узла повторить с 1 пункта 4/ не забыть вести список уже пройденных ссылок, чтобы не зациклиться ... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
start [/forum/topic.php?fid=20&mobile=1&tid=1399514]: |
0ms |
get settings: |
8ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
32ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
50ms |
get tp. blocked users: |
3ms |
others: | 309ms |
total: | 439ms |
0 / 0 |