|
Действия ...
|
27.01.2018, 14:52
|
|||
|---|---|---|---|
|
|||
Как программно скачать все дочерние страницы сайта |
|||
|
|
|
27.01.2018, 22:48
|
|||
|---|---|---|---|
|
|||
Как программно скачать все дочерние страницы сайта |
|||
|
|
Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
27.01.2018, 12:11
|
|||
|---|---|---|---|
Как программно скачать все дочерние страницы сайта |
|||
|
#18+
Как скачать все имеющиеся страницы с сайта Например есть корневой сайт http://www.sql.ru/ нужно скачать все его дочерние узлы http://www.sql.ru/forum/ http://www.sql.ru/forum/microsoft-sql-server http://www.sql.ru/forum/oracle ...... http://www.sql.ru/subscribe/ http://www.sql.ru/subscribe/???? http://www.sql.ru/subscribe/??????? Как найти маршруты всех его дочерних узлов ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
27.01.2018, 14:52
|
|||
|---|---|---|---|
Как программно скачать все дочерние страницы сайта |
|||
|
#18+
abort, Джудж не даст. У него какая-то защита от таких качалок ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
27.01.2018, 22:48
|
|||
|---|---|---|---|
Как программно скачать все дочерние страницы сайта |
|||
|
#18+
abortКак скачать все имеющиеся страницы с сайта Например есть корневой сайт http://www.sql.ru/ нужно скачать все его дочерние узлы http://www.sql.ru/forum/ http://www.sql.ru/forum/microsoft-sql-server http://www.sql.ru/forum/oracle ...... http://www.sql.ru/subscribe/ http://www.sql.ru/subscribe/???? http://www.sql.ru/subscribe/??????? Как найти маршруты всех его дочерних узлов 1/ в общем случае так - скачать в html agility pack 2/ вытащить все ссылки (<a ...) 3/ для всех ссылок, начинающихся с корневого узла повторить с 1 пункта 4/ не забыть вести список уже пройденных ссылок, чтобы не зациклиться ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=20&mobile=1&tid=1399514]: |
0ms |
get settings: |
12ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
63ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
46ms |
get tp. blocked users: |
2ms |
| others: | 14ms |
| total: | 169ms |
| 0 / 0 |
