|
|
|
как скачать файлы с сайта
|
|||
|---|---|---|---|
|
#18+
коллеги, может не в этот форум, но ничего ближе я не увидела. занимаюсь созданием автоматических загрузок с сайта. до сих пор мне это удавалось сделать через wget но вот попался непонятный сайт http://stat.gibdd.ru/ не подскажете что за зверь и как оттуда чего-нибудь скачать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.11.2017, 12:27 |
|
||
|
как скачать файлы с сайта
|
|||
|---|---|---|---|
|
#18+
если кто-нибудь хоть знает в какую сторону копать, прошу чиркнуть пару слов ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.11.2017, 14:13 |
|
||
|
как скачать файлы с сайта
|
|||
|---|---|---|---|
|
#18+
Rinka777, .. копайте в сторону просмотра их java-скриптов, в частности MainUtils.js, ExportDTPForm.js и функций внутри doPost(), getArchive(), например ... там данные аяксом идут на сервер, а загрузка через location.href ... воспримет ли их сервер подставленную (и правильно сформированную строку запроса) через wget - бог его знает ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.11.2017, 15:09 |
|
||
|
как скачать файлы с сайта
|
|||
|---|---|---|---|
|
#18+
.. общий смысл всего этого безобразия - скорее всего готовые фалы там не лежат, а формируются по запросу серверным контроллером ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.11.2017, 15:13 |
|
||
|
как скачать файлы с сайта
|
|||
|---|---|---|---|
|
#18+
carrotikRinka777, .. копайте в сторону просмотра их java-скриптов, в частности MainUtils.js, ExportDTPForm.js и функций внутри doPost(), getArchive(), например ... там данные аяксом идут на сервер, а загрузка через location.href ... воспримет ли их сервер подставленную (и правильно сформированную строку запроса) через wget - бог его знает ... еще бы понять . джаву-скрипт плохо знаю... carrotik.. общий смысл всего этого безобразия - скорее всего готовые фалы там не лежат, а формируются по запросу серверным контроллером ... да это я уже поняла... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.11.2017, 16:12 |
|
||
|
как скачать файлы с сайта
|
|||
|---|---|---|---|
|
#18+
carrotikRinka777, .. копайте в сторону просмотра их java-скриптов, в частности MainUtils.js, ExportDTPForm.js и функций внутри doPost(), getArchive(), например ... там данные аяксом идут на сервер, а загрузка через location.href ... воспримет ли их сервер подставленную (и правильно сформированную строку запроса) через wget - бог его знает ... но все равно спасибо. буду копать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.11.2017, 16:21 |
|
||
|
как скачать файлы с сайта
|
|||
|---|---|---|---|
|
#18+
Rinka777 но все равно спасибо. буду копать. .. одним из методов может быть Fiddler , где можно посмотреть реальный запрос со страницы (он действует как прокси между броузером и сайтом), при этом обязательно обратить внимание на заголовки, а не только тело запроса ... И запросов на загрузку на самом деле может быть не один, сначала через POST аяксом отправляются данные для формирования файла, потом непосредственно загрузка ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.11.2017, 16:50 |
|
||
|
как скачать файлы с сайта
|
|||
|---|---|---|---|
|
#18+
carrotik, спасибо огромное за подсказки, в итоге сделала так curl -X POST 'http://stat.gibdd.ru/getFormDTPXLS' \ -H 'Pragma: no-cache' \ -H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36' \ -H 'Content-Type: application/json; charset=UTF-8' \ -H 'Accept: */*' \ -H 'Cache-Control: no-cache' \ -H 'X-Requested-With: XMLHttpRequest' \ -H 'Connection: keep-alive' \ -H 'Referer: http://stat.gibdd.ru/' \ -d '{"data":"{\"date\":\"MONTHS:11.2017\",\"parReg\":[\"877\"],\"reg\":[\"877\",\"14\"],\"rzd\":[\"1\",\"2\"],\"tdata\":\"0\"}"}' \ > 1.txt curl ' http://stat.gibdd.ru/getPDFbyId?data= то что в первом запросе дали ' \ -H 'Accept-Encoding: gzip, deflate' -H 'Accept-Language: ru,en;q=0.8' \ -H 'Upgrade-Insecure-Requests: 1' \ -H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 YaBrowser/17.10.1.1204 Yowser/2.5 Safari/537.36' \ -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8' \ -H 'Referer: http://stat.gibdd.ru/' \ -H 'Proxy-Connection: keep-alive' --compressed \ >1.zip ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.12.2017, 06:59 |
|
||
|
|

start [/forum/topic.php?fid=22&fpage=32&tid=1444359]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
62ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
47ms |
get tp. blocked users: |
1ms |
| others: | 13ms |
| total: | 167ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...