Гость
Войти | Профиль | Очистить
Действия ...
Форумы / Windows [игнор отключен] [закрыт для гостей] / PowerShell BITS Не скачивается архив БИКа с сайта ЦБ / 13 сообщений из 13, страница 1 из 1
19.02.2018, 14:07
    #39604181
nadya74
nadya74
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
Добрый день!

Подскажите пожалуйста, раньше без проблем отрабатывал скрипт по загрузке архива БИК банков. Часть этого скрипта:

Код: powershell
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
# Импортируем модуль BITS
Import-Module BitsTransfer
# Запускаем закачку
$Url = "http://www.cbr.ru/mcirabis/BIK/bik_db_"+ (Get-Date -Format "ddMMyyyy") + ".zip"
# $Url = "http://www.cbr.ru/mcirabis/BIK/bik_db_19022018.zip"
$dl = Start-BitsTransfer -Source $Url -Destination $Path -Priority low
# Показывать процент завершения до конца передачи
while ($dl.JobState -ne "Transferred") {
  $per = $dl.BytesTransferred/$dl.BytesTotal*100
  Write-Progress -activity "Copying" -status ($per.ToString()+"%") -PercentComplete $per
  Start-Sleep 1
}
# Завершить закачку
$dl | Complete-BitsTransfer



С начала февраля скрипт перестал отрабатываться. Заметила, что изменился адрес архива, откуда идет скачивание. Заменила на корректный:
Код: powershell
1.
$Url = "http://www.cbr.ru/vfs/mcirabis/BIK/bik_db_"+ (Get-Date -Format "ddMMyyyy") + ".zip"



В результате выдает сообщение, что
Start-BitsTransfer : Сервер не вернул размер файла. Указатель URL мог указывать на динамическое содержимое. Заголовок длины содержимого не доступен в ответе HTTP-сервера.

Если заходить вручную по указанной ссылке, все отлично скачивается, те адрес корректный
Подскажите, почему не идет загрузка через скрипт?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.02.2018, 14:36
    #39604212
Akina
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
nadya74Если заходить вручную по указанной ссылке, все отлично скачивается, те адрес корректныйА Вы при этом видите размер скачиваемого файла (загружено xxx из yyy)? или только факт загрузки (загружено zzz)?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.02.2018, 15:04
    #39604259
nadya74
nadya74
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
Akina, вижу размер
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.02.2018, 21:48
    #39604460
Basil A. Sidorov
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
 
Посмотреть - никак?
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
wget --spi -S  http://cbr.ru/vfs/mcirabis/BIK/bik_db_20022018.zip 

Spider mode enabled. Check if remote file exists.
--2018-02-20 02:42:11--   http://cbr.ru/vfs/mcirabis/BIK/bik_db_20022018.zip 
Resolving cbr.ru (cbr.ru)... 212.40.192.49
Connecting to cbr.ru (cbr.ru)|212.40.192.49|:80... connected.
HTTP request sent, awaiting response... 
  HTTP/1.1 200 OK
  Server: nginx/1.13.4
  Date: Mon, 19 Feb 2018 18:42:12 GMT
  Content-Type: application/zip
  Connection: keep-alive
  Cache-Control: public
  Last-Modified: Mon, 19 Feb 2018 05:07:51 GMT
  ETag: 5f802bfe871536d95aa9e312237ab2e0
   Content-Disposition: attachment;
   size=2214031 ;
   filename=bik_db_20022018.zip;
   modification-date="19 Feb 2018 08:07:51 +0300"
  X-AspNet-Version: 2.0.50727
  X-Powered-By: ASP.NET
 Length: unspecified [application/zip] 
Remote file exists.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.02.2018, 22:19
    #39604468
Basil A. Sidorov
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
HTTP Requirements for BITS Downloads .

P.S. Если не жалко места на диске, то:
Код: plaintext
 wget --unlink --mirror -nH --cut-dir 2 -N  http://cbr.ru/vfs/mcirabis/BIK/
создаёт зеркало ЦБР-архивов, которое будет корректно обновляться без всяких BITS/PowerShell.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.02.2018, 09:39
    #39604570
Ролг Хупин
Ролг Хупин
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
Akinanadya74Если заходить вручную по указанной ссылке, все отлично скачивается, те адрес корректныйА Вы при этом видите размер скачиваемого файла (загружено xxx из yyy)? или только факт загрузки (загружено zzz)?

Виден только прогресс загрузки
ййййй
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.02.2018, 11:20
    #39604667
nadya74
nadya74
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
да, все таки виден только прогресс.
попробую тогда предложенный здесь wget.
спасибо
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.02.2018, 14:09
    #39604803
nadya74
nadya74
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
помогите еще советом
установила wget-1.11.4-1

в командном окне выдаю команду
wget --spi -S http://cbr.ru/vfs/mcirabis/BIK/bik_db_20022018.zip

ответ:
--2018-02-20 15:42:10-- (попытка: 4) http://cbr.ru/vfs/mcirabis/BIK/bik_db_20022018.zip
Устанавливается соединение с cbr.ru|212.40.192.49|:80... сбой: Socket is not connected.

чего не хватает?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.02.2018, 14:59
    #39604860
Basil A. Sidorov
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
nadya74wget --spi -S http://cbr.ru/vfs/mcirabis/BIK/bik_db_20022018.zip Не надо бездумно копировать чужие строчки, тем более, что команду создания зеркала я привёл отдельно.
--spi[der] - режим проверки существования ресурса, а не его скачивания.
-S (--server-response) - отображает заголовки ответа, что тоже далеко не всегда требуется.Устанавливается соединение с cbr.ru|212.40.192.49|:80... сбой: Socket is not connected.Прокси?
Системные настройки на wget не действуют - вместо этого утилита смотрит содержимое специального файла в специальном или заданном месте.

P.S. Брать wget лучше отсюда .
Я использую версию 1.16.3: у более поздних - странные падения в существенных для меня случаях.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.02.2018, 15:22
    #39604880
nadya74
nadya74
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
я и хотела посмотреть существование ресурса, но наткнулось вот на ошибку :(
у нас, да, прокси
скачала версию 1.16.3
думала, все будет проще, пока ничего не получается, буду разбираться
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.02.2018, 22:32
    #39605138
miksoft
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
Basil A. SidorovПрокси?
Системные настройки на wget не действуютПеременные окружения вида http_proxy/https_proxy действуют, насколько я помню.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.02.2018, 02:22
    #39605162
Basil A. Sidorov
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
miksoftПеременные окружения вида http_proxy/https_proxy действуют, насколько я помню.1. Это не системные настройки, а специфичные установки.
2. Не знаю, не пробовал - всегда использовал wgetrc.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.02.2018, 05:50
    #39605173
Basil A. Sidorov
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
nadya74думала, все будет проще cURL попробуйте.
Зеркалировать curl не умеет, но отдельные файлы - без проблем.
Прокси можно прямо в комстроке указать :
Код: plaintext
 curl -U имя:пароль -x прокси:порт ...
Можно все настройки и ресурсы записать в файл и указать его при запуске:
Код: plaintext
 curl -K настройки
 
curl -I http://cbr.ru/vfs/mcirabis/BIK/bik_db_21022018.zip
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
HTTP/1.1 200 OK
Server: nginx/1.13.4
Date: Wed, 21 Feb 2018 02:25:27 GMT
Content-Type: application/zip
Connection: keep-alive
Cache-Control: public
Last-Modified: Tue, 20 Feb 2018 05:02:41 GMT
ETag: 154a5446e405c91686269318e7dee824
Content-Disposition: attachment; size=2214049; filename=bik_db_21022018.zip; modification-date="20 Feb 2018 08:02:41 +0300"
X-AspNet-Version: 2.0.50727
X-Powered-By: ASP.NET


P.S. Из всех вариантов страницы загрузки брать лучше сборку Stefan Kanthak - автономные исполняемые файлы без дополнительных зависимостей.
В десятку curl добавят, если не уже добавили, так что - привыкайте
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Windows [игнор отключен] [закрыт для гостей] / PowerShell BITS Не скачивается архив БИКа с сайта ЦБ / 13 сообщений из 13, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 493ms
Закрыть
start [/forum/topic.php?fid=26&mobile=1&tid=1492803]:
 0ms
get settings:
 9ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 132ms
get topic data:
 13ms
get forum data:
 2ms
get page messages:
 56ms
get tp. blocked users:
 2ms
others: 257ms
total:  493ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]