powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Форумы / Windows [игнор отключен] [закрыт для гостей] / PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
13 сообщений из 13, страница 1 из 1
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
    #39604181
nadya74
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день!

Подскажите пожалуйста, раньше без проблем отрабатывал скрипт по загрузке архива БИК банков. Часть этого скрипта:

Код: powershell
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
# Импортируем модуль BITS
Import-Module BitsTransfer
# Запускаем закачку
$Url = "http://www.cbr.ru/mcirabis/BIK/bik_db_"+ (Get-Date -Format "ddMMyyyy") + ".zip"
# $Url = "http://www.cbr.ru/mcirabis/BIK/bik_db_19022018.zip"
$dl = Start-BitsTransfer -Source $Url -Destination $Path -Priority low
# Показывать процент завершения до конца передачи
while ($dl.JobState -ne "Transferred") {
  $per = $dl.BytesTransferred/$dl.BytesTotal*100
  Write-Progress -activity "Copying" -status ($per.ToString()+"%") -PercentComplete $per
  Start-Sleep 1
}
# Завершить закачку
$dl | Complete-BitsTransfer



С начала февраля скрипт перестал отрабатываться. Заметила, что изменился адрес архива, откуда идет скачивание. Заменила на корректный:
Код: powershell
1.
$Url = "http://www.cbr.ru/vfs/mcirabis/BIK/bik_db_"+ (Get-Date -Format "ddMMyyyy") + ".zip"



В результате выдает сообщение, что
Start-BitsTransfer : Сервер не вернул размер файла. Указатель URL мог указывать на динамическое содержимое. Заголовок длины содержимого не доступен в ответе HTTP-сервера.

Если заходить вручную по указанной ссылке, все отлично скачивается, те адрес корректный
Подскажите, почему не идет загрузка через скрипт?
...
Рейтинг: 0 / 0
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
    #39604212
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
nadya74Если заходить вручную по указанной ссылке, все отлично скачивается, те адрес корректныйА Вы при этом видите размер скачиваемого файла (загружено xxx из yyy)? или только факт загрузки (загружено zzz)?
...
Рейтинг: 0 / 0
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
    #39604259
nadya74
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Akina, вижу размер
...
Рейтинг: 0 / 0
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
    #39604460
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Посмотреть - никак?
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
wget --spi -S  http://cbr.ru/vfs/mcirabis/BIK/bik_db_20022018.zip 

Spider mode enabled. Check if remote file exists.
--2018-02-20 02:42:11--   http://cbr.ru/vfs/mcirabis/BIK/bik_db_20022018.zip 
Resolving cbr.ru (cbr.ru)... 212.40.192.49
Connecting to cbr.ru (cbr.ru)|212.40.192.49|:80... connected.
HTTP request sent, awaiting response... 
  HTTP/1.1 200 OK
  Server: nginx/1.13.4
  Date: Mon, 19 Feb 2018 18:42:12 GMT
  Content-Type: application/zip
  Connection: keep-alive
  Cache-Control: public
  Last-Modified: Mon, 19 Feb 2018 05:07:51 GMT
  ETag: 5f802bfe871536d95aa9e312237ab2e0
   Content-Disposition: attachment;
   size=2214031 ;
   filename=bik_db_20022018.zip;
   modification-date="19 Feb 2018 08:07:51 +0300"
  X-AspNet-Version: 2.0.50727
  X-Powered-By: ASP.NET
 Length: unspecified [application/zip] 
Remote file exists.
...
Рейтинг: 0 / 0
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
    #39604468
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HTTP Requirements for BITS Downloads .

P.S. Если не жалко места на диске, то:
Код: plaintext
 wget --unlink --mirror -nH --cut-dir 2 -N  http://cbr.ru/vfs/mcirabis/BIK/ 
создаёт зеркало ЦБР-архивов, которое будет корректно обновляться без всяких BITS/PowerShell.
...
Рейтинг: 0 / 0
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
    #39604570
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Akinanadya74Если заходить вручную по указанной ссылке, все отлично скачивается, те адрес корректныйА Вы при этом видите размер скачиваемого файла (загружено xxx из yyy)? или только факт загрузки (загружено zzz)?

Виден только прогресс загрузки
ййййй
...
Рейтинг: 0 / 0
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
    #39604667
nadya74
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
да, все таки виден только прогресс.
попробую тогда предложенный здесь wget.
спасибо
...
Рейтинг: 0 / 0
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
    #39604803
nadya74
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
помогите еще советом
установила wget-1.11.4-1

в командном окне выдаю команду
wget --spi -S http://cbr.ru/vfs/mcirabis/BIK/bik_db_20022018.zip

ответ:
--2018-02-20 15:42:10-- (попытка: 4) http://cbr.ru/vfs/mcirabis/BIK/bik_db_20022018.zip
Устанавливается соединение с cbr.ru|212.40.192.49|:80... сбой: Socket is not connected.

чего не хватает?
...
Рейтинг: 0 / 0
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
    #39604860
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
nadya74wget --spi -S http://cbr.ru/vfs/mcirabis/BIK/bik_db_20022018.zip Не надо бездумно копировать чужие строчки, тем более, что команду создания зеркала я привёл отдельно.
--spi[der] - режим проверки существования ресурса, а не его скачивания.
-S (--server-response) - отображает заголовки ответа, что тоже далеко не всегда требуется.Устанавливается соединение с cbr.ru|212.40.192.49|:80... сбой: Socket is not connected.Прокси?
Системные настройки на wget не действуют - вместо этого утилита смотрит содержимое специального файла в специальном или заданном месте.

P.S. Брать wget лучше отсюда .
Я использую версию 1.16.3: у более поздних - странные падения в существенных для меня случаях.
...
Рейтинг: 0 / 0
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
    #39604880
nadya74
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
я и хотела посмотреть существование ресурса, но наткнулось вот на ошибку :(
у нас, да, прокси
скачала версию 1.16.3
думала, все будет проще, пока ничего не получается, буду разбираться
...
Рейтинг: 0 / 0
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
    #39605138
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. SidorovПрокси?
Системные настройки на wget не действуютПеременные окружения вида http_proxy/https_proxy действуют, насколько я помню.
...
Рейтинг: 0 / 0
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
    #39605162
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftПеременные окружения вида http_proxy/https_proxy действуют, насколько я помню.1. Это не системные настройки, а специфичные установки.
2. Не знаю, не пробовал - всегда использовал wgetrc.
...
Рейтинг: 0 / 0
PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
    #39605173
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
nadya74думала, все будет проще cURL попробуйте.
Зеркалировать curl не умеет, но отдельные файлы - без проблем.
Прокси можно прямо в комстроке указать :
Код: plaintext
 curl -U имя:пароль -x прокси:порт ...
Можно все настройки и ресурсы записать в файл и указать его при запуске:
Код: plaintext
 curl -K настройки
curl -I http://cbr.ru/vfs/mcirabis/BIK/bik_db_21022018.zip
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
HTTP/1.1 200 OK
Server: nginx/1.13.4
Date: Wed, 21 Feb 2018 02:25:27 GMT
Content-Type: application/zip
Connection: keep-alive
Cache-Control: public
Last-Modified: Tue, 20 Feb 2018 05:02:41 GMT
ETag: 154a5446e405c91686269318e7dee824
Content-Disposition: attachment; size=2214049; filename=bik_db_21022018.zip; modification-date="20 Feb 2018 08:02:41 +0300"
X-AspNet-Version: 2.0.50727
X-Powered-By: ASP.NET


P.S. Из всех вариантов страницы загрузки брать лучше сборку Stefan Kanthak - автономные исполняемые файлы без дополнительных зависимостей.
В десятку curl добавят, если не уже добавили, так что - привыкайте
...
Рейтинг: 0 / 0
13 сообщений из 13, страница 1 из 1
Форумы / Windows [игнор отключен] [закрыт для гостей] / PowerShell BITS Не скачивается архив БИКа с сайта ЦБ
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]