Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
(Python) скачать фалы из списка url
|
|||
|---|---|---|---|
|
#18+
Добрый день, Я только начал учить python, по этому просьба сильно не пинать. Есть файл file_url.txt с ссылками внутри, каждая ссылка начинается с новой строки есть код: Код: python 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. При выполнении кода, нормально скачивается только тот файл url которого в самом низу, всем остальным создаются файлы в которых написано Not found. Подскажите почему так происходит и как это решить? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.09.2014, 15:36 |
|
||
|
(Python) скачать фалы из списка url
|
|||
|---|---|---|---|
|
#18+
(не сильно будет потом) СЛыш ты, ты хочешь сказать что ты не понял, что скачивание по ссылке не зависит от того, где ты взял текст ссылки, из файла вычитал, или из другого места дастал!:) или поняв выше не понял, что раз часть ссылок скачиваеться а часть нет, то значит проблема в самих ссылках === в способе чтения из файла! :) или не учил ещо команду вывода значения переменной , что б а)визуально попытаться увидеть разницу в ссылках б)взять и самому из мозилы попытаться по тем ссылкам что оно выдало скачать. === а теперь не сильно. подозреваю, что в текстовом файле в конце нету символа конца строки, а посему думаеться, что читая файл построчно, мы имеем строку-ссылку+байт(ы) перевода строки вот изза лишних этих концовок строк и получаеться ссылка битой. ЗЫ питон не знаю вообще. может причина и вдругом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.09.2014, 15:44 |
|
||
|
(Python) скачать фалы из списка url
|
|||
|---|---|---|---|
|
#18+
авторСЛыш ты, ты хочешь сказать что ты не понял, что скачивание по ссылке не зависит от того, где ты взял текст ссылки, из файла вычитал, или из другого места дастал!:) грубость упустим, вопрос не понял, мне нужно вытягивать ссылки из файла. авторили поняв выше не понял, что раз часть ссылок скачиваеться а часть нет, то значит проблема в самих ссылках === в способе чтения из файла! :) ссылки одинаковы, меняется только имя файла, с браузера все файлы качаются нормально. авторподозреваю, что в текстовом файле в конце нету символа конца строки, а посему думаеться, что читая файл построчно, мы имеем строку-ссылку+байт(ы) перевода строки вот изза лишних этих концовок строк и получаеться ссылка битой. удалял символ перевода строки из конца , так как если она есть то я не могу сохранить файл "недопустимое имя", ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.09.2014, 16:02 |
|
||
|
(Python) скачать фалы из списка url
|
|||
|---|---|---|---|
|
#18+
Goodket, ну блиин...я же спецально вконце каждой реплики смайлик ставил, чтоб подчеркнуть что прикалываюсь... типо пинаю сильно :):):):) ладно...видать ты не вхорошем юморе сегодня... имелось ввиду 1)ошибка в чом? не читаеться файл, ты получаешь пустую строку вкачестве ссылки получаешь ссылку, но по ней не качаеться или качаеться но не сохраняеться в файл 2)разделить задачу на 3 части, чтение файла, скачивание, сохранение скачаного, ещо авторизацию. 3)получить работающие 4 елемента. 4)склеить, добавив проверки того что вход следующего вточности равен входу предыдущего. просто пример - пишу код пхп, думаю догадаешься что он делает $f = fopen('links.txt','r'); while($link = fgets($f))//read line { $content = file_get_contents($link); $items = explode('/',$link); $fname = array_pop($items);//get last part of link as file name file_put_contents('myfolderdata/'.$fname); } вижу что не работает. вписываю две ссылки в текстовый файл, убедившись что по каждой мозила скачивает http://site.ru/file1 http://site.ru/file2 содержимое сохраняю в файлы f1 f2 вместо вайла пошагово делаю $link = fgets($f); if($link !== 'http://site.ru/file1') { echo "SHEET mofck - ERROR READ LINKS FILE"; exit(); } $content = file_get_contents($link); if(file_get_contents('f1') !== $content) { echo "ONOTHER SHEET - contents are not the same"; exit(); } ..... и увидеть таким образом, где получаеться не стыковка. тыж сам понимаешь что магии там нету. я хоть и не знаю питона, но подозреваю что код вцелом верен... ошибка либо в нюансе в самих данных с сылками например(но ты говоришь что тут все нормально) что читая ссылку line in f: ты получаешь вместо " http://site.ru/file1" - " http://site.ru/file1".OEL - символ конца строки либо в хедере этом не понятном...оперой(мозилой) ты поди этот хедер не отсылаешь либо ещо где...именно в неучтеном нюансе. а такое если не видеться - то именно так и ищеться... ити по коду, на листике щитать что должно было получиться, или получать это стророним способом(контент файла например) и сравнивать. чтоб для начало найти имено ту строку, с которой все пошло не так...ну а там уже и свет вконце тунеля засветит как прожектор в глаза. Модератор: alex564657498765453 , прошу не выплескивать эмоции на посетителей. На техническом форуме это ни к чему. Так же еще раз прошу внимательно ознакомиться с Правилами форума и выполнять их. Ваши сообщения содержат огромное количество ошибок. Рекомендую использовать средства проверки правописания перед публикацией сообщений. Кроме того, прошу обратить внимание на возможность использования тега SRC для оформления фрагментов кода. Конечно, Вы можете не уважать себя - это Ваше личное дело. Но Вы обязаны уважать посетителей форума. -- vkle ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.09.2014, 16:42 |
|
||
|
(Python) скачать фалы из списка url
|
|||
|---|---|---|---|
|
#18+
это и есть кусочек кода не работающий :) сори не правильный кусок кода дал, вернее пропустил строчку Код: python 1. сейчас вот так: Код: python 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. файлы качаются не правильные. если закоментировать строку a=line.rstrip() то получаю вот такую ошибку Код: python 1. как можно удалить перевод строки, и если я удалю не получится ли что все линки будут в одну строку? возможно есть другой способ для скачивания файлов, так как я понял что этот метод не качает файл а эм, открывает его что ли и вывод уже записывает в файл. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.09.2014, 18:11 |
|
||
|
(Python) скачать фалы из списка url
|
|||
|---|---|---|---|
|
#18+
извините, сам дурак :) работающий код Код: python 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.09.2014, 18:47 |
|
||
|
|

start [/forum/topic.php?fid=23&gotonew=1&tid=1462409]: |
0ms |
get settings: |
4ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
46ms |
get topic data: |
8ms |
get first new msg: |
5ms |
get forum data: |
2ms |
get page messages: |
37ms |
get tp. blocked users: |
1ms |
| others: | 210ms |
| total: | 333ms |

| 0 / 0 |
