|
python - вопрос про scrapy
|
|||
---|---|---|---|
#18+
Приветствую. Пожалуйста проясните ситуацию. Пытаюсь разобраться scrapy написал тестового паука который должен парсить сайт с https. Запускаю получаю вот такую ошибку Код: php 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38.
Посмотрел, в интернетах говорят вот такую штуку сделать Код: php 1.
Сделал, увидел что ничего не произошло, так как поползли сообщения Код: php 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30.
Что меня смущает сторочка You are using pip version 9.0.1, however version 19.2.1 is available. хотя есть набираю pip -V то получаю pip 19.1.1 from /var/www/test/test/lib64/python3.4/site-packages/pip (python 3.4) ну и что собственно к python -V Python 3.4.10 а когда запускал паука в разделе INFO фигурировала строчка Python 2.7.5 (default, Apr 9 2019, 14:30:50) что это и как с этим быть? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2019, 14:46 |
|
python - вопрос про scrapy
|
|||
---|---|---|---|
#18+
Nick-name, для начала нужно определиться в какой версии питона работаем, и дальше все делать в одной версии (на новых линуксах обычно две версии - 2 и 3) 1. начните с установки и устанавливайте все в виртуальной среде. начать лучше всего отсюда: https://docs.scrapy.org/en/latest/intro/install.html#intro-install 2. и неприличный вопрос: а что вы, собственно, тут делаете /var/www/test/test/lib64/python3.4/site-packages/pip? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2019, 16:58 |
|
python - вопрос про scrapy
|
|||
---|---|---|---|
#18+
mini.weblab, Спасибо большое за ответ. собственно с чего все началось, python я в общем-то не знаю, ну то есть совсем базовый уровень. Встала задача сделать парсер, очень быстро стало понятно что php не лучшее решение для этого. Один добрый человек посоветовал scrapy, вещь говорит хорошая. Вот с этого момента все и началось. В итоге у меня на системе три версии питона при scrapy пытается работать с 2,7 при этом недвусмысленно намекает, что надо бы обновиться, и в итоге я не знаю как заставить scrapy работать с python3.4. Вы знаете если честно я не представляю, что тут /var/www/test/test/lib64/python3.4/site-packages/pip происходит. Просто я для теста создал /var/www/test(с фантазиями то плохо все) дальше попытался сделать, что-то что может получить html странички. Ну а дальше вы знаете, ошибки которые написал выше. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2019, 08:58 |
|
python - вопрос про scrapy
|
|||
---|---|---|---|
#18+
А как быть если при устновке scrapy вот такая ошибка вываливается Код: php 1. 2. 3.
... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2019, 14:06 |
|
python - вопрос про scrapy
|
|||
---|---|---|---|
#18+
Nick-name, как-то с трудом вериться, что вы паука написали, но при этом запустить его не можете, и какую версию питона использовали - не знаете. 1) убрать все, что вы наустанавливали в /var/www (питон у вас уже установлен) 2) выбрать версию питона (2 или 3) и установить все как прописано в документации 3) протестировать установку: Тест: a) в терминале набираем $ python3 (или python2) b) попадаем в python shell, там набираем >>> import scrapy если ошибок нет, то все хорошо установилось ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2019, 21:47 |
|
python - вопрос про scrapy
|
|||
---|---|---|---|
#18+
Nick-name, если не получиться со scrapy,посмотрите в сторону beautiful soup, он попроще будет https://www.pythonforbeginners.com/beautifulsoup/beautifulsoup-4-python ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2019, 21:52 |
|
|
start [/forum/topic.php?fid=23&fpage=14&tid=1459885]: |
0ms |
get settings: |
9ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
504ms |
get topic data: |
14ms |
get forum data: |
3ms |
get page messages: |
53ms |
get tp. blocked users: |
2ms |
others: | 253ms |
total: | 861ms |
0 / 0 |