powered by simpleCommunicator - 2.0.40     © 2025 Programmizd 02
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / python - вопрос про scrapy
6 сообщений из 6, страница 1 из 1
python - вопрос про scrapy
    #39841431
Nick-name
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Приветствую. Пожалуйста проясните ситуацию.
Пытаюсь разобраться scrapy написал тестового паука который должен парсить сайт с https. Запускаю получаю вот такую ошибку
Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
2019-07-25 14:11:07 [scrapy.utils.log] INFO: Scrapy 1.6.0 started (bot: tutorial)
2019-07-25 14:11:07 [scrapy.utils.log] INFO: Versions: lxml 4.3.3.0, libxml2 2.9.9, cssselect 1.0.3, parsel 1.5.1, w3lib 1.20.0, Twisted 19.2.0, Python 2.7.5 (default, Apr  9 2019, 14:30:50) - [GCC 4.8.5 20150623 (Red Hat 4.8.5-36)], pyOpenSSL 0.13.1 (OpenSSL 1.0.2k-fips  26 Jan 2017), cryptography 1.7.2, Platform Linux-3.10.0-957.1.3.el7.x86_64-x86_64-with-centos-7.6.1810-Core
2019-07-25 14:11:07 [scrapy.crawler] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'tutorial.spiders', 'SPIDER_MODULES': ['tutorial.spiders'], 'ROBOTSTXT_OBEY': True, 'BOT_NAME': 'tutorial'}
Traceback (most recent call last):
  File "/usr/bin/scrapy", line 10, in <module>
    sys.exit(execute())
  File "/usr/lib/python2.7/site-packages/scrapy/cmdline.py", line 150, in execute
    _run_print_help(parser, _run_command, cmd, args, opts)
  File "/usr/lib/python2.7/site-packages/scrapy/cmdline.py", line 90, in _run_print_help
    func(*a, **kw)
  File "/usr/lib/python2.7/site-packages/scrapy/cmdline.py", line 157, in _run_command
    cmd.run(args, opts)
  File "/usr/lib/python2.7/site-packages/scrapy/commands/crawl.py", line 57, in run
    self.crawler_process.crawl(spname, **opts.spargs)
  File "/usr/lib/python2.7/site-packages/scrapy/crawler.py", line 171, in crawl
    crawler = self.create_crawler(crawler_or_spidercls)
  File "/usr/lib/python2.7/site-packages/scrapy/crawler.py", line 200, in create_crawler
    return self._create_crawler(crawler_or_spidercls)
  File "/usr/lib/python2.7/site-packages/scrapy/crawler.py", line 205, in _create_crawler
    return Crawler(spidercls, self.settings)
  File "/usr/lib/python2.7/site-packages/scrapy/crawler.py", line 55, in __init__
    self.extensions = ExtensionManager.from_crawler(self)
  File "/usr/lib/python2.7/site-packages/scrapy/middleware.py", line 53, in from_crawler
    return cls.from_settings(crawler.settings, crawler)
  File "/usr/lib/python2.7/site-packages/scrapy/middleware.py", line 34, in from_settings
    mwcls = load_object(clspath)
  File "/usr/lib/python2.7/site-packages/scrapy/utils/misc.py", line 44, in load_object
    mod = import_module(module)
  File "/usr/lib64/python2.7/importlib/__init__.py", line 37, in import_module
    __import__(name)
  File "/usr/lib/python2.7/site-packages/scrapy/extensions/memusage.py", line 16, in <module>
    from scrapy.mail import MailSender
  File "/usr/lib/python2.7/site-packages/scrapy/mail.py", line 25, in <module>
    from twisted.internet import defer, reactor, ssl
  File "/usr/lib64/python2.7/site-packages/twisted/internet/ssl.py", line 230, in <module>
    from twisted.internet._sslverify import (
  File "/usr/lib64/python2.7/site-packages/twisted/internet/_sslverify.py", line 14, in <module>
    from OpenSSL._util import lib as pyOpenSSLlib


Посмотрел, в интернетах говорят вот такую штуку сделать
Код: php
1.
pip install pyopenssl --user --upgrade


Сделал, увидел что ничего не произошло, так как поползли сообщения
Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
pip install pyopenssl --user --upgrade
Collecting pyopenssl
  Cache entry deserialization failed, entry ignored
  Cache entry deserialization failed, entry ignored
  Downloading https://files.pythonhosted.org/packages/01/c8/ceb170d81bd3941cbeb9940fc6cc2ef2ca4288d0ca8929ea4db5905d904d/pyOpenSSL-19.0.0-py2.py3-none-any.whl (53kB)
    100% |&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;| 61kB 6.9MB/s
Collecting cryptography>=2.3 (from pyopenssl)
  Cache entry deserialization failed, entry ignored
  Cache entry deserialization failed, entry ignored
  Downloading https://files.pythonhosted.org/packages/97/18/c6557f63a6abde34707196fb2cad1c6dc0dbff25a200d5044922496668a4/cryptography-2.7-cp34-abi3-manylinux1_x86_64.whl (2.3MB)
    100% |&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;| 2.3MB 191kB/s
Collecting six>=1.5.2 (from pyopenssl)
  Cache entry deserialization failed, entry ignored
  Cache entry deserialization failed, entry ignored
  Downloading https://files.pythonhosted.org/packages/73/fb/00a976f728d0d1fecfe898238ce23f502a721c0ac0ecfedb80e0d88c64e9/six-1.12.0-py2.py3-none-any.whl
Collecting cffi!=1.11.3,>=1.8 (from cryptography>=2.3->pyopenssl)
  Cache entry deserialization failed, entry ignored
  Downloading https://files.pythonhosted.org/packages/d5/a1/7e366f126fcd72cbc39a96166fa2b39d52808a233c73bf6405714277a852/cffi-1.12.3-cp34-cp34m-manylinux1_x86_64.whl (429kB)
    100% |&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;| 430kB 2.6MB/s
Collecting asn1crypto>=0.21.0 (from cryptography>=2.3->pyopenssl)
  Cache entry deserialization failed, entry ignored
  Cache entry deserialization failed, entry ignored
  Downloading https://files.pythonhosted.org/packages/ea/cd/35485615f45f30a510576f1a56d1e0a7ad7bd8ab5ed7cdc600ef7cd06222/asn1crypto-0.24.0-py2.py3-none-any.whl (101kB)
    100% |&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;&#9608;| 102kB 8.3MB/s
Collecting pycparser (from cffi!=1.11.3,>=1.8->cryptography>=2.3->pyopenssl)
  Cache entry deserialization failed, entry ignored
Installing collected packages: six, pycparser, cffi, asn1crypto, cryptography, pyopenssl
Successfully installed asn1crypto-0.24.0 cffi-1.12.3 cryptography-2.7 pycparser-2.19 pyopenssl-19.0.0 six-1.12.0
You are using pip version 9.0.1, however version 19.2.1 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.



Что меня смущает
сторочка You are using pip version 9.0.1, however version 19.2.1 is available. хотя есть набираю pip -V
то получаю
pip 19.1.1 from /var/www/test/test/lib64/python3.4/site-packages/pip (python 3.4)
ну и что собственно к
python -V
Python 3.4.10


а когда запускал паука в разделе INFO фигурировала строчка Python 2.7.5 (default, Apr 9 2019, 14:30:50)
что это и как с этим быть?
...
Рейтинг: 0 / 0
python - вопрос про scrapy
    #39841524
mini.weblab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Nick-name,

для начала нужно определиться в какой версии питона работаем, и дальше все делать в одной версии
(на новых линуксах обычно две версии - 2 и 3)

1.
начните с установки и устанавливайте все в виртуальной среде. начать лучше всего отсюда:
https://docs.scrapy.org/en/latest/intro/install.html#intro-install
2.
и неприличный вопрос:
а что вы, собственно, тут делаете /var/www/test/test/lib64/python3.4/site-packages/pip?
...
Рейтинг: 0 / 0
python - вопрос про scrapy
    #39841738
Nick-name
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mini.weblab,

Спасибо большое за ответ.

собственно с чего все началось, python я в общем-то не знаю, ну то есть совсем базовый уровень. Встала задача сделать парсер, очень быстро стало понятно что php не лучшее решение для этого. Один добрый человек посоветовал scrapy, вещь говорит хорошая. Вот с этого момента все и началось. В итоге у меня на системе три версии питона при scrapy пытается работать с 2,7 при этом недвусмысленно намекает, что надо бы обновиться, и в итоге я не знаю как заставить scrapy работать с python3.4.

Вы знаете если честно я не представляю, что тут /var/www/test/test/lib64/python3.4/site-packages/pip происходит. Просто я для теста создал /var/www/test(с фантазиями то плохо все) дальше попытался сделать, что-то что может получить html странички. Ну а дальше вы знаете, ошибки которые написал выше.
...
Рейтинг: 0 / 0
python - вопрос про scrapy
    #39841902
Nick-name
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А как быть если при устновке scrapy вот такая ошибка вываливается
Код: php
1.
2.
3.
 Running setup.py install for Twisted ... error
    ERROR: Complete output from command /var/www/test2/bin/python3.4 -u -c 'import setuptools, tokenize;__file__='"'"'/tmp/pip-install-mocujs0_/Twisted/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record /tmp/pip-record-bp9ymr86/install-record.txt --single-version-externally-managed --compile --install-headers /var/www/test2/include/site/python3.4/Twisted:
    ERROR: running install
...
Рейтинг: 0 / 0
python - вопрос про scrapy
    #39842101
mini.weblab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Nick-name,

как-то с трудом вериться, что вы паука написали, но при этом запустить его не можете, и какую версию питона использовали - не знаете.

1) убрать все, что вы наустанавливали в /var/www (питон у вас уже установлен)
2) выбрать версию питона (2 или 3) и установить все как прописано в документации
3) протестировать установку:
Тест:
a) в терминале набираем
$ python3 (или python2)
b) попадаем в python shell, там набираем
>>> import scrapy

если ошибок нет, то все хорошо установилось
...
Рейтинг: 0 / 0
python - вопрос про scrapy
    #39842103
mini.weblab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Nick-name,

если не получиться со scrapy,посмотрите в сторону beautiful soup, он попроще будет
https://www.pythonforbeginners.com/beautifulsoup/beautifulsoup-4-python
...
Рейтинг: 0 / 0
6 сообщений из 6, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / python - вопрос про scrapy
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]