Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
python Из-за чего очень много процессов scrapy в дереве процессов, и как с этим бороться
|
|||
|---|---|---|---|
|
#18+
Здравствуйте, подскажите, пожалуйста, почему происходит такое дело. У меня в проекте около двух десятков пауков, но при запуске любого из них в дереве процессов видно, что появляются эти два десятка новых pid с именем scrapy То есть создается такое впечатление, что какого-бы паука я ни запускал запускаются все. Почему так и как этого избежать. Вес пауки в папке spiders. используемая OС centos ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.03.2020, 10:02 |
|
||
|
|
start [/forum/topic.php?fid=23&gotonew=1&tid=1459737]: |
0ms |
get settings: |
8ms |
get forum list: |
10ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
45ms |
get topic data: |
6ms |
get first new msg: |
4ms |
get forum data: |
2ms |
get page messages: |
24ms |
get tp. blocked users: |
1ms |
| others: | 232ms |
| total: | 336ms |
| 0 / 0 |
