|
Curl time limit
|
|||
---|---|---|---|
#18+
Не знаю куда задать вопрос.. Такая проблема... Есть курл запрос к странице, процесс получения страницы занимает примерно 5-6 сек. Скажите, процесс ожидания курлом страницы это как sleep? или процессор висит и ждет ответа. Проблема такая.. на хостинге (j**o.) это время мне считают в процессорное, и соотв крон запускающий курл раз в 2 часа, дает мне в сутки 1 мин использования процессора, что сверх лимита. Это не правильно считается статистика у них или реально курл держит cpu. т.к. у меня разных запросов в процессе работы будет в десятки раз больше( ... |
|||
:
Нравится:
Не нравится:
|
|||
05.08.2018, 17:58 |
|
Curl time limit
|
|||
---|---|---|---|
#18+
Как именно реализован цикл ожидания ответа от сервера - это только в исходниках curl смотреть. Более точный ответ вряд ли где-то ещё найдете. Гипотетически, вполне может быть какой-то вариант паузы небольшой продолжительности (порядка миллисекунды или менее). Однако, в том же цикле нужно ещё и время контролировать, чтобы сформировать условие прекращения цикла по превышению времени ожидания ответа от сервера. Так что, в этом месте использование процессора абсолютно нулевым точно не будет. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.08.2018, 18:35 |
|
Curl time limit
|
|||
---|---|---|---|
#18+
Я думал шаред хостинги себя уже изжили... Возьмите виртуалку. По сабжу: не должно время учитываться как процессорное, но модет хостеру не нравится что память расходуете. Вообще этот момент лучше у этого хостера и уточнить. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.08.2018, 20:06 |
|
Curl time limit
|
|||
---|---|---|---|
#18+
Hettне должно время учитываться как процессорноеПочему это? Процесс работает, машинные циклы пожирает, да и юникс-пользователь, от имени которого творится всё это безобразие, вполне определенный. Не вижу причин не учитывать. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.08.2018, 20:16 |
|
Curl time limit
|
|||
---|---|---|---|
#18+
Ключевое слово "процессорное". CPU не тратит свое драгоценное время на обслуживание этого процесса, пока он находится в ожидании. Хотя вопрос тут еще к ТСу: чего так долго курл там ожидает? Если обрабатывается сотня-другая и более запросов, то не чему и удивляться. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.08.2018, 20:35 |
|
Curl time limit
|
|||
---|---|---|---|
#18+
Перечитал топик, А страница много весит? Почему она так долго грузится? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.08.2018, 20:36 |
|
Curl time limit
|
|||
---|---|---|---|
#18+
HettПеречитал топик, А страница много весит? Почему она так долго грузится? Это страница с instagram с параметром ?__a=1 + готовые куки ~50kb Там json массив с данными. Парсится массив json_decode(,1); Дальше берется 2 параметра и добавляются в базу. Хостер ничего внятного не ответил, предложил изменить вариант запуска крона, я это сделал, ничего не изменилось. авторЯ думал шаред хостинги себя уже изжили... Возьмите виртуалку. У меня есть 3 vps но под другие проекты, и туда лезть не хочу. И чтобы не брать очередной vps лицензию на isp, самому решать каждую мелку проблему,настройку, подумал "Я лучше переплачу немного, зато закинул файлы в папку и все работает". Я был не прав( Всем спасибо, наверно перееду лучше на vps ... |
|||
:
Нравится:
Не нравится:
|
|||
06.08.2018, 16:52 |
|
Curl time limit
|
|||
---|---|---|---|
#18+
Почему именно curl используется, другие варианты не пробовали рассмотреть? Тот же wget куки вполне поддерживает. Или ручками заколхозить. Например, открыл сокет, записал в него запрос, и в спячку секунд на семь. Проснулся - прочитал ответ. 50 килобайт не слишком много, вроде, хотя, хз какой там буфер у сокетов. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.08.2018, 17:01 |
|
Curl time limit
|
|||
---|---|---|---|
#18+
vkleПочему именно curl используется, другие варианты не пробовали рассмотреть? Тот же wget куки вполне поддерживает. Или ручками заколхозить. Например, открыл сокет, записал в него запрос, и в спячку секунд на семь. Проснулся - прочитал ответ. 50 килобайт не слишком много, вроде, хотя, хз какой там буфер у сокетов. Да я как-то не заморачивался. Все работало год, никогда проблем не было. Да и 5 сек не такое большое время, у меня есть кроны на vps которые за 1 цикл получают 3-4 страницы, и решает капчу через антикапчу (~30сек) итого секунд 40 точно. так на самом простом vps график нагрузки даже не колышется, а тут сразу ограничения, 502 ошибки, мини баны на 5-10 сек. Да и если в первый же день с хостингом начался с такой ерунды, надо бежать. Раньше такого у них никогда не было и вот опять. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.08.2018, 17:45 |
|
Curl time limit
|
|||
---|---|---|---|
#18+
Zhenek, У j**o ещё и бан за перебор ресурсов есть? Ну, блин, занятно выходит. Не нарывался пока на такое. Впрочем, это их бизнес, ничего личного :) ... |
|||
:
Нравится:
Не нравится:
|
|||
06.08.2018, 20:22 |
|
Curl time limit
|
|||
---|---|---|---|
#18+
vkleZhenek, У j**o ещё и бан за перебор ресурсов есть? Ну, блин, занятно выходит. Не нарывался пока на такое. Впрочем, это их бизнес, ничего личного :) Да( они на короткий (а иногда длинный сек 20) отключают. Если нагрузка превышена на БД, то :mysql server has gone away Если на CPU, то 502. Может это такой топорный способ убить тяжелый запрос или скрипт.. Переехал на vps обратно. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.08.2018, 14:07 |
|
|
start [/forum/topic.php?fid=23&fpage=22&tid=1460208]: |
0ms |
get settings: |
14ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
118ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
44ms |
get tp. blocked users: |
1ms |
others: | 294ms |
total: | 503ms |
0 / 0 |