powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Curl time limit
11 сообщений из 11, страница 1 из 1
Curl time limit
    #39683473
Zhenek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не знаю куда задать вопрос..
Такая проблема...
Есть курл запрос к странице, процесс получения страницы занимает примерно 5-6 сек.
Скажите, процесс ожидания курлом страницы это как sleep? или процессор висит и ждет ответа.

Проблема такая.. на хостинге (j**o.) это время мне считают в процессорное, и соотв крон запускающий курл раз в 2 часа, дает мне в сутки 1 мин использования процессора, что сверх лимита.

Это не правильно считается статистика у них или реально курл держит cpu. т.к. у меня разных запросов в процессе работы будет в десятки раз больше(
...
Рейтинг: 0 / 0
Curl time limit
    #39683483
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Как именно реализован цикл ожидания ответа от сервера - это только в исходниках curl смотреть. Более точный ответ вряд ли где-то ещё найдете.
Гипотетически, вполне может быть какой-то вариант паузы небольшой продолжительности (порядка миллисекунды или менее). Однако, в том же цикле нужно ещё и время контролировать, чтобы сформировать условие прекращения цикла по превышению времени ожидания ответа от сервера. Так что, в этом месте использование процессора абсолютно нулевым точно не будет.
...
Рейтинг: 0 / 0
Curl time limit
    #39683494
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я думал шаред хостинги себя уже изжили... Возьмите виртуалку.
По сабжу: не должно время учитываться как процессорное, но модет хостеру не нравится что память расходуете. Вообще этот момент лучше у этого хостера и уточнить.
...
Рейтинг: 0 / 0
Curl time limit
    #39683497
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hettне должно время учитываться как процессорноеПочему это? Процесс работает, машинные циклы пожирает, да и юникс-пользователь, от имени которого творится всё это безобразие, вполне определенный. Не вижу причин не учитывать.
...
Рейтинг: 0 / 0
Curl time limit
    #39683499
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ключевое слово "процессорное". CPU не тратит свое драгоценное время на обслуживание этого процесса, пока он находится в ожидании. Хотя вопрос тут еще к ТСу: чего так долго курл там ожидает? Если обрабатывается сотня-другая и более запросов, то не чему и удивляться.
...
Рейтинг: 0 / 0
Curl time limit
    #39683500
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Перечитал топик,
А страница много весит? Почему она так долго грузится?
...
Рейтинг: 0 / 0
Curl time limit
    #39683840
Zhenek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HettПеречитал топик,
А страница много весит? Почему она так долго грузится?

Это страница с instagram с параметром ?__a=1 + готовые куки
~50kb
Там json массив с данными.
Парсится массив json_decode(,1);
Дальше берется 2 параметра и добавляются в базу.

Хостер ничего внятного не ответил, предложил изменить вариант запуска крона, я это сделал, ничего не изменилось.

авторЯ думал шаред хостинги себя уже изжили... Возьмите виртуалку.
У меня есть 3 vps но под другие проекты, и туда лезть не хочу.
И чтобы не брать очередной vps лицензию на isp, самому решать каждую мелку проблему,настройку, подумал "Я лучше переплачу немного, зато закинул файлы в папку и все работает". Я был не прав(

Всем спасибо, наверно перееду лучше на vps
...
Рейтинг: 0 / 0
Curl time limit
    #39683844
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Почему именно curl используется, другие варианты не пробовали рассмотреть? Тот же wget куки вполне поддерживает.
Или ручками заколхозить. Например, открыл сокет, записал в него запрос, и в спячку секунд на семь. Проснулся - прочитал ответ. 50 килобайт не слишком много, вроде, хотя, хз какой там буфер у сокетов.
...
Рейтинг: 0 / 0
Curl time limit
    #39683867
Zhenek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vkleПочему именно curl используется, другие варианты не пробовали рассмотреть? Тот же wget куки вполне поддерживает.
Или ручками заколхозить. Например, открыл сокет, записал в него запрос, и в спячку секунд на семь. Проснулся - прочитал ответ. 50 килобайт не слишком много, вроде, хотя, хз какой там буфер у сокетов.

Да я как-то не заморачивался. Все работало год, никогда проблем не было. Да и 5 сек не такое большое время, у меня есть кроны на vps которые за 1 цикл получают 3-4 страницы, и решает капчу через антикапчу (~30сек) итого секунд 40 точно. так на самом простом vps график нагрузки даже не колышется, а тут сразу ограничения, 502 ошибки, мини баны на 5-10 сек.
Да и если в первый же день с хостингом начался с такой ерунды, надо бежать. Раньше такого у них никогда не было и вот опять.
...
Рейтинг: 0 / 0
Curl time limit
    #39683963
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zhenek,

У j**o ещё и бан за перебор ресурсов есть? Ну, блин, занятно выходит. Не нарывался пока на такое.
Впрочем, это их бизнес, ничего личного :)
...
Рейтинг: 0 / 0
Curl time limit
    #39684251
Zhenek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vkleZhenek,

У j**o ещё и бан за перебор ресурсов есть? Ну, блин, занятно выходит. Не нарывался пока на такое.
Впрочем, это их бизнес, ничего личного :)

Да( они на короткий (а иногда длинный сек 20) отключают. Если нагрузка превышена на БД, то :mysql server has gone away
Если на CPU, то 502.

Может это такой топорный способ убить тяжелый запрос или скрипт..

Переехал на vps обратно.
...
Рейтинг: 0 / 0
11 сообщений из 11, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Curl time limit
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]