Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
cURL в цикле
|
|||
|---|---|---|---|
|
#18+
Подскажите пожалуйста, запускаю в цикле cURL на 20-25 цикле из 40 останавливается, пробовал повышать таймаут cURL, не решило проблему. Так же ставил задержку цикла, то же самое. Целый день убил не понимаю. Код: php 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2015, 19:33 |
|
||
|
cURL в цикле
|
|||
|---|---|---|---|
|
#18+
Вероятно, временный бан по айпи на удалённом сервере (а бывает и постоянный), или удалённый сервер "прилегает" от создаваемой нагрузки или... еще сотня причин. Попробуйте запросить что-то другое (да хотя бы robots.txt) и/или с другого ресурса, чтобы определить точнее место проблемы. А вообще, довольно распространённый способ борьбы с ботами - нормальный пользователь на просмотр 20 страничек потратит гораздо больше времени, нежели не слишком порядочный робот :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2015, 21:21 |
|
||
|
cURL в цикле
|
|||
|---|---|---|---|
|
#18+
vkle, Решил проблему. Возможно кому то пригодится т.к. на просторах рунета нашел много таких не решенных вопросов. Все оказалось проще, все переменные в конце каждого цикла уничтожаю. unset() Или можно проще поместить все в функцию и вызывать ее каждый цикл, соответственно переменные будут автоматически уничтожатся. Видимо при парсинге в цикле идет переполнение. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2015, 22:00 |
|
||
|
cURL в цикле
|
|||
|---|---|---|---|
|
#18+
ну ты не решил проблему ,а угадал $user_agent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)"; $header [] = "Accept: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1"; $header [] = "Accept-Language: ru-RU,ru;q=0.9,en;q=0.8"; $header [] = "Accept-Charset: utf-8, *;q=0.1"; $header [] = "Accept-Encoding: deflate, identity, *;q=0"; естественно что этот код в цикле приведёт к тому, что в заголовках будет(на 25 шаге???) по 25 копий одних и тех же хедоров. ооо подозреваю что гдето и 4кб может быть(на веб серверах разные там буферы лимиты ставяться N*4Kb твои 245*25копий - итого 6125 но у тебя ещо как минимум хедер GET ..... вот похоже что на дефолтный лимит апача - 8кб ты и нарываешься. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.02.2015, 11:09 |
|
||
|
cURL в цикле
|
|||
|---|---|---|---|
|
#18+
всмысле не 25 GET.. а GET + REFER + COOCIE +user-agent + ещо чтото дефолтно шлёться, и акурат на 8кб буфер для хедеров попадаешь ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.02.2015, 11:12 |
|
||
|
cURL в цикле
|
|||
|---|---|---|---|
|
#18+
alex564657498765453, у него вроде header[]= не в цикле как раз :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.02.2015, 11:14 |
|
||
|
|

start [/forum/topic.php?fid=23&msg=38872872&tid=1462021]: |
0ms |
get settings: |
10ms |
get forum list: |
18ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
53ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
63ms |
get tp. blocked users: |
2ms |
| others: | 251ms |
| total: | 416ms |

| 0 / 0 |
