ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Парсер Fopen и Curl
16 сообщений из 16, страница 1 из 1
Парсер Fopen и Curl
    #39541108
ssaich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssaich
Участник
Как то делал давно парсер знакомому, время прошло звонит говорит не работает (чел парсит сайт постав шика с товарами)

смотрю Fopen и get_contets дают варнинги, значит скорее сего отключили на хостинге ?

Пробую курлом --

либо висит либо получает во такое

HTTP/1.1 502 Bad Gateway Server: nginx/1.8.0 Date: Tue, 24 Oct 2017 11:41:34 GMT Content-Type: text/html Content-Length: 537 Connection: keep-alive ETag: "55802425-219"
An error occurred.

Sorry, the page you are looking for is currently unavailable.
Please try again later.

If you are the system administrator of this resource then you should check the error log for details.

Faithfully yours, nginx.

К Од простой
Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
 $url = 'http://volga-video.ru/opt';

  $curl = curl_init();

  curl_setopt($curl, CURLOPT_URL, $url);

  curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);

  curl_setopt($curl, CURLOPT_HEADER, 1);

  curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

  curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.0.7) Gecko/20060909 Firefox/1.5.0.7');
  $res = curl_exec($curl);
  print $res;
curl_close($curl);
...
Рейтинг: 0 / 0
24.10.2017, 14:46
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39541217
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
Может и намеренно забанили, а может и просто сервер поломался или перегружен.
...
Рейтинг: 0 / 0
24.10.2017, 16:33
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39541403
ssaich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssaich
Участник
vkleМожет и намеренно забанили, а может и просто сервер поломался или перегружен.


Дело в том что - на сайт с этого айпи доступ есть, и - есть еще парсер на Инди компонентах на делфи писанный мною, он этот сайт парсит и нормально работает, опять же с этого айпи, а вот спарсить ссылки используя ПХП что то никак ((
...
Рейтинг: 0 / 0
25.10.2017, 07:06
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39541419
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
ssaichДело в том что - на сайт с этого айпи доступ естьА кто говорит, что нету? Вы же получаете вполне внятный ответ от сервера:ssaich HTTP/1.1 502 Bad Gateway Обычно он говорит о том, что на сервере какие-то проблемы. И, вовсе, эти проблемы могут быть не на каждом запросе.


ssaichесть еще парсер на Инди компонентах на делфи писанный мною, он этот сайт парсит и нормально работаетВ одно и то же время, будучи параллельно запущенными, они получают гарантировано разные ответы? Чудеса очень редко случаются в наше время. Сравните параметры идентичных запросов (заголовки, частоту) от него и от курла.
...
Рейтинг: 0 / 0
25.10.2017, 07:58
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39542135
ssaich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssaich
Участник
vkle,

Ну да, в одно и тоже время с браузера заходит, делфи парсер парсит а курл не хочет
...
Рейтинг: 0 / 0
26.10.2017, 08:11
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39542161
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
ssaich,

А с идентичностью заголовков и запросов что и как?
...
Рейтинг: 0 / 0
26.10.2017, 09:32
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39542534
Zhenek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Zhenek
Участник
Ставьте charles или аналог, смотри что посылается в каких случаях. Обычно достаточно открыть страничку браузером, скопировать отправляемые заголовки и курлом закосить под браузер. С огромной вероятностью он просто достал их своим парсингом (а может и не он один) и сделали простую защиту от ботов
Очень часто (с тем чем я сталкивался) заголовок host.
...
Рейтинг: 0 / 0
26.10.2017, 14:54
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39542538
Zhenek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Zhenek
Участник
upd у меня обычный file_get_contents получил страницу, без бубнов
...
Рейтинг: 0 / 0
26.10.2017, 14:56
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39542565
ssaich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssaich
Участник
Zhenek,

от сюда ? http://volga-video.ru/opt
...
Рейтинг: 0 / 0
26.10.2017, 15:26
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39542578
ssaich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssaich
Участник
ssaich,

открываю хромом- через консоль скопировал -Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36


Пробую курлом получить страницу- в консоли пусто
...
Рейтинг: 0 / 0
26.10.2017, 15:35
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39542582
ssaich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssaich
Участник
У них же на этом же хосте http://it-on.ru/ страница тянется нормально
...
Рейтинг: 0 / 0
26.10.2017, 15:37
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39542599
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
ssaich,

Да так то чем угодно страничка тянется нормально. Только, видимо, не с Вашего сервера, на который по некоторым параметрам то ли владельцы сайта ввели ограничение, то ли хостер. Однако, если Вы нашли способ всё-же получать данные, то используйте в точности те же самые параметры и при запросе курлом. Даже, можете хоть через непосредственно через сокет запрашивать, минуя различные программные прибамбасы. Протокол HTTP не слишком сложен, чтобы написать свою запрашивалку страниц. Удаленному серверу по барабану в общем случае, какое ПО Вы используете, если только это ПО не оставляет своих отметок.

Конечно, есть ещё варианты, что curl на Вашем сервере то ли поломался, то ли как-то настроен странно. Или обращения от него идут не напрямую, а через какой-то прокси. Или, просто, идут не туда (это может от ДНС зависеть).
...
Рейтинг: 0 / 0
26.10.2017, 15:55
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39543366
ssaich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssaich
Участник
vklessaich,

Да так то чем угодно страничка тянется нормально. Только, видимо, не с Вашего сервера, на который по некоторым параметрам то ли владельцы сайта ввели ограничение, то ли хостер. Однако, если Вы нашли способ всё-же получать данные, то используйте в точности те же самые параметры и при запросе курлом. Даже, можете хоть через непосредственно через сокет запрашивать, минуя различные программные прибамбасы. Протокол HTTP не слишком сложен, чтобы написать свою запрашивалку страниц. Удаленному серверу по барабану в общем случае, какое ПО Вы используете, если только это ПО не оставляет своих отметок.

Конечно, есть ещё варианты, что curl на Вашем сервере то ли поломался, то ли как-то настроен странно. Или обращения от него идут не напрямую, а через какой-то прокси. Или, просто, идут не туда (это может от ДНС зависеть).

А возможно ли бан весит на подсеть ? у меня с рабочего компа не работет, с домашнего не работает и так далее.. но Делфи ПАРСЕР то пашет вот в чем парадокс
...
Рейтинг: 0 / 0
27.10.2017, 15:31
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39543383
ssaich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssaich
Участник
Вот
Код: pascal
1.
Memo1.Text:=IdHTTP1.Get('http://volga-video.ru/opt');




Был бы банан- не работало бы, страницу получаю без проблем.. курлом. fopen и тд не могу ((
...
Рейтинг: 0 / 0
27.10.2017, 15:47
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39543409
ssaich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssaich
Участник
ssaich,
Таккк )) в общем проблема такая- запустил я у себя Локальный Апач, и.. страницу получаю любым способом и без проблем, заливаю на сервер хостера. запускаю не пашет-- на сервере курл и прочее "все включено" в чем проблема уже может быть ?
...
Рейтинг: 0 / 0
27.10.2017, 16:16
| Ответить | Цитировать | Написать  
Парсер Fopen и Curl
    #39543507
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
ssaichзаливаю на сервер хостера. запускаю не пашетАга, значит локализовали место проблемы. Что говорит по теме администратор этого сервера или техподдержка?

ssaichБыл бы банан- не работало быВы, наверно, не представляете, сколько есть способов, которыми можно ненавязчиво сымитировать неисправность сервера :)
ssaichА возможно ли бан весит на подсеть ?Да, без проблем.

ssaichно Делфи ПАРСЕР то пашетКогда-нибудь, возможно, Вы посмотрите, а может быть, даже и нам покажете различия в их запросах, и в прочих параметрах, включая сетевые...
...
Рейтинг: 0 / 0
27.10.2017, 19:03
| Ответить | Цитировать | Написать  
16 сообщений из 16, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Парсер Fopen и Curl
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=23&fpage=29&tid=1460477]:
 0ms
get settings:
 8ms
get forum list:
 11ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 24ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 43ms
get tp. blocked users:
 1ms
others: 12ms
total:  117ms
созд. / загр.: 117ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]