ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Редирект на js при парсинге curlom
10 сообщений из 10, страница 1 из 1
Редирект на js при парсинге curlom
    #38691186
Bednii_Student
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bednii_Student
Гость
Добрый день. Я запостю код, который одновременно и работает и не работает в зависимости от не знаю чего.
ПРобовали на 6 операционках. Винда, дебиан, мандрива м макось

Суть: надо спарсить страницу. Итак код, ничего особенного, все обычно
Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
$URL = 'http://binapex.com';

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $URL);

curl_setopt($ch, CURLOPT_COOKIE, "_ddn_intercept_2_=b8d39e88d4bc4ca9619b7b899dae4fe5");
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36');

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);

$page =curl_exec($ch);

var_dump($page);
die('sd');



Все, что нужно знать, это при комменте
Код: php
1.
//curl_setopt($ch, CURLOPT_COOKIE, "_ddn_intercept_2_=b8d39e88d4bc4ca9619b7b899dae4fe5");


получаем

Код: html
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; " />
<script>
    document.cookie='_ddn_intercept_2_=b8d39e88d4bc4ca9619b7b899dae4fe5; max-age=604800; path=/';
    var nc = function() {return document.cookie.indexOf('_ddn_intercept_2_=b8d39e88d4bc4ca9619b7b899dae4fe5')==-1;};
    var w = function() {document.body.innerHTML = document.getElementsByTagName('noscript')[0].textContent;};
    if (!window.opera) {
        if (!nc()) {window.location.reload(true);}
        var r = function() {if (nc()) w();};
    } else {
        var r = function () {
            if (!nc()) {window.location.reload(true);}
            else {w();}
        }
    }
</script>
</head>
<body onload="r()">
<noscript>You have to turn on javascript and cookies support in browser to visit this site.<br/>
Для посещения этого сайта необходима поддержка javacript и cookies Вашим браузером<br/>
<a href="http://ddos-guard.net">ddos-guard.net</a>
</noscript>
</body>
</html>



все ясно, ставим кук, чиатем и рекдирект, однако, если раскомментим
Код: php
1.
curl_setopt($ch, CURLOPT_COOKIE, "_ddn_intercept_2_=b8d39e88d4bc4ca9619b7b899dae4fe5");



получаем на некоторых компах болт - т.е. защита от ботов срабатывает как надо.

У меня дома на маке и на работе на мандриве curl получает контент, хотя не должен.
Какие мысли?

ПОпробуйте код у себя, помурыжим результаты :))
...
Рейтинг: 0 / 0
08.07.2014, 22:47
| Ответить | Цитировать | Написать  
Редирект на js при парсинге curlom
    #38691189
Bednii_Student
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bednii_Student
Гость
vkle, сто лет тебя не видел. Ну-ка покажи класс :))
...
Рейтинг: 0 / 0
08.07.2014, 22:50
| Ответить | Цитировать | Написать  
Редирект на js при парсинге curlom
    #38691256
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
Bednii_Student, приветствую!

PHP 5.4.17 (cli) на Альтлинуксе - получаю полагающийся отлуп. Нативным curl'ом - то же самое.

Эммм... Даже затрудняюсь что-то предположить. А прокси с жестоким кешированием нет на пути?
...
Рейтинг: 0 / 0
09.07.2014, 00:24
| Ответить | Цитировать | Написать  
Редирект на js при парсинге curlom
    #38691459
Bednii_Student
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bednii_Student
Гость
vkleBednii_Student, приветствую!

PHP 5.4.17 (cli) на Альтлинуксе - получаю полагающийся отлуп. Нативным curl'ом - то же самое.

Эммм... Даже затрудняюсь что-то предположить. А прокси с жестоким кешированием нет на пути?

Вот и мы сидим гадаем.

update: сегодня пришел на работу, запустил код и он отобразил контент. А вчера на винде получал отлуп. =\\
Прокси есть. Однако сегодня уже работает =\
...
Рейтинг: 0 / 0
09.07.2014, 09:44
| Ответить | Цитировать | Написать  
Редирект на js при парсинге curlom
    #38691461
Bednii_Student
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bednii_Student
Гость
Ах, да, сегодняшний код
Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
  $url = 'http://binapex.com';

        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL, $url);

        curl_setopt($ch, CURLOPT_COOKIE, "_ddn_intercept_2_=b8d39e88d4bc4ca9619b7b899dae4fe5");
        curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36');

        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);

        $page = curl_exec($ch);

        echo($page);
die();
...
Рейтинг: 0 / 0
09.07.2014, 09:45
| Ответить | Цитировать | Написать  
Редирект на js при парсинге curlom
    #38691470
Bednii_Student
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bednii_Student
Гость
На работе на двух виндах с зенд серверов получаем контент... сегодня получаем :))

На магию уже не в тренде ссылаться?
...
Рейтинг: 0 / 0
09.07.2014, 09:50
| Ответить | Цитировать | Написать  
Редирект на js при парсинге curlom
    #38691654
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
Bednii_StudentПрокси есть.Так мож попросить админа, чтобы пустил напрямую, без прокси? Мож чего и прояснится.
...
Рейтинг: 0 / 0
09.07.2014, 11:31
| Ответить | Цитировать | Написать  
Редирект на js при парсинге curlom
    #38691709
Bednii_Student
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bednii_Student
Гость
vkleBednii_StudentПрокси есть.Так мож попросить админа, чтобы пустил напрямую, без прокси? Мож чего и прояснится.

Давай не про прокси. Тем более, что сейчас работает
...
Рейтинг: 0 / 0
09.07.2014, 12:03
| Ответить | Цитировать | Написать  
Редирект на js при парсинге curlom
    #38691883
Goror
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Goror
Участник
Bednii_StudentУ меня дома на маке и на работе на мандриве curl получает контент, хотя не должен.
Какие мысли?

ПОпробуйте код у себя, помурыжим результаты :))

А почему не должен? Без куки не должен, но ты же посылаешь курлом куку?

Может сервер автоматически ставит большой срок для кук, и потому они кэшируются и отсюда такой результат?

Может надо ещё expires для куки указать?
...
Рейтинг: 0 / 0
09.07.2014, 13:41
| Ответить | Цитировать | Написать  
Редирект на js при парсинге curlom
    #38691950
Bednii_Student
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bednii_Student
Гость
GororBednii_StudentУ меня дома на маке и на работе на мандриве curl получает контент, хотя не должен.
Какие мысли?

ПОпробуйте код у себя, помурыжим результаты :))

А почему не должен? Без куки не должен, но ты же посылаешь курлом куку?

Может сервер автоматически ставит большой срок для кук, и потому они кэшируются и отсюда такой результат?

Может надо ещё expires для куки указать?

Мы вчера обсуждали, что с кукой должно все работать и сегодня так и работает. Может быть вчера мы просто были забанены за частое обращение?

А сегодня все хорошо работает. У вас как оно, получаете html с кукой?
...
Рейтинг: 0 / 0
09.07.2014, 14:22
| Ответить | Цитировать | Написать  
10 сообщений из 10, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Редирект на js при парсинге curlom
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]