ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / парсинг страниц
13 сообщений из 13, страница 1 из 1
парсинг страниц
    #38369486
JustCrazy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JustCrazy
Гость
добрый вечер, помогите пожалуйста разобраться в таком вопросе:
есть страничка сайта типа
Код: php
1.
http://my-web-site.com/page/

пытаюсь вытянуть исходники курлом, как я делал для страниц типа
Код: php
1.
http://my-web-site.com/page.php/

а мне в ответ пустота... куда копать ?
...
Рейтинг: 0 / 0
16.08.2013, 21:45
| Ответить | Цитировать | Написать  
парсинг страниц
    #38369488
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
JustCrazyпытаюсьКак именно?
...
Рейтинг: 0 / 0
16.08.2013, 21:53
| Ответить | Цитировать | Написать  
парсинг страниц
    #38369491
JustCrazy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JustCrazy
Гость
функцией
 
function get_web_page($url)
{
$uagent="Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.8) Gecko/2009032609 Firefox/3.0.8";
$ch = curl_init( $url );
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_ENCODING, "");
curl_setopt($ch, CURLOPT_USERAGENT, $uagent);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
curl_setopt($ch, CURLOPT_MAXREDIRS, 5);
$content=curl_exec( $ch );
$err=curl_errno( $ch );
$errmsg=curl_error( $ch );
$header=curl_getinfo( $ch );
curl_close( $ch );
$header['errno']=$err;
$header['errmsg']=$errmsg;
$header['content']=$content;
return $header;
}
...
Рейтинг: 0 / 0
16.08.2013, 21:57
| Ответить | Цитировать | Написать  
парсинг страниц
    #38369497
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
JustCrazy,
Код: php
1.
var_dump(get_web_page("http://sql.ru/"));


 
Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
array(29) {
  ["url"]=>
  string(18) "http://www.sql.ru/"
  ["content_type"]=>
  string(31) "text/html; charset=windows-1251"
  ["http_code"]=>
  int(200)
  ["header_size"]=>
  int(581)
  ["request_size"]=>
  int(360)
  ["filetime"]=>
  int(-1)
  ["ssl_verify_result"]=>
  int(0)
  ["redirect_count"]=>
  int(1)
  ["total_time"]=>
  float(1.021068)
  ["namelookup_time"]=>
  float(0.157675)
  ["connect_time"]=>
  float(0.2607)
  ["pretransfer_time"]=>
  float(0.26075)
  ["size_upload"]=>
  float(0)
  ["size_download"]=>
  float(11856)
  ["speed_download"]=>
  float(11611)
  ["speed_upload"]=>
  float(0)
  ["download_content_length"]=>
  float(11856)
  ["upload_content_length"]=>
  float(0)
  ["starttransfer_time"]=>
  float(0.483728)
  ["redirect_time"]=>
  float(0.379055)
  ["certinfo"]=>
  array(0) {
  }
  ["primary_ip"]=>
  string(14) "89.188.113.172"
  ["primary_port"]=>
  int(80)
  ["local_ip"]=>
  string(11) "81.22.57.28"
  ["local_port"]=>
  int(55083)
  ["redirect_url"]=>
  string(0) ""
  ["errno"]=>
  int(0)
  ["errmsg"]=>
  string(0) ""
  ["content"]=>
  string(34889) "<?xml version="1.0"?>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
    "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<html lang="ru" xmlns="http://www.w3.org/1999/xhtml" xml:lang="ru">

............ и так далее ............

Что я делаю не так?
...
Рейтинг: 0 / 0
16.08.2013, 22:06
| Ответить | Цитировать | Написать  
парсинг страниц
    #38369504
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
JustCrazy,

По Вашему адресу тоже возвращается страничка:
Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
  ["content"]=>
  string(780) "<frameset rows="100%,*" frameborder="no" border="0" framespacing="0">
	<frame src="http://my-web-site.com/?fp=5%2B6sZTKocp16JzvZv7kTpqdL4WVnZuqUxRgmoq1OmLcHFEfDKa7q8XF%2BPqzfFk%2Bn0q3Gt343zCJDjBq4BYBXRQ%3D%3D&prvtof=NvUYd1B1zFKzkTFaGtWq4ykMvXDqxFFHEbhNvBmMJrA%3D&poru=ZkxZaWRpvP43E4yYl2RdvflRnmEL3E4YCxcZ%2BiHfkAjF77AyLI2s6tpeehOTYj8effmfTQRP7R923SmnvOwwjw%3D%3D&">
</frameset>
<noframes>
	<body bgcolor="#ffffff" text="#000000">
	<a href="http://my-web-site.com/?fp=5%2B6sZTKocp16JzvZv7kTpqdL4WVnZuqUxRgmoq1OmLcHFEfDKa7q8XF%2BPqzfFk%2Bn0q3Gt343zCJDjBq4BYBXRQ%3D%3D&prvtof=aVrkJWtzi2BpP67JV2fmb5Lda0B2P4gxUk%2BuykA2MEo%3D&poru=WBgT4eAdyGnLU5t4nwpHRCOWIL3AHCd28cMzR5SLNnIFmbLNJa573K6f6eP%2BHpPJIaRPq%2BoNGCpIad858EC3bA%3D%3D&">Click here to proceed</a>.
	</body>
</noframes>"
...
Рейтинг: 0 / 0
16.08.2013, 22:12
| Ответить | Цитировать | Написать  
парсинг страниц
    #38369506
JustCrazy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JustCrazy
Гость
vkleПо Вашему адресу тоже возвращается страничка:
ну адрес то я не реальный указал (любые совпадения считать случайными)
и функция рабочая, я же говорю, что ей без проблем всегда тянул исходники, а тут странности какие-то
...
Рейтинг: 0 / 0
16.08.2013, 22:17
| Ответить | Цитировать | Написать  
парсинг страниц
    #38369540
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
Показывайте реальный проблемный адрес.
...
Рейтинг: 0 / 0
16.08.2013, 23:34
| Ответить | Цитировать | Написать  
парсинг страниц
    #38369866
JustCrazy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JustCrazy
Гость
vkleПоказывайте реальный проблемный адрес.
 
http://chaoshd.com/unique-runes/
...
Рейтинг: 0 / 0
17.08.2013, 22:27
| Ответить | Цитировать | Написать  
парсинг страниц
    #38369870
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
JustCrazy_http://chaoshd.com/unique-runes/И с этого URL прекрасно возвращается контент. Возможно, Вас забанил по IP владелец этого ресурса. Попробуйте с ним связаться для разрешения вопроса.
...
Рейтинг: 0 / 0
17.08.2013, 22:36
| Ответить | Цитировать | Написать  
парсинг страниц
    #38369877
JustCrazy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JustCrazy
Гость
vkleИ с этого URL прекрасно возвращается контент. Возможно, Вас забанил по IP владелец этого ресурса. Попробуйте с ним связаться для разрешения вопроса.
Спасибо, будем разбираться. Прошу как модератора замаскировать ссыль в предыдущем посте.
...
Рейтинг: 0 / 0
17.08.2013, 22:50
| Ответить | Цитировать | Написать  
парсинг страниц
    #38369889
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
JustCrazy,

Ссылку убрал. Насчет бана по IP поспешил. Ведь тогда была бы ошибка подключения, а не пустота.
...
Рейтинг: 0 / 0
17.08.2013, 23:14
| Ответить | Цитировать | Написать  
парсинг страниц
    #38369971
ShSerge
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShSerge
Участник
vkleJustCrazy,

Ссылку убрал. Насчет бана по IP поспешил. Ведь тогда была бы ошибка подключения, а не пустота.
Не знаю точно, что там происходит, но подозреваю, что дело в том, что некоторые хост-провайдеры очень не любят курл, филе_гет_контентс и прочие "внешние запросы". Например, ни на одном бесплатном хостинге, это дело работать не будет.
...
Рейтинг: 0 / 0
18.08.2013, 10:17
| Ответить | Цитировать | Написать  
парсинг страниц
    #38371010
JustCrazy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JustCrazy
Гость
ShSergeНе знаю точно, что там происходит, но подозреваю, что дело в том, что некоторые хост-провайдеры очень не любят курл, филе_гет_контентс и прочие "внешние запросы". Например, ни на одном бесплатном хостинге, это дело работать не будет.по-моему этот пост совсем не к месту, т.к. в самом начале я указывал, что одни страницы тяну без проблем, а другие нет и дело тут не в хост-провайдере. А что касается бесплатных хостеров, то тут вы тоже не правы, есть достаточное количество их, которые предоставляют возможность "внешних запросов".
...
Рейтинг: 0 / 0
19.08.2013, 17:33
| Ответить | Цитировать | Написать  
13 сообщений из 13, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / парсинг страниц
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]