Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Запуск html файла cron-ом / 6 сообщений из 6, страница 1 из 1
12.04.2013, 13:54
    #38223436
meg17m
meg17m
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Запуск html файла cron-ом
Есть парсер валют реализованный в обычном html через аякс:

Код: html
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
<html>
<head>
	<script type="text/javascript" src="jquery-1.9.1.min.js"></script>
	<script>
		
		function xignite() {
			$.post('getxignite.php', function(data) {
				TOTAL = "";
				first = data.indexOf('<Bid>');
				last = data.indexOf('</Bid>');
				tmps = "";
				for (i = first+5; i < last; i++) {
					tmps += data[i];
				}
				
				TOTAL += tmps + ';';
				
				firstirst = data.indexOf('<Rate Symbol="EURCHF">');
				first = data.indexOf('<Bid>',firstirst);
				last = data.indexOf('</Bid>',firstirst);
				tmps = "";
				for (i = first+5; i < last; i++) {
					tmps += data[i];
				}
				
				TOTAL += tmps + ';';
				
				
				firstirst = data.indexOf('<Rate Symbol="EURJPY">');
				first = data.indexOf('<Bid>',firstirst);
				last = data.indexOf('</Bid>',firstirst);
				tmps = "";
				for (i = first+5; i < last; i++) {
					tmps += data[i];
				}
				
				TOTAL += tmps + ';';
				
				
				firstirst = data.indexOf('<Rate Symbol="EURGBP">');
				first = data.indexOf('<Bid>',firstirst);
				last = data.indexOf('</Bid>',firstirst);
				tmps = "";
				for (i = first+5; i < last; i++) {
					tmps += data[i];
				}
				
				TOTAL += tmps + ';';
				
				
				/*
				firstirst = data.indexOf('<Rate Symbol="EURSEK">');
				first = data.indexOf('<Bid>',firstirst);
				last = data.indexOf('</Bid>',firstirst);
				tmps = "";
				for (i = first+5; i < last; i++) {
					tmps += data[i];
				}
				
				TOTAL += tmps + ';';*/
				
			
				$('#actualratesid').html(TOTAL);
			});
			
			$.post('getxignite2.php', function(data) {
				TOTAL = "";
				//alert(data);
				first = data.indexOf('1&nbsp;USD&nbsp;=&nbsp;');
				last = data.indexOf('&nbsp;RUB',first);
				tmps = "";
				for (i = first+23; i < last; i++) {
					tmps += data[i];
				}
				
				TOTAL += tmps + ';';
				data = document.getElementById('actualratesid').innerHTML;
				data += TOTAL;
				$('#actualratesid').html(data);
			});	
			
			data = document.getElementById('actualratesid').innerHTML;
			$.post("setxignite.php", { thedata: data } );
		}
		
		

	</script>
</head>
<body onload='setInterval(xignite, 5000);'>
<div id='actualratesid'></div>
</body>
</html>



Если один раз открыть в браузере этот файл - все парсится как надо. Как открывать html файл автоматически и запускать парсер. Понимаю, что вариант с cron-ом не подойдет. Реализовать все это через php нельзя в связи с политикой безопасности сервиса(сбрасывает парсер). Какие есть еще идеи?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.04.2013, 14:28
    #38223499
vkle
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Запуск html файла cron-ом
MegaLastaсбрасывает парсерЧто сие означает?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.04.2013, 14:35
    #38223515
meg17m
meg17m
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Запуск html файла cron-ом
vkleMegaLastaсбрасывает парсерЧто сие означает?
авторWARNING: Automated extraction of rates is prohibited unde'... (length=44438)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.04.2013, 15:12
    #38223599
vkle
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Запуск html файла cron-ом
Эммм... А как оно определяет "автоматизацию"? По хидерам?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.04.2013, 15:24
    #38223628
meg17m
meg17m
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Запуск html файла cron-ом
vkleЭммм... А как оно определяет "автоматизацию"? По хидерам?

Парсер идет через curl:

Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER,1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIESESSION, true);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
//curl_setopt($ch, CURLOPT_REFERER, 'http://info.sectorit.net');
//curl_setopt($ch, CURLOPT_COOKIEJAR, "/tmp/cookie.ch");
//curl_setopt($ch, CURLOPT_COOKIEFILE, "/tmp/cookie.ch");
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla Firefox 3 (compatible; MSIE 6.0; LAS Linux)");
curl_setopt($ch, CURLOPT_VERBOSE,1);
$data = curl_exec($ch);
$ch_temp=curl_copy_handle($ch);  
curl_close($ch);
var_dump($data);



Автоматизацию не знаю как определяет
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.04.2013, 16:32
    #38223768
vkle
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Запуск html файла cron-ом
Попробуйте отсылать хидеры и куки в точности как настоящий браузер.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Запуск html файла cron-ом / 6 сообщений из 6, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 337ms
Закрыть
start [/forum/topic.php?fid=23&tablet=1&tid=1463909]:
 0ms
get settings:
 7ms
get forum list:
 17ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 42ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 48ms
get tp. blocked users:
 1ms
others: 204ms
total:  337ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]