Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Java [игнор отключен] [закрыт для гостей] / получить контент веб страницы / 9 сообщений из 9, страница 1 из 1
13.03.2014, 19:07
    #38585626
ecs
ecs
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
получить контент веб страницы
Подскажите как получить контент веб страницы по URL. В итоге нужно будет пропарсить страницу.

Привел код как я получаю контент веб страницы, когда вставляю адрес страницы:
Код: java
1.
export.rbc.ru


Все работает

Но когда вставляю эту ссылку ничего не получаю.. В чем причина? Или может быть не так делаю?
Код: java
1.
2.
export.rbc.ru/free/micex.0/free.fcgi?
period=DAILY&tickers=RTKM&d1=12&m1=03&y1=2014&d2=13&m2=03&y2=2014&lastdays=1&separator=TAB&data_format=BROWSER&header=1





Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
    int c;

        URL hp = new URL("http", ТУТ АДРЕС СТРАНИЦЫ, 80, "/");

        URLConnection hpCon = hp.openConnection();

        System.out.println("Date: " + hpCon.getDate());

        System.out.println("Type: " + hpCon.getContentType());

        System.out.println("Exp: " + hpCon.getExpiration());

        System.out.println( "Last M: " + hpCon.getLastModified());

        System.out.println("Length: " + hpCon.getContentLength());

        if (hpCon.getContentLength() > 0) {

        	System.out.println("=== Content ===");

        	InputStream input = hpCon.getInputStream();

        	int i=hpCon.getContentLength();

        	while (((c = input. read()) != -1) && (--i > 0)) {

        		System.out.print((char) c);

        	}

        	input.close();

        }

        else {

        	System.out.println("No Content Available");

        }
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.03.2014, 19:16
    #38585631
Usman
Usman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
получить контент веб страницы
ecs,

15216890
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
13.03.2014, 19:47
    #38585661
ecs
ecs
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
получить контент веб страницы
Usmanecs,

15216890
спасибо, все получилось;)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.03.2014, 10:56
    #38585982
ecs
ecs
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
получить контент веб страницы
Ребята, подскажите почему выбрасывается исключение FileNotFoundException в строке:

Код: java
1.
BufferedReader in = new BufferedReader(new InputStreamReader(yc.getInputStream()));



Причем если поменять урл в строке URL oracle = new URL("урл") то все ок
Мой урл рабочий 100%, но почему выбрасывается исключение?

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
class HTTPClient 
{

	ArrayList<ArrayList<String>> count = new ArrayList<ArrayList<String>>();

	
	public static void main(String args[]){
		HTTPClient d = new HTTPClient();
		ArrayList<ArrayList<String>> count2 = new ArrayList<ArrayList<String>>();
		d.readData();
		d.showData(count2);
	}
	
	
    public void readData() {


        try{

        	URL oracle = new URL("http://export.rbc.ru/free/micex.0/free.fcgi?period=DAILY&tickers=RTKM&d1=11&m1=03&y1=2014&d2=13&m2=03&y2=2014&lastdays=2&separator=TAB&data_format=BROWSER");
        	URLConnection yc = oracle.openConnection();
        	BufferedReader in = new BufferedReader(new InputStreamReader(yc.getInputStream()));
        	String inputLine;
        		
        	while ((inputLine = in.readLine()) != null) {
  		      	  
        		ArrayList<String> data = new ArrayList<String>();
		        	
        		if (inputLine.contains("RTKM")) {

					StringTokenizer stringtokenizer = new StringTokenizer(inputLine, ";");
					        	
					while (stringtokenizer.hasMoreElements()) {
						data.add(stringtokenizer.nextToken());		
					}    	
				    count.add(data);
		        }
        		

        	}
        	in.close();	
        }
        catch(Exception e){
            System.out.println(e);
        }

}            

    
    public ArrayList<ArrayList<String>> getData(){
    	return count;
    }
    
    public void showData(ArrayList<ArrayList<String>> data){
		for (int i = 0; i < data.size(); i++){
			System.out.print(data.get(i).get(5));
		}
    }
    
}
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.03.2014, 11:01
    #38585988
ecs
ecs
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
получить контент веб страницы
вот этот урл рабочий, но выбрасывается исключение

Код: java
1.
http://export.rbc.ru/free/micex.0/free.fcgi?period=DAILY&tickers=RTKM&d1=12&m1=03&y1=2014&d2=14&m2=03&y2=2014&lastdays=2&separator=TAB&data_format=BROWSER&header=1
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.03.2014, 11:17
    #38586015
ivanra
ivanra
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
получить контент веб страницы
Можно предположить, что там возвращается какая-то ошибка, а также возможен редирект.
Для начала проверьте что возвращается:
Код: java
1.
2.
3.
4.
	HttpURLConnection urlConn = (HttpURLConnection) url.openConnection();
	urlConn.connect();
	int respCode = urlConn.getResponseCode(); // что тут?
	String location = urlConn.getHeaderField("Location"); // а тут?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.03.2014, 11:28
    #38586025
ecs
ecs
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
получить контент веб страницы
ivanra,

разобрался, теперь все ок;) спасибо
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.03.2014, 16:17
    #38586552
wvetal
wvetal
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
получить контент веб страницы
Интересует вопрос,
можно ли получить контент веб страницы, которая требует авторизации.

Например, как получить контент facebook.com, который доступен сразу после авторизации.
Насколько я понимаю, необходимо URL передавать с параметрами логина и пароля. (или так не получится для facebook.com?)

Как сформировать строку URL с параметрами (логина и пароля) для facebook.com?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.03.2014, 17:05
    #38587182
забыл ник
забыл ник
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
получить контент веб страницы
Освоить файрбаг и потом перенести в код
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Java [игнор отключен] [закрыт для гостей] / получить контент веб страницы / 9 сообщений из 9, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 442ms
Закрыть
start [/forum/topic.php?fid=59&mobile=1&tid=2127502]:
 0ms
get settings:
 9ms
get forum list:
 11ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 151ms
get topic data:
 6ms
get forum data:
 1ms
get page messages:
 24ms
get tp. blocked users:
 1ms
others: 235ms
total:  442ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]