получить контент веб страницы / Java

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Java [игнор отключен] [закрыт для гостей] / получить контент веб страницы

9 сообщений из 9, страница 1 из 1

получить контент веб страницы

#38585626

ecs

Гость

Подскажите как получить контент веб страницы по URL. В итоге нужно будет пропарсить страницу.

Привел код как я получаю контент веб страницы, когда вставляю адрес страницы:

Код: java

export.rbc.ru

Все работает

Но когда вставляю эту ссылку ничего не получаю.. В чем причина? Или может быть не так делаю?

Код: java

1.
2.

export.rbc.ru/free/micex.0/free.fcgi?
period=DAILY&tickers=RTKM&d1=12&m1=03&y1=2014&d2=13&m2=03&y2=2014&lastdays=1&separator=TAB&data_format=BROWSER&header=1

Код: java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.

    int c;

        URL hp = new URL("http", ТУТ АДРЕС СТРАНИЦЫ, 80, "/");

        URLConnection hpCon = hp.openConnection();

        System.out.println("Date: " + hpCon.getDate());

        System.out.println("Type: " + hpCon.getContentType());

        System.out.println("Exp: " + hpCon.getExpiration());

        System.out.println( "Last M: " + hpCon.getLastModified());

        System.out.println("Length: " + hpCon.getContentLength());

        if (hpCon.getContentLength() > 0) {

        	System.out.println("=== Content ===");

        	InputStream input = hpCon.getInputStream();

        	int i=hpCon.getContentLength();

        	while (((c = input. read()) != -1) && (--i > 0)) {

        		System.out.print((char) c);

        	}

        	input.close();

        }

        else {

        	System.out.println("No Content Available");

        }

...

Рейтинг:

0 / 0

13.03.2014, 19:07

| Ответить | Цитировать | Написать

получить контент веб страницы

#38585631

Usman

Участник

Откуда: من ألماتي

Сообщения: 5 723

Рейтинг: 0 / 0

ecs,

15216890

...

Рейтинг:

0 / 0

13.03.2014, 19:16

| Ответить | Цитировать | Написать

получить контент веб страницы

#38585661

ecs

Гость

Usmanecs,

15216890
спасибо, все получилось;)

...

Рейтинг:

0 / 0

13.03.2014, 19:47

| Ответить | Цитировать | Написать

получить контент веб страницы

#38585982

ecs

Гость

Ребята, подскажите почему выбрасывается исключение FileNotFoundException в строке:

Код: java

BufferedReader in = new BufferedReader(new InputStreamReader(yc.getInputStream()));

Причем если поменять урл в строке URL oracle = new URL("урл") то все ок
Мой урл рабочий 100%, но почему выбрасывается исключение?

Код: java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.

class HTTPClient 
{

	ArrayList<ArrayList<String>> count = new ArrayList<ArrayList<String>>();

	
	public static void main(String args[]){
		HTTPClient d = new HTTPClient();
		ArrayList<ArrayList<String>> count2 = new ArrayList<ArrayList<String>>();
		d.readData();
		d.showData(count2);
	}
	
	
    public void readData() {


        try{

        	URL oracle = new URL("http://export.rbc.ru/free/micex.0/free.fcgi?period=DAILY&tickers=RTKM&d1=11&m1=03&y1=2014&d2=13&m2=03&y2=2014&lastdays=2&separator=TAB&data_format=BROWSER");
        	URLConnection yc = oracle.openConnection();
        	BufferedReader in = new BufferedReader(new InputStreamReader(yc.getInputStream()));
        	String inputLine;
        		
        	while ((inputLine = in.readLine()) != null) {
  		      	  
        		ArrayList<String> data = new ArrayList<String>();
		        	
        		if (inputLine.contains("RTKM")) {

					StringTokenizer stringtokenizer = new StringTokenizer(inputLine, ";");
					        	
					while (stringtokenizer.hasMoreElements()) {
						data.add(stringtokenizer.nextToken());		
					}    	
				    count.add(data);
		        }
        		

        	}
        	in.close();	
        }
        catch(Exception e){
            System.out.println(e);
        }

}            

    
    public ArrayList<ArrayList<String>> getData(){
    	return count;
    }
    
    public void showData(ArrayList<ArrayList<String>> data){
		for (int i = 0; i < data.size(); i++){
			System.out.print(data.get(i).get(5));
		}
    }
    
}

...

Рейтинг:

0 / 0

14.03.2014, 10:56

| Ответить | Цитировать | Написать

получить контент веб страницы

#38585988

ecs

Гость

вот этот урл рабочий, но выбрасывается исключение

Код: java

http://export.rbc.ru/free/micex.0/free.fcgi?period=DAILY&tickers=RTKM&d1=12&m1=03&y1=2014&d2=14&m2=03&y2=2014&lastdays=2&separator=TAB&data_format=BROWSER&header=1

...

Рейтинг:

0 / 0

14.03.2014, 11:01

| Ответить | Цитировать | Написать

получить контент веб страницы

#38586015

ivanra

Гость

Можно предположить, что там возвращается какая-то ошибка, а также возможен редирект.
Для начала проверьте что возвращается:

Код: java

1.
2.
3.
4.

	HttpURLConnection urlConn = (HttpURLConnection) url.openConnection();
	urlConn.connect();
	int respCode = urlConn.getResponseCode(); // что тут?
	String location = urlConn.getHeaderField("Location"); // а тут?

...

Рейтинг:

0 / 0

14.03.2014, 11:17

| Ответить | Цитировать | Написать

получить контент веб страницы

#38586025

ecs

Гость

ivanra,

разобрался, теперь все ок;) спасибо

...

Рейтинг:

0 / 0

14.03.2014, 11:28

| Ответить | Цитировать | Написать

получить контент веб страницы

#38586552

wvetal

Гость

Интересует вопрос,
можно ли получить контент веб страницы, которая требует авторизации.

Например, как получить контент facebook.com, который доступен сразу после авторизации.
Насколько я понимаю, необходимо URL передавать с параметрами логина и пароля. (или так не получится для facebook.com?)

Как сформировать строку URL с параметрами (логина и пароля) для facebook.com?

...

Рейтинг:

0 / 0

14.03.2014, 16:17

| Ответить | Цитировать | Написать

получить контент веб страницы

#38587182

забыл ник

Участник

Сообщения: 3 596

Рейтинг: 0 / 0

Освоить файрбаг и потом перенести в код

...

Рейтинг:

0 / 0

15.03.2014, 17:05

| Ответить | Цитировать | Написать

9 сообщений из 9, страница 1 из 1

Форумы / Java [игнор отключен] [закрыт для гостей] / получить контент веб страницы

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=59&tid=2127502]:	0ms
get settings:	11ms
get forum list:	16ms
check forum access:	3ms
check topic access:	3ms
track hit:	168ms
get topic data:	11ms
get forum data:	2ms
get page messages:	57ms
get tp. blocked users:	1ms
others:	249ms

total:	521ms

	Необходимые cookie
	Cookie для сбора статистики
	Cookie для маркетинга и рекламы