powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Парсинг
8 сообщений из 8, страница 1 из 1
Парсинг
    #37921730
DuftPunk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Программа парсинг.
есть сайт города.
Задача - вытащить всю инфу о кафе ,барах и ресторанах.(адрес,мыло,время работы,название,все что будет)
1 Перебирать все странички(по ссылкам или другим способом) с кафе барами и ресторанами
2 Заходить по ссылкам в описание кафе бара ресторана
3 Вытаскивать всю нужную инфу из описания.
4 Сохранять полученные данные в файл csv
5 При запуске программы показывать лог выполнения(что сейчас происходить)

Изучением Java занялся месяц назад. Прошу помочь с реализацией.
Что нужно для реализации?
Что почитать?
Примеры(если есть)
Спасибо.
...
Рейтинг: 0 / 0
Парсинг
    #37921740
Фотография ivanov-void
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DuftPunk,

Погуглите Java Web Harvesting, Java Web Page Scrapper.
...
Рейтинг: 0 / 0
Парсинг
    #37921812
DuftPunk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо,может еще примерчиков кинете более доступных для начинающего понимания,а если с описанием чего и что там происходит...Спасибо большое.
...
Рейтинг: 0 / 0
Парсинг
    #37921848
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
http://oz.by/books/more1015560.html

6 глава, сама книга не то чтобы уж очень хороша, но вашему примеру посвящена целая глава, так что будет полезно имхо
...
Рейтинг: 0 / 0
Парсинг
    #37921899
DuftPunk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо,читаю , но немного не то что мне нужно.
...
Рейтинг: 0 / 0
Парсинг
    #37922108
DuftPunk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Нашел несколько краулеров примеров http://www.ulimatbach.de/java/Crawler.html
Подскажите какой из них подходит в моей ситуации,или от какого отталкиваться.
...
Рейтинг: 0 / 0
Парсинг
    #37923619
DuftPunk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Дело по маленьку пошло))
И так , научился доставать нужную информацию(нужный текст) и ссылки.
Теперь вопрос такой
Имею код
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
public class Parser {
    public static void main(String[] args) throws IOException {

            String url = "http://kharkov.nezabarom.ua/Kafe-Bar-Restoran?pg="; // урл странички
            Document doc = Jsoup.connect(url).timeout(5000).get(); // получаем страницу
            Elements links = doc.select("div.ns_object_title a"); // получаем ссылки на кафешки
            //String Links = links.html();
		    Elements links2 =doc.select("div.rulerblock a");//получаем ссылки на другие страницы
		    //String Links2=links2.html();
			System.out.print("Ссылки в описание" +links );//Ссылки в описани
		    System.out.print("Ссылки на другие страницы"+  links2);//Ссылки на другие страницы
    }
}


В результате получаю
авторСсылки в описание
<a href=" http://kharkov.nezabarom.ua/Kafe-Bar-Restoran/itgril/">Итальянский гриль</a>
<a href=" http://kharkov.nezabarom.ua/Kafe-Bar-Restoran/jaske/">Яскэ</a>
<a href=" http://kharkov.nezabarom.ua/Kafe-Bar-Restoran/yaske/">Яскэ</a>
<a href=" http://kharkov.nezabarom.ua/Kafe-Bar-Restoran/buhara/">Бухара</a>
<a href=" http://kharkov.nezabarom.ua/Bouling/maximum/">Боулинг-Центр Максимум</a>
<a href=" http://kharkov.nezabarom.ua/Kafe-Bar-Restoran/gold_ducat/">Золотой Дукат</a>
<a href=" http://kharkov.nezabarom.ua/Razvlekatelnye-kompleksy/compas/">Компас</a>
<a href=" http://kharkov.nezabarom.ua/Klub/it_cafe/">IT САFE_</a>
<a href=" http://kharkov.nezabarom.ua/Kafe-Bar-Restoran/kokawa/">Книжная кофейня K˚KAWA</a>
<a href=" http://kharkov.nezabarom.ua/Kafe-Bar-Restoran/caffissimo/">Caffissimo</a>
Ссылки на другие страницы
<a class="numb_a" href="/Kafe-Bar-Restoran?pg=&pg=0">1</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=1">2</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=2">3</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=3">4</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=4">5</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=5">6</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=6">7</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=7">8</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=8">9</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=9">10</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=1">→</a>
<a class="numb_a" href="/Kafe-Bar-Restoran?pg=&pg=0">1</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=1">2</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=2">3</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=3">4</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=4">5</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=5">6</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=6">7</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=7">8</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=8">9</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=9">10</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&pg=1">→</a>

Ув Форумчане,помогите.Подскажите,каким образом мне переходить по этим ссылкам - По страничкам и в каждой из этих страничек заходит в описание где я и буду вытаскивать нужные мне данные.Как это реализовать?Спасибо.
...
Рейтинг: 0 / 0
Парсинг
    #37923910
Kostya Ilyinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DuftPunk,

Так Вы же уже "переходили" по ссылкам. Так же, как и в самом начале -
Код: java
1.
2.
String url = "http://kharkov.nezabarom.ua/Kafe-Bar-Restoran?pg=&pg=0"; // урл первого ресторана
            Document doc = Jsoup.connect(url).timeout(5000).get(); //



Пробегайте по массиву ссылок из первой страницы и ищите там необходимую информацию.
...
Рейтинг: 0 / 0
8 сообщений из 8, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Парсинг
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]