|
|
|
apache HttpClient
|
|||
|---|---|---|---|
|
#18+
Нужен пример , описание , как при помощи apache HttpClient перебирать странички на сайте.переходить по страничкам и заходить внутрь описаний , статей и тд. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2012, 17:13:23 |
|
||
|
apache HttpClient
|
|||
|---|---|---|---|
|
#18+
DuftPunkНужен пример , описание , как при помощи apache HttpClient перебирать странички на сайте.переходить по страничкам и заходить внутрь описаний , статей и тд. Искать так https://www.google.com/search?q=java+web+crawler Почему обязательно HttpClient ? И пора абстрагироваться от терминов "страничек", "переходить" и "заходить внутрь". Это всё действия пользователя в браузере. ПО работает по протоколам HTML и HTTP. Вот и работать вам нужно в терминах этих протоколов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2012, 17:23:15 |
|
||
|
apache HttpClient
|
|||
|---|---|---|---|
|
#18+
Что то я смотрю популярна стала эта тема:) И что вы хотите увидеть "в примерах со страничками.." никак не пойму. Тут сама идея простая как грабли. Посылаешь http запрос, получаешь респонс, проверяешь код ответа, парсишь, вытягиваешь инфу, решаешь куда посылать дальше, и так по кругу. Волшебной кнопки нет и не будет! Правильно уже сказали, если понимаешь html и http - то тут и спрашивать нечего ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2012, 17:55:02 |
|
||
|
apache HttpClient
|
|||
|---|---|---|---|
|
#18+
я новичок в Java , попробую описать так Я получаю страницу,сохраняю её , выбираю ссылки на другие страницы,сохраняю ссылки в txt файле но как потом по этим ссылкам из txt ходить по страничкам я не знаю. Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. Помогите пожалуйста. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2012, 18:35:28 |
|
||
|
apache HttpClient
|
|||
|---|---|---|---|
|
#18+
DuftPunkсохраняю ссылки в txt файле но как потом по этим ссылкам из txt ходить по страничкам я не знаю. А вы сохраняйте, например, в массив. А лучше в ArrayList. А потом циклом по списку. И ещё раз Нет никаких "ходить по страничкам". Есть "отправить запрос серверу", "получить ответ сервера", "распарсить ответ сервера". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2012, 18:37:35 |
|
||
|
apache HttpClient
|
|||
|---|---|---|---|
|
#18+
Спасибо,сейчас попробую. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2012, 18:50:43 |
|
||
|
apache HttpClient
|
|||
|---|---|---|---|
|
#18+
Переделал без сохранения в файл. Подскажите пожалуйсто цикл (рефакторинг) что бы из ссылок в arraylist подключаться и получать данные Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2012, 20:21:14 |
|
||
|
|

start [/forum/search_topic.php?author=NewJaver&author_mode=last_posts&do_search=1]: |
0ms |
get settings: |
12ms |
get forum list: |
25ms |
get settings: |
14ms |
get forum list: |
21ms |
check forum access: |
7ms |
check topic access: |
7ms |
track hit: |
51ms |
get topic data: |
18ms |
get forum data: |
5ms |
get page messages: |
72ms |
get tp. blocked users: |
2ms |
| others: | 592ms |
| total: | 826ms |

| 0 / 0 |
