|
|
|
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
|
|||
|---|---|---|---|
|
#18+
Нужно написать приложение, которое будет периодически лезть в инет, скачивать появившуюся вновь информацию и сохранять ее на жестком диске. Например, задача: скачивать информацию с сайта Livejournal.com. Дано: адрес вида <SomeUser.Livejournal.Com/friends>. Нужно: раз в два часа, на протяжении восьми часов в сутки скачивать новые записи, которые доступны по этому адресу. Или, например, нужно скачивать новые сообщения из какого-то форума, или же сайта объявлений. К помощи каких программных инструментов можно прибегнуть для решения такой задачи? Интересует именно механизм доступа в Интернет, позволяющий отслеживать поступление новых тем и сообщений и темах, а также их закачивать. Я знаю Delphi, C++ Builder; а также PHP и Perl на начальном уровне. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2007, 15:21 |
|
||
|
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
|
|||
|---|---|---|---|
|
#18+
Почитайте для начала про RSS. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2007, 15:23 |
|
||
|
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
|
|||
|---|---|---|---|
|
#18+
Спасибо за совет, но... А ну как форум не поддерживает концепцию RSS ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2007, 21:50 |
|
||
|
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
|
|||
|---|---|---|---|
|
#18+
Uncle Roma wrote: > А ну как форум не поддерживает концепцию RSS ? тогда telnet+wget+bash+perl, например. Если на форум нужна авторизация и т.д., то придется уже загоняться. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2007, 22:56 |
|
||
|
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
|
|||
|---|---|---|---|
|
#18+
С какой целью качать информацию? Какую информацию? (бинарники, картинки, текст, прочее) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2007, 22:57 |
|
||
|
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
|
|||
|---|---|---|---|
|
#18+
maytonС какой целью качать информацию? Какую информацию? (бинарники, картинки, текст, прочее) Выкачивать страницы, составляющие форум, со всех их содержимым. Там и картинки, и музыка, и другие вложения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2007, 23:23 |
|
||
|
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
|
|||
|---|---|---|---|
|
#18+
Uncle Roma wrote: > Выкачивать страницы, составляющие форум, со всех их содержимым. > Там и картинки, и музыка, и другие вложения. wget, teleportPro. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.09.2007, 00:30 |
|
||
|
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
|
|||
|---|---|---|---|
|
#18+
ErVтогда telnet+wget+bash+perl, например. Если на форум нужна авторизация и т.д., то придется уже загоняться. А можно с этого места поподробнее? Потому что как раз форумы, с которых предполагается инфу скачивать, требуют авторизации. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.09.2007, 09:27 |
|
||
|
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.09.2007, 10:02 |
|
||
|
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
|
|||
|---|---|---|---|
|
#18+
Uncle Roma wrote: > А можно с этого места поподробнее? Суть в том, что для авторизации использует cookies или метод POST протокола HTTP. Я не могу дать подробные инструкции, так как сам этого пока ещё не делал (не было необходимости), но, ИМХО,RFC вам поможет, плюс проще всего взять локальную проксю (proxomitron под windows, например), которая позволяет почитать логи проходящих через неё соединений, вклюинить эту проксю на пол-дороге между браузером и выходом в сети и просто почитать, какие запросы отправляются на сайт и какие ответы с него приходят и от этого и танцевать. Желательно при этом картинки вырубить, чтобы левые данные не просматривать. Когда будет найдена последовательность запросов для авторизации, то тогда уже можно будет написАть нужный вам скрипт на чем угодно. В тупейшем варианте можно, например, можно приконнектиться телнетом к 80му порту сайта и отправлять туда нужную последовательность запросов. Ответы grep'ать или прогонять через перл/любой язык, который вам нравится. Можно, конечно, все от начала до конца на C++ написАть... Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.09.2007, 10:59 |
|
||
|
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
|
|||
|---|---|---|---|
|
#18+
Uncle Roma ErVтогда telnet+wget+bash+perl, например. Если на форум нужна авторизация и т.д., то придется уже загоняться. А можно с этого места поподробнее? Потому что как раз форумы, с которых предполагается инфу скачивать, требуют авторизации. Если там поддерживается HTTP Authentication (Basic или Digest), то все просто -- RFC 2617 в зубы и вперед. Если нет, то сложнее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.09.2007, 15:36 |
|
||
|
|

start [/forum/topic.php?fid=16&fpage=157&tid=1345841]: |
0ms |
get settings: |
5ms |
get forum list: |
21ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
57ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
47ms |
get tp. blocked users: |
1ms |
| others: | 208ms |
| total: | 360ms |

| 0 / 0 |
