Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com / 12 сообщений из 12, страница 1 из 1
12.09.2007, 15:21
    #34794723
Uncle Roma
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
Нужно написать приложение, которое будет периодически лезть в инет, скачивать появившуюся вновь информацию и сохранять ее на жестком диске.

Например, задача: скачивать информацию с сайта Livejournal.com.
Дано: адрес вида <SomeUser.Livejournal.Com/friends>.
Нужно: раз в два часа, на протяжении восьми часов в сутки скачивать новые записи, которые доступны по этому адресу.

Или, например, нужно скачивать новые сообщения из какого-то форума, или же сайта объявлений.

К помощи каких программных инструментов можно прибегнуть для решения такой задачи? Интересует именно механизм доступа в Интернет, позволяющий отслеживать поступление новых тем и сообщений и темах, а также их закачивать.

Я знаю Delphi, C++ Builder; а также PHP и Perl на начальном уровне.
...
Рейтинг: 0 / 0
12.09.2007, 15:23
    #34794731
Нахлобуч
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
Почитайте для начала про RSS.
...
Рейтинг: 0 / 0
12.09.2007, 21:50
    #34796027
Uncle Roma
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
Спасибо за совет, но... А ну как форум не поддерживает концепцию RSS ?
...
Рейтинг: 0 / 0
12.09.2007, 22:56
    #34796090
ErV
ErV
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
Uncle Roma wrote:

> А ну как форум не поддерживает концепцию RSS ?
тогда telnet+wget+bash+perl, например. Если на форум нужна авторизация и
т.д., то придется уже загоняться.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
12.09.2007, 22:57
    #34796092
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
С какой целью качать информацию?

Какую информацию? (бинарники, картинки, текст, прочее)
...
Рейтинг: 0 / 0
12.09.2007, 23:23
    #34796125
Uncle Roma
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
maytonС какой целью качать информацию?

Какую информацию? (бинарники, картинки, текст, прочее)

Выкачивать страницы, составляющие форум, со всех их содержимым.
Там и картинки, и музыка, и другие вложения.
...
Рейтинг: 0 / 0
13.09.2007, 00:30
    #34796178
ErV
ErV
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
Uncle Roma wrote:

> Выкачивать страницы, составляющие форум, со всех их содержимым.
> Там и картинки, и музыка, и другие вложения.
wget, teleportPro.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
13.09.2007, 09:27
    #34796425
Uncle Roma
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
ErVтогда telnet+wget+bash+perl, например. Если на форум нужна авторизация и
т.д., то придется уже загоняться.

А можно с этого места поподробнее? Потому что как раз форумы, с которых предполагается инфу скачивать, требуют авторизации.
...
Рейтинг: 0 / 0
13.09.2007, 10:02
    #34796527
belugin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
Еще можно порулить IE

вот небольшой пример
...
Рейтинг: 0 / 0
13.09.2007, 10:59
    #34796730
ErV
ErV
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
Uncle Roma wrote:

> А можно с этого места поподробнее?
Суть в том, что для авторизации использует cookies или метод POST
протокола HTTP. Я не могу дать подробные инструкции, так как сам этого
пока ещё не делал (не было необходимости), но, ИМХО,RFC вам поможет,
плюс проще всего взять локальную проксю (proxomitron под windows,
например), которая позволяет почитать логи проходящих через неё
соединений, вклюинить эту проксю на пол-дороге между браузером и
выходом в сети и просто почитать, какие запросы отправляются на сайт и
какие ответы с него приходят и от этого и танцевать. Желательно при
этом картинки вырубить, чтобы левые данные не просматривать. Когда
будет найдена последовательность запросов для авторизации, то тогда уже
можно будет написАть нужный вам скрипт на чем угодно. В тупейшем
варианте можно, например, можно приконнектиться телнетом к 80му порту
сайта и отправлять туда нужную последовательность запросов. Ответы
grep'ать или прогонять через перл/любой язык, который вам нравится.
Можно, конечно, все от начала до конца на C++ написАть...
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
16.09.2007, 15:36
    #34803304
Нахлобуч
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
Uncle Roma ErVтогда telnet+wget+bash+perl, например. Если на форум нужна авторизация и
т.д., то придется уже загоняться.

А можно с этого места поподробнее? Потому что как раз форумы, с которых предполагается инфу скачивать, требуют авторизации.
Если там поддерживается HTTP Authentication (Basic или Digest), то все просто -- RFC 2617 в зубы и вперед. Если нет, то сложнее.
...
Рейтинг: 0 / 0
16.09.2007, 17:29
    #34803410
DocAl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
cURL, блин, на что? Телнет, телнет...
...
Рейтинг: 0 / 0
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com / 12 сообщений из 12, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]