powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
12 сообщений из 12, страница 1 из 1
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
    #34794723
Uncle Roma
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нужно написать приложение, которое будет периодически лезть в инет, скачивать появившуюся вновь информацию и сохранять ее на жестком диске.

Например, задача: скачивать информацию с сайта Livejournal.com.
Дано: адрес вида <SomeUser.Livejournal.Com/friends>.
Нужно: раз в два часа, на протяжении восьми часов в сутки скачивать новые записи, которые доступны по этому адресу.

Или, например, нужно скачивать новые сообщения из какого-то форума, или же сайта объявлений.

К помощи каких программных инструментов можно прибегнуть для решения такой задачи? Интересует именно механизм доступа в Интернет, позволяющий отслеживать поступление новых тем и сообщений и темах, а также их закачивать.

Я знаю Delphi, C++ Builder; а также PHP и Perl на начальном уровне.
...
Рейтинг: 0 / 0
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
    #34794731
Фотография Нахлобуч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Почитайте для начала про RSS.
...
Рейтинг: 0 / 0
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
    #34796027
Uncle Roma
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо за совет, но... А ну как форум не поддерживает концепцию RSS ?
...
Рейтинг: 0 / 0
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
    #34796090
ErV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Uncle Roma wrote:

> А ну как форум не поддерживает концепцию RSS ?
тогда telnet+wget+bash+perl, например. Если на форум нужна авторизация и
т.д., то придется уже загоняться.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
    #34796092
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
С какой целью качать информацию?

Какую информацию? (бинарники, картинки, текст, прочее)
...
Рейтинг: 0 / 0
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
    #34796125
Uncle Roma
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonС какой целью качать информацию?

Какую информацию? (бинарники, картинки, текст, прочее)

Выкачивать страницы, составляющие форум, со всех их содержимым.
Там и картинки, и музыка, и другие вложения.
...
Рейтинг: 0 / 0
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
    #34796178
ErV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Uncle Roma wrote:

> Выкачивать страницы, составляющие форум, со всех их содержимым.
> Там и картинки, и музыка, и другие вложения.
wget, teleportPro.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
    #34796425
Uncle Roma
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ErVтогда telnet+wget+bash+perl, например. Если на форум нужна авторизация и
т.д., то придется уже загоняться.

А можно с этого места поподробнее? Потому что как раз форумы, с которых предполагается инфу скачивать, требуют авторизации.
...
Рейтинг: 0 / 0
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
    #34796527
belugin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Еще можно порулить IE

вот небольшой пример
...
Рейтинг: 0 / 0
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
    #34796730
ErV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Uncle Roma wrote:

> А можно с этого места поподробнее?
Суть в том, что для авторизации использует cookies или метод POST
протокола HTTP. Я не могу дать подробные инструкции, так как сам этого
пока ещё не делал (не было необходимости), но, ИМХО,RFC вам поможет,
плюс проще всего взять локальную проксю (proxomitron под windows,
например), которая позволяет почитать логи проходящих через неё
соединений, вклюинить эту проксю на пол-дороге между браузером и
выходом в сети и просто почитать, какие запросы отправляются на сайт и
какие ответы с него приходят и от этого и танцевать. Желательно при
этом картинки вырубить, чтобы левые данные не просматривать. Когда
будет найдена последовательность запросов для авторизации, то тогда уже
можно будет написАть нужный вам скрипт на чем угодно. В тупейшем
варианте можно, например, можно приконнектиться телнетом к 80му порту
сайта и отправлять туда нужную последовательность запросов. Ответы
grep'ать или прогонять через перл/любой язык, который вам нравится.
Можно, конечно, все от начала до конца на C++ написАть...
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
    #34803304
Фотография Нахлобуч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Uncle Roma ErVтогда telnet+wget+bash+perl, например. Если на форум нужна авторизация и
т.д., то придется уже загоняться.

А можно с этого места поподробнее? Потому что как раз форумы, с которых предполагается инфу скачивать, требуют авторизации.
Если там поддерживается HTTP Authentication (Basic или Digest), то все просто -- RFC 2617 в зубы и вперед. Если нет, то сложнее.
...
Рейтинг: 0 / 0
Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
    #34803410
DocAl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
cURL, блин, на что? Телнет, телнет...
...
Рейтинг: 0 / 0
12 сообщений из 12, страница 1 из 1
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Идеи по созданию приложения, автоматически забирающего инфу с сайтов типа Livejournal.com
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]