ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / (Perl) Серфинг по инету
8 сообщений из 8, страница 1 из 1
(Perl) Серфинг по инету
    #33049186
Vihtold
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vihtold
Гость
Приветствую всех,

У меня есть вопрос. Скажите как можно в перле, если можно, "гулять" по различным веб ресурсам, и глядеть содержимое каталогов данных ресурсов. Например нада зайти на узел 82.66.245.45 и найти в каталоге cool все html файлы которые содержат фразу "Зашибись".
...
Рейтинг: 0 / 0
04.05.2005, 21:20
| Ответить | Цитировать | Написать  
(Perl) Серфинг по инету
    #33049259
g613
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
g613
Участник
VihtoldПриветствую всех,

У меня есть вопрос. Скажите как можно в перле, если можно, "гулять" по различным веб ресурсам, и глядеть содержимое каталогов данных ресурсов. Например нада зайти на узел 82.66.245.45 и найти в каталоге cool все html файлы которые содержат фразу "Зашибись".

perldoc LWP
perldoc HTML::Parser

Это чтоб скачать и разобрать документ. С вопросом поиска несколько сложнее - либо все тупо рекурсивно качаеш LWP и потом разбираеш для поиска соответствующих фраз. Или воспользоваться каким либо поисковиком для поиска нужных фраз на нужном сайте и потом полученный результат опятьже распарсить HTML::Parser'om и забрать нужное LWP...

...Я бы таки наверное функцию поиска доверил гуглю, например так , и сразу минус - не всегда актуальная информация, зато трафику уйму сэкономиш...
...
Рейтинг: 0 / 0
04.05.2005, 23:09
| Ответить | Цитировать | Написать  
(Perl) Серфинг по инету
    #33049347
Vihtold
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vihtold
Гость
Оки, спасибо за ваш ответ. А если подойти к даной проблеме с другой стороны, например мне требуется найти в сети и нформацию, подобным способом как это делает гуголь. Так вот я начинаю искать,
Этап 1 генерируем IP адреса в диапазоне 20.15.85.10-100.215.48.45 (с этим я заню как справитсья)
Этап 2 предствим что адресс 84.56.259.40 сушествует, я "лезу" на него и "вычленяю" все html-фаилйы, находяшиеся в даном узле (Как это сделать на Perl ???)
Этап 3 в моемей коллекции фаилов мне нада найти, скажем, оглавления, для этого я буду использовать regex(этот этап проблем вроде бы тоже не представляет)
Заранее вас благодарю за ваши ответы.
...
Рейтинг: 0 / 0
05.05.2005, 01:41
| Ответить | Цитировать | Написать  
(Perl) Серфинг по инету
    #33050091
swop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
swop
Участник
авторЭтап 2 предствим что адресс 84.56.259.40 сушествует, я "лезу" на него и "вычленяю" все html-фаилйы, находяшиеся в даном узле (Как это сделать на Perl ???)

примерно так

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
#!/usr/bin/perl

use LWP::Simple;
use HTML::LinkExtor;
use Data::Dumper;

use strict;

my @host = qw|http://perl.dp.ua|;

foreach my $base (@host) {

	my @href    = ();
	
	my $content = get ($base) or die "$!";
        my $p       = HTML::LinkExtor->new(\&cb);
	
	sub cb 
	{
	     my ($tag, %links) = @_;
	     my ($val) = values %links;

	     return if $tag ne 'a';
	     push @href, $val;
	}
	
	$p->parse ("$content");

	print grep (/$base/, @href);
}

как сделат рекурсию подумай сам :)
...
Рейтинг: 0 / 0
05.05.2005, 12:08
| Ответить | Цитировать | Написать  
(Perl) Серфинг по инету
    #33050750
Vihtold
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vihtold
Гость
Спасибо вам большое за отевет,

Скажите а почему субрутина cb вызывается с помошью указателя на нее?
...
Рейтинг: 0 / 0
05.05.2005, 15:05
| Ответить | Цитировать | Написать  
(Perl) Серфинг по инету
    #33051054
swop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
swop
Участник
она не вызывается а передаётся.
...
Рейтинг: 0 / 0
05.05.2005, 16:28
| Ответить | Цитировать | Написать  
(Perl) Серфинг по инету
    #33051091
Vihtold
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vihtold
Гость
Блин точно.... :)
а что делает функция grep в даном случае?
...
Рейтинг: 0 / 0
05.05.2005, 16:40
| Ответить | Цитировать | Написать  
(Perl) Серфинг по инету
    #33051241
g613
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
g613
Участник
VihtoldБлин точно.... :)
а что делает функция grep в даном случае?

...выводит только ссылки в которых содержится http://perl.dp.ua
...
Рейтинг: 0 / 0
05.05.2005, 17:29
| Ответить | Цитировать | Написать  
8 сообщений из 8, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / (Perl) Серфинг по инету
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=23&msg=33051054&tid=1478333]:
 0ms
get settings:
 6ms
get forum list:
 13ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 300ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 38ms
get tp. blocked users:
 1ms
others: 199ms
total:  571ms
созд. / загр.: 571ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]