Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / (Perl) Серфинг по инету / 8 сообщений из 8, страница 1 из 1
04.05.2005, 21:20
    #33049186
Vihtold
Vihtold
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
(Perl) Серфинг по инету
Приветствую всех,

У меня есть вопрос. Скажите как можно в перле, если можно, "гулять" по различным веб ресурсам, и глядеть содержимое каталогов данных ресурсов. Например нада зайти на узел 82.66.245.45 и найти в каталоге cool все html файлы которые содержат фразу "Зашибись".
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.05.2005, 23:09
    #33049259
g613
g613
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
(Perl) Серфинг по инету
VihtoldПриветствую всех,

У меня есть вопрос. Скажите как можно в перле, если можно, "гулять" по различным веб ресурсам, и глядеть содержимое каталогов данных ресурсов. Например нада зайти на узел 82.66.245.45 и найти в каталоге cool все html файлы которые содержат фразу "Зашибись".

perldoc LWP
perldoc HTML::Parser

Это чтоб скачать и разобрать документ. С вопросом поиска несколько сложнее - либо все тупо рекурсивно качаеш LWP и потом разбираеш для поиска соответствующих фраз. Или воспользоваться каким либо поисковиком для поиска нужных фраз на нужном сайте и потом полученный результат опятьже распарсить HTML::Parser'om и забрать нужное LWP...

...Я бы таки наверное функцию поиска доверил гуглю, например так , и сразу минус - не всегда актуальная информация, зато трафику уйму сэкономиш...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.05.2005, 01:41
    #33049347
Vihtold
Vihtold
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
(Perl) Серфинг по инету
Оки, спасибо за ваш ответ. А если подойти к даной проблеме с другой стороны, например мне требуется найти в сети и нформацию, подобным способом как это делает гуголь. Так вот я начинаю искать,
Этап 1 генерируем IP адреса в диапазоне 20.15.85.10-100.215.48.45 (с этим я заню как справитсья)
Этап 2 предствим что адресс 84.56.259.40 сушествует, я "лезу" на него и "вычленяю" все html-фаилйы, находяшиеся в даном узле (Как это сделать на Perl ???)
Этап 3 в моемей коллекции фаилов мне нада найти, скажем, оглавления, для этого я буду использовать regex(этот этап проблем вроде бы тоже не представляет)
Заранее вас благодарю за ваши ответы.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.05.2005, 12:08
    #33050091
swop
swop
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
(Perl) Серфинг по инету
авторЭтап 2 предствим что адресс 84.56.259.40 сушествует, я "лезу" на него и "вычленяю" все html-фаилйы, находяшиеся в даном узле (Как это сделать на Perl ???)

примерно так

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
#!/usr/bin/perl

use LWP::Simple;
use HTML::LinkExtor;
use Data::Dumper;

use strict;

my @host = qw|http://perl.dp.ua|;

foreach my $base (@host) {

	my @href    = ();
	
	my $content = get ($base) or die "$!";
        my $p       = HTML::LinkExtor->new(\&cb);
	
	sub cb 
	{
	     my ($tag, %links) = @_;
	     my ($val) = values %links;

	     return if $tag ne 'a';
	     push @href, $val;
	}
	
	$p->parse ("$content");

	print grep (/$base/, @href);
}

как сделат рекурсию подумай сам :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.05.2005, 15:05
    #33050750
Vihtold
Vihtold
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
(Perl) Серфинг по инету
Спасибо вам большое за отевет,

Скажите а почему субрутина cb вызывается с помошью указателя на нее?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.05.2005, 16:28
    #33051054
swop
swop
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
(Perl) Серфинг по инету
она не вызывается а передаётся.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.05.2005, 16:40
    #33051091
Vihtold
Vihtold
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
(Perl) Серфинг по инету
Блин точно.... :)
а что делает функция grep в даном случае?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.05.2005, 17:29
    #33051241
g613
g613
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
(Perl) Серфинг по инету
VihtoldБлин точно.... :)
а что делает функция grep в даном случае?

...выводит только ссылки в которых содержится http://perl.dp.ua
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / (Perl) Серфинг по инету / 8 сообщений из 8, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 781ms
Закрыть
start [/forum/topic.php?fid=23&mobile=1&tid=1478333]:
 0ms
get settings:
 12ms
get forum list:
 21ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 415ms
get topic data:
 14ms
get forum data:
 4ms
get page messages:
 55ms
get tp. blocked users:
 2ms
others: 252ms
total:  781ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]