Идея такая, на каждой уважающей себя поисковой машине имеются форма для ввода сайтов.
Если у тебя нет списка сайтов, с которых начинается опрос, придётся создать его вручную.
Поисковая машина начинает качать сайты по списку, заглядывая в разделы ссылок на другие сайты.
Таким образом по сети ссылок создаётся образ интернета.

Математические модели отвечают за то, что-бы минимизировать трафик, не выкачивая несколько раз один сайт и создание структур данных, наиболее приспособленных для поиска.

На сайтах часто добавляют специальны файлы для роботов, обычно robots.txt, в котором определяют правила поведения робота. Например можно запретить индексировать страницу.

--

Posted via ActualForum NNTP Server 1.1