LeonidvsvenomНе совсем понял, что значит ручной разбор. Если вы имеете ввиду "под каждый сайт свой парсер", то да - делаю так. Сайтов у нас не очень много, сейчас около 10, в перспективе не более 50.
Ага, именно это. У вас парсеры в коде прошиты? У нас они хранились в СУБД и тех. персонал забивал данные. Но повторюсь, у нас объемы были другие.Ну у меня там принцип такой. Работа с каждым сайтом - это отдельные процессы. Они конфигурируются через базу данных, эдакая metadata-driven система. Каждый процесс состоит из ряда активностей. Например, выгрузка обычного объявления это:
[HTTP активность] -> [Parse-активность(и)] -> [Сохранить одну запись в БД]
Если же надо получить страницу и выдрать из нее другие ссылки (ну т.е. мне надо, например, из форума Java получить ссылки на все топики), то это уже другой парсинг и другое сохранение в БД.
Все это описывается в БД, у каждой активности свои конфиги то же в БД. Так что что-то вынесено в БД и конфигурируемо, что-то жестко вбито.
Leonidvsvenom во вторых надо уметь извлекать кучу атрибутов из plain text. Например, написал кто-то в описании "цвет - металлик,2009гв,без докум.", и из этого надо понять, что продавец выставил ворованную тачку цвета металлик 2009 года выпуска
Этот момент сейчас главная проблема для меня.Насколько я понимаю, ничего умнее поиска слов рядом (т.е. смотри цвет - значит за этим идет цвет) не придумать. Плюс проверка, что данные лежат в нужном диапазоне.
Еще на nutch и solr посмотрите.Да средства есть -
http://en.wikipedia.org/wiki/Information_extraction
Вопрос в том - насколько качественно они будут работать с кириллицей. Ну еще не дошел я до этого места, так что пока не хочу забиваться себе голову всякими Марковскими моделями
