z3r9Подскажите чем можно проиндексировать html документ. Нужно добавить в БД чтобы иметь возможность поиска. Лучше даже не полный текст документа а ключевые слова.

Нафиг, нафиг БД для таких случаев.
Погуглите lucene и solr.
Это то что вам нужно.

z3r9mad_nazgul, а если нужно привязать к записи в БД? Нужно по тексту документа получить его ID в БД.

Для вашей задачи БД не нужно, от слова совсем.
Solr позволяет создавать "структуру" индекса.
Грубо говоря это и будет ваша табличка.
По такому индексу можно делать запросы.

Если все так хотите "приключений", то некоторых БД есть полнотекстовый поиск.
Но лучше этого не делать.
Хотя... Никто вам не мешает этого делать.
Удачи в "приключении" :-)

z3r9mayton, Да оно в общем-то понятно в чем отличие. Мне можно и lucene использовать и solr. С индексацией данных мне не совсем ясно, если использовать nutch. А именно как из БД взять источники которые нужно индексировать и как потом передать эти данные в solr/lucene и БД.

В сомом solr есть примеры как работать с БД.
Т.е. индекс строит solr и хранит у себя.
Вообще-то в данной "конфигурации" БД лишнее звено.
Т.е. все равно информацию хранить и выдавать будет solr.

А так посмотрите на "нативные" средства полнотекстового поиска для своей БД.
Почти все крупные БД они имеют.
Но solr/lucene гораздо более удобный инструмент.

z3r9mad_nazgul, то как они (solr/lucene) работают мне понятно. В solr документы передаются через json а с lucene работаешь как с библиотекой.

Логика такая:
1) Добавляем адрес документа в сети в БД и получаем его идентификатор.
2) Добавляем в solr/lucene новый документ.

Вопрос у меня в том что если работать с Nutch то как в него можно впихнуть эту логику. Я видел пример как сделать импорт в БД или в solr из Nutch . Но я не видел возможность гибридной работы.

Ну и остается вопрос как вообще в Nutch передать адреса которые нужно проиндексировать из БД.

Я же говорю.
Если работаете с solr, то проще работать только в рамках solr.
Всякие "гибридные" схемы выльются в геморрой при реализации.
А решение будет зависит от конкретной задачи.

z3r9mad_nazgulЕсли работаете с solr, то проще работать только в рамках solr.

mad_nazgul, нужно в результате поиска получить id записи. А также в БД должна быть запись о документе.

rdm, нужно проиндексировать ресурсы которые в БД добавлены. Например в БД добавлен www.sql.ru/forum/ и нужно его проиндексировать. А Nutch хотел бы использовать потому что это готовое решение. Иначе придется что-то свое делать как я и хотел изначально.
Для solr есть примеры в полном дистрибутиве, для работы с БД.
Грубо говоря, вы создаете "табличку" в solr с нужными вам полями и по ним строите индекс.
Кроме того эти поля можно сохранять в "БД"-solr.
Там же можете сохранять id БД.

Схема работы приблизительно такая (считаем, что структур в solr и индексация уже есть):
1) Делаем запрос в solr
2) Получаем список id
3) По списку id делаем запрос в вашу БД

В общем "геморрой".
Проще отказаться от работы с БД :-)