Доброго времени суток други! Здравы будете!
Вот у меня вопросик возник...
Надо сделать программку, в которую можно загружать текст.
Кроме того, в этой программке необходимо осуществлять поиск выбранного слова или словосочетания в других документах, сортируя результат по релевантности. Имеется в виду, что сочетание «мама мыла раму» будет соответствовать искомой строке «мама мыла», а так же строке «мама раму», но уже с меньшим коэффициентом релевантности.

Здесь непонятно, что значит "сортировать по релевантности", "коэффициент релевантности"...

Ведь релевантность - означает соответствие результатов поиска запросу. Чем выше соответствие, тем выше релевантность. В плане контента релевантность – это соответствие описания содержанию.


Объясните пожалуйста, не дайте умереть)

S.G."нечеткий поиск", "полнотекстовый поиск", "контекстный поиск" - по этим фразам сделать поиск :)
точно?)

Я здесь понимаю так:
Воодим мы в поисковике сочетание "мама мыла". А нам выпадают результаты "мама мыла раму", "мама раму"
Так что-ли?

an0nymgnotЯ здесь понимаю так:
Воодим мы в поисковике сочетание "мама мыла". А нам выпадают результаты "мама мыла раму", "мама раму"
Так что-ли?
По самому простому алгоритму: "мама мыла раму" релевантность 1, "мама раму" релевантность 0.5.
Вообще не понял, что же необходимо конечному пользователю... Допустим, я пользователь, открыл текст, ввожу МАМА, а мне выпадает список мама мыла раму, мама раму...
Примерно так?
И как рассчитывать словосочетания с коэффициентом релевантности ?
Как условия задавать?
Что-то вообще запутался...

Вообще, ЧТО какой результат должен получить конечный пользователь?
мама мыла раму, мама раму, мама мыла?

Или так:
Если ввожу словосочетание "мама мыла раму", то в в первую очередь выпадают часть текстов со словосочетаниями "мама мыла", так что-ли?
Ну или хоть ссылку дайте на алгоритмы поиска по релевантности...

miksoftgnot,

Не существует какого-то единого, стандартного или универсального способа расчета релевантности.
Этот способ вытекает из требований задачи.

В вашем случае - "поиск выбранного слова или словосочетания" понятие релевантности (почти) вырождается. Т.е. есть нужное слово - 1. Нет - 0. Максимум, что может быть посередине - другие словоформы этого же слова. Но нужно их учитывать или нет - из вашего текста неясно.
То есть так:
Мама мыла - есть нужное слово?
мама раму -нет нужного слова?

Надо сделать программу, в которую можно загружать текст.
Кроме того, в этой программке необходимо осуществлять поиск выбранного слова или словосочетания в других документах, сортируя результат по релевантности. Имеется в виду, что сочетание «мама мыла раму» будет соответствовать искомой строке «мама мыла», а так же строке «мама раму», но уже с меньшим коэффициентом релевантности.

Вот и вся задача...
А если отойти от сложных алгоритмов, интегралов по вычислению релевантности, то как должен осуществляться поиск?
Ну например, пользователь ввел в поисковике "мама мыла раму". И ему выпадают ссылки на словосочетания, содержащие данные слова? То есть "мама", "мама мыла", "мама мыла раму","мама раму", "мыла раму"?
вводит слово "мама" - ему выпадают слово "мама".
вводит словосочетание "мама мыла" - ему выпадают "мама", "мама мыла", "мама мыла раму", "мама раму"?

И вообще, откуда я знаю, что пользователь хочет именно сочетание "мама мыла"?
Мо

Или можно сделать так:
Есть у нас текст, в котором слово "мама" встречается 10 раз, слово "мыла" -10 раз, слово "раму" - 4 раза.

Тогда в поисковике при вводе слова "мама мыла раму" будут выводиться словосочетания в таком порядке: "мама", "мама мыла", "мама мыла раму", "мама раму" "мыла раму"

Так можно?

О! Представим себе, что словосочетания находятся в каком -либо поле в таблице БД.
Скажем, есть у нас таблица work. В ней есть поля - id(уникальный идентификатор, можно сделать в виде даты), description (описание работ). В поле description и находятся описания работы нашей мамы)
Структура примерно такая
id Description
1.01 мама мыла раму
2.01 мама мыла пол
3.01 мама мыла шкаф
4.01 мама мыла люстру
5.01 мама раму запечатывала

Как видим, словосочетание "мама мыла" встречается гораздо чаще, следовательно, оно будет более релевантным. А словосочетание "мама раму" - менее релевантно. У слова "мама" получается вообще релевантность 100% )
Так вот, как это сформировать в виде запроса SQL с учетом релевантности каждого слова? И соответственно вывести результат) Как я понял, результат должен выводиться в соотвествии с релевантностью: на первом месте - более релевантные словосочетания, на втором -менее и тд

А из самой постановки задачи.
Вот
"Написать приложение, позволяющее заводить в программу данные, содержащие текст.
Данные должны храниться в базе данных.

Программа должна позволять просматривать документы и осуществлять поиск выбранного слова или словосочетания в других документах, сортируя результат по релевантности. Имеется в виду, что сочетание «мама мыла раму» будет соответствовать искомой строке «мама мыла», а так же строке «мама раму», но уже с меньшим коэффициентом релевантности
"
Как это понимать? Что здесь подразумевается под данными, под текстом? Как они должны быть структурированы? Ну и пр и пр...

для меня это что-то из области "Э! Слыыышь! Там короче... ээээ... Ну ты понял!"

тут можно по-всякому понимать. Либо документы должны храниться в БД, либо какие-то данные должны извлекаться из БД, а помто внедряться в документы...

да простейшую -MS Access)

ну поскольку не сказано, какую именно надо СУБД... Просто ближе к делу - как Вы видите поставленную задачу?
Что откуда надо извлечь? Как понял, надо запросом вывести из БД какие-то данные, отобразить их в программе в текстовом виде. Сделать возможность поиска неких словосочетаний с учетом релевантности. Под релевантностью я понял так: если есть в запросе, в словосочетании три слова, то первые два слова имеют большую релевантность, чем первое и третье...

хорошо) почитаем) ну что делать.... раз теоретическая база такая... не каждую неделю приходится писать поисковики... Тем более, если круглый год только веб-версткой занимаешься...

maytonУ тебя слабая теоретическая база. Почитай для начала
в энциклопедии по Full_text_search . Разберись что
такое tokens, keywords, text index, queru language.
Изучи возможности текстового поиска в уже готовых
решениях (среди них есть даже бесплатные).

В противном случае, все твои попытки создать текстовый поиск
на базе РСУБД Аксцесс выглядят профанацией.

TextSearch "не равно" запросу по таблице. Это мой основной тезис.

Всё. Успехов.

Конечно немного стыдно, но можно объяснить своими словами, что такое fulltext-поиск? Знаю, что есть в SQL такие операторы, но как это все работает... Тем более, что Вы говорите, что работы там на два часа...А то голова кругом идет уже от разных реализаций этого поиска, терминологии..

ну а на русском инфы, как понял нет) английским не очень владею) всеюжизнь дойч учил) только со словарем, но он так переводит весело...

maytongnotну а на русском инфы, как понял нет) английским не очень владею) всеюжизнь дойч учил) только со словарем, но он так переводит весело...
Думаю, что на русском - есть. Вообще это тебе тема для самостоятельного изучения. Вряд-ли кто-то разжуёт тебе текстовый поиск, особенно в условиях твоей сложной постановки. Читай, думай.

Издеваетесь) для меня то конечно сложная) Это для вас -раз плюнуть)

ну все таки... Что в моем случае-то надо?
Во-первых, откуда брать данные? Из таблиц БД или из текстовых документов, которые хранятся в БД?
Тут пытаюсь понять, ЧТО собственно нам надо загрузить в программу и ОТКУДА...
Потом, SQL я более-менее знаю, что такое Index и пр. Но вот команду FULLTEXT не понимаю...

почитаю) ок) Только это тк сказать, инструменты... Мне надо определиться, ГДЕ искать... Как я понял из постановки задачи понял, что надо тянуть из некой БД некие данные. Не сказано так же, как их отобразить, в каком виде.. Так же абсолютно ничего не сказано о том, какая там структура. Вот и предположил выше гипотезу о том, что есть некая таблица:

id Description
1.01 мама мыла раму
2.01 мама мыла пол

Может не прав, но появляется аналогия такая:
Прежде чем построить дом, нужно его сначала четко представлять, каким он будет, сколько этажей, в каком стиле и пр.. И потом решать, какую марку цемента выбрать, какие применять инструменты для строительства...
А если дать архитектору задание типа "построй двух-этажный дом с окнами, но чтобы были самые профессиональные строители, самая лучшая марка цемента, самая лучшая облицовка". Архитектор, конечно же, задаст кучу вопросов про то, сколько должно быть окон, в каком стиле нужно строить, какие размеры должны быть и пр.... А если на это заказчик ответит что-то типа - "вы же архитектор! Вы это должны знать!".
То что тогда?
Вот так и я подхожу к разработке... Не знаю, может я и не прав... Но заведи в программу "что-то", "откуда-то", отсортируй "как-то"... С последним еще понятно, а вот с остальным...

да можно что угодно прикрутить... Вы лучше пока помогите определиться, ОТКУДА мы должны брать данные и в каком виде загружать в программу? Как я понял, что мы тянем их из БД. Причем не сказано ничего ни про структуру, ни про организацию, ни про то, какие данные там хранятся. Поэтому имею право предложить свой вариант (id, description). Далее. Описание загружаю в простой текстовый формат. В текстовый редактор или что-то наподобие. И в нем уже могу делать поиск, редактировать.
Я правильно сформулировал?

maytongnot,

ты очень странный разработчик. Ты спрашиваешь ОТКУДА брать? Ну ясен пень, тебе должны дать тестовые данные. Это обсуждается с заказчиком. Или ты должен сам ПРИДУМАТЬ тестовые данные, но предупредить заказчика что это будет нерепрезентативно. Далее. Ты спрашиваешь в КАКОМ виде загружать. Отвечаю. Если тебе ДАНЫ исходные данные в ТЕКСТОВОМ формате то их всегда можно загрузить в любую СУБД. Если ты УЖЕ определился с тем КАКУЮ СУБД ты берёш - кури примеры которые я указал. В одной из них текстовые данные грузятся в BLOB-поля, в текстовые поля и т.д.

Понял?
Понял. Но не понял, какие именно будут ТЕКСТОВЫЕ ДАННЫЕ. Как они должны быть стурктурированны?
Что подразумевается под текстовыми данными? Если нужно загрузить в программу сборник сочинений Пушкина - это одно. Если короткий текст типа описание - то совсем другое...

В том то и дело, что об этом ничего не сказано)

maytonТогда зачем ты себе сушишь голову тем, чего не можешь знать? Делай общую постановку.
Это как?
Вот выдержка их вики:

"
Полноте́кстовый по́иск — поиск документа в базе данных текстов на основании содержимого этих документов, а также совокупность методов оптимизации этого процесса.
"
Вот, что здесь подразумевается под документами?
Что это за документы? Любые документы, в том числе в формате MsWord? Сорри конечно, может быть, достаточно глупые вопросы задаю... Но с БД работаю лишь на уровне запросов в таблицы, объекты, где информация структурирована.
Ну то есть различные запросы к полям таблиц, модификацию, создание и пр)
У нас Документум - там вообще запросы на уровне объектов) Ну конечно, документы типа Word(да и вообще любые) тоже есть в контенте.

ну ладно) А поиск надо сделать по названию файла, или по содержимому файла? Может конечно туплю, но совсем запутался... Кучу сылок читаю сейчас про полнотекстовый поиск в оракл и пр...
Чувствую, еще больше не понял, что же все таки надо искать... По атрибутам документа или в содержаниии....

maytonЭто твоя постановка. Как хочешь - так и делай. Но если цель найти имя файла то имена тоже надо добавлять в базу дополнительным атрибутом. Но главный поиск должен идти по content-у.
По контенту уже открытого файла?) То есть, нашли мы его в БД, открыли в текстовом нашем редакторе и там ищем слова, словосочетания?)

maytonБлин парень! Определись на чём ты будешь писать. Я больше тебя не могу консультировать по сферическому коню в вакууме!
блин надо сначала определиться, что мы хотим написать. А потом уже на чем! Ну на яве+Оракл для БД) И что дальше?

maytonОтлично. Тогда ты можешь обойтись вообще без СУБД. Читал про Lucene?
Конечно стыдно, но не читал) Но в задании сказано про базы данных..

это свободная библиотека для высокоскоростного полнотекстового поиска, написанная на Java.

Так.
1)
Полноте́кстовый по́иск -поиск документа в базе данных текстов на основании содержимого этих документов, а также совокупность методов оптимизации этого процесса
Современные алгоритмы заранее формируют для поиска так называемый полнотекстовый индекс — словарь, в котором перечислены все слова и указано, в каких местах они встречаются. При наличии такого индекса достаточно осуществить поиск нужных слов в нём и тогда сразу же будет получен список документов, в которых они встречаются
2)
Текстовые возможности СУБД Oracle основаны на использовании специального вида индекса, являющегося одним из встроенных в систему вариантов «предметного» индекса (domain index), используемого для организации работы со сложно устроенными данными. Oracle Text имеет в готовом виде три вида текстового индекса:

* CTXSYS.CONTEXT - для выполнения полнотекстового поиска по текстовым документам;

То есть, CTXSYS.CONTEXT - это и есть тот самый полнотекстовый индекс — словарь?