|
|
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Здравствуйте. Помогите выбрать СУБД для программы, реализующей: 1) хранение большого количества документов (файлы Word, Excel, веб-страницы, rtf) в БД; 2) генерирование краткой аннотации к документам в автоматизированном режиме; 3) поиск хранимых документов с учетом близости слов-синонимов; 4) каталогизацию документов со схожей тематикой. Где будет храниться документ – в базе или в файловой системе – не важно, но нужно обеспечить ссылочную целостность связанных с документом данных, которые будут храниться в БД. Масштабы пока не известны, но скорее всего это будет 2 рабочих места: одно для автоматизированного занесения данных и одно для обработки. Ничего сложного, нужно только, чтобы были возможности развитого поиска текста. Соответственно возник вопрос: какую СУБД выбрать для реализации этих возможностей? Пока остановился на SQL Server. Но, возможно, есть ещё варианты? Есть ли разница между SQL Server 2008 и SQL Server 2005 в этом плане? И важны лицензии – сейчас ведь 2005-ю версию уже не приобрести? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2009, 11:42 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
21_01, SQL сервер какой? SQLite или PostgreSQL или Microsoft? У Оракла тоже какой то SQL сервер есть ;-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2009, 11:58 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Под SQL Server 2005/2008 подразумевал Microsoft SQL Server 2005/2008. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2009, 12:03 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Исходя из условий задачи вам не подойдет НИ ОДНА из сущесвующих СУБД. Был недавно топик, который затрагивал эту тему. Полнотекстовый поиск в субд не учитывает близости синонимов, морфологию слов и другие озвученные фишки. Это именно полнотекстовая индексация. Так что написать экспертную систему не вложив ни капли труда у вас не получится. А сам full text search еть еще в Sybase SA11. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2009, 12:05 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Ggg_old, Одну такую БД я знаю, но только она не SQL :-) Lotus Notes Domino. Из всех мне известных систем, только в ней реализованы хотелки, озвученные в начале темы. Могу рекомендовать обратиться к "LotusNotesDomino" который вот тут как раз ищет возможность подработки. Я думаю, он не откажется Вас проконсультировать, с расчетом на дальнейшее сотрудничество ;-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2009, 12:11 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Ggg_oldПолнотекстовый поиск в субд не учитывает близости синонимов, морфологию слов и другие озвученные фишки. Это именно полнотекстовая индексация. То есть, что MS SQL 2005, что MS SQL 2008, что Sybase SA11 примерно равны в этом плане? Реалист, спасибо, но это только впереди, сейчас мне пока нужно лишь выбрать СУБД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2009, 12:58 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
21_01То есть, что MS SQL 2005, что MS SQL 2008, что Sybase SA11 примерно равны в этом плане? Реалист, спасибо, но это только впереди, сейчас мне пока нужно лишь выбрать СУБД. И в PostgeSQL и MySQL есть полнотекстовый поиск. Странно, а мне показалось, что Вам нужно: "1) хранения большого количества документов (файлы Word, Excel, веб-страницы, rtf) в БД; 2) генерирования краткой аннотации к документам в автоматизированном режиме; 3) поиск хранимых документов с учетом близости слов-синонимов; 4) каталогизацию документов со схожей тематикой." СУБД это только часть решения. Выбор СУБД и Решение поставленной задачи - это разные вещи, не находите? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2009, 13:09 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
21_01 Реалист, спасибо, но это только впереди, сейчас мне пока нужно лишь выбрать СУБД. Выбирайте Яндекс или Гугль и будет Вам счастье. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2009, 13:24 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2009, 13:31 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Реалист[quot 21_01] СУБД это только часть решения. Выбор СУБД и Решение поставленной задачи - это разные вещи, не находите? Конечно, и я рассматриваю различные СУБД, чтобы представлять возможные пути решения. В последнем сообщении я спросил: отличаются ли возможности перечисленных СУБД в плане полнотекстового поиска. Возможно есть реализации, в которых присутствует часть требуемого функционала. Это будет плюсом - если в основе будет реляционная СУБД, то проще будет выбрать разработчика. Однако я не отметаю сразу вариант с чем-то другим, но мне нужно время на то, чтобы хотя бы в общих чертах составить представление о новой для меня системе. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2009, 13:32 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Спасибо за ссылку. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2009, 13:46 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Попробуйте поисковую панель google. На локальном диске найдёт любые файлы по полнотекстовому поиску. Всякой ерунды мого, очень помогает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.07.2009, 13:30 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Реалист И в PostgeSQL и MySQL есть полнотекстовый поиск. Нету там ни какого "полнотекстового поиска" для русского языка. Не-ту! Бо не справляются с морфологией и сообразованием. Я тут наднясь слово сгенерил "Компраминет" Вот Яндекс , в вот Гугля А у кого, из человеков не хватит ума сие слово просклонять и проспрегать? А енти "тьху-серчь" системы с ним справятся? - Одназначный обломись. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.07.2009, 21:53 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneРеалист И в PostgeSQL и MySQL есть полнотекстовый поиск. Нету там ни какого "полнотекстового поиска" для русского языка. Не-ту! Бо не справляются с морфологией и сообразованием. Я тут наднясь слово сгенерил "Компраминет" Вот Яндекс , в вот Гугля А у кого, из человеков не хватит ума сие слово просклонять и проспрегать? А енти "тьху-серчь" системы с ним справятся? - Одназначный обломись. Ну нет там таких слов. А сказать то, что хотел? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.07.2009, 22:17 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Реалист А сказать то, что хотел? А что, первое предложение - нихт ферштейн?... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.07.2009, 22:25 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneРеалист А сказать то, что хотел? А что, первое предложение - нихт ферштейн?... Там есть полнотекстовый индекс. С ним можно делать что угодно. При желание даже твое слово найти ;-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.07.2009, 23:38 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
РеалистDi_LIneРеалист А сказать то, что хотел? А что, первое предложение - нихт ферштейн?... Там есть полнотекстовый индекс. С ним можно делать что угодно. При желание даже твое слово найти ;-) Ну я и говорю: - Тот же лайке, но по слову целиком. А если слова (набора букв) такого нету, то поиск по другим морфологическим формам этого слова делает? Какие критерии ранжирования в этом случае? Учитывается ли Ед и Мн число исходной морфемы? - Ась? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 00:01 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, Ваша подколка мне понравилась. Естественно, ни кому в голову не может придти, искать в англоязычном продукте русскоязычную морфологию. Или Вы это серьезно спрашивали? ;-)))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 00:23 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
РеалистИ в PostgeSQL и MySQL есть полнотекстовый поиск . А это, типо, Вася Пупкин написал, да? Тогда так и пишите: - ФхулСерчь но потарабарски. - Рашен нот применяшен! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 03:33 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 07:00 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneРеалистИ в PostgeSQL и MySQL есть полнотекстовый поиск . А это, типо, Вася Пупкин написал, да? Тогда так и пишите: - ФхулСерчь но потарабарски. - Рашен нот применяшен! А где написано про морфологию русского языка? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 07:35 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
РеалистА где написано про морфологию русского языка? Ышо раз для бронетакистов: РеалистИ в PostgeSQL и MySQL есть полнотекстовый поиск. - Или он, поиск, Полный Текстовый, - Или тот же Лайке по индексному полю. - Ы? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 09:25 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
ЁшDi_LIne, что не так ? :) - Балбес ты, Шарик! (М)ультик Код: plaintext "1001"; "компраминетов" "53","Компраминетами" "20045", "Компраминетам" "4000016","о компраминетах" "32768","компраминетам" "20679999","компраминеты" "99999999","компраминет" ..... и тд и тп. -Ы? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 09:33 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
ЁшDi_LIne, Код: plaintext 1. 2. А если твоей ентот мутч дуже кротой и пиписко в растопырку, то пусть мне разлечит, при построении результата поиска по слову "день". Когда оно, слово, Существительное, а когда оно же есть Глагол. Для бабесов поясняю на прЫ мере: 1. День. При поиске учесть только морфемы: дни - дней - днями и тд и тп 2. День. При поиске учесть только морфемы: денешь - девать - девают и тд и тп ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 09:41 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, Знаешь, мне твои посты читать противно, не зависимо от того, что ты туда написал. Можешь сам с собой разговаривать, пока с другими людьми общаться не научишься. "пиписко в растопырку, мля" ;-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 09:56 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Кому и это не понятно, курить здесь до просвятления... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 09:56 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, вы действительно не умеете общаться и доводить свою мысль по-человечески. Маты, оскорбления и так дале. Под полнотекстовым поиском понимается, то что в субд называется full text search и там действительно нет учета морфологии языка(ов). И да, это очень продвинутый like по сути. Все остальное, надо думать писать или заказывать на стороне. Это ведь так просто выражать свои мысли вежливо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 11:22 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
РеалистDi_LIne, Знаешь, мне твои посты читать противно, не зависимо от того, что ты туда написал. Можешь сам с собой разговаривать, пока с другими людьми общаться не научишься. "пиписко в растопырку, мля" ;-) присоединяюсь ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 14:27 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Реалистпока с другими людьми общаться не научишься. Общение - Взаимные сношения, деловая или дружеская связь. Ожегов С.И. "Толковый словарь..." Москва, 2000 г. - Вопросов не имею. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 14:59 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Ggg_oldМаты, оскорбления и так дале. За это модератор отвинчивают кой-чего. Так что не надо бочку катить. Ggg_oldПод полнотекстовым поиском понимается, то что в субд называется full text search и там действительно нет учета морфологии языка(ов). И да, это очень продвинутый like по сути. И чьи это проблемы? Так же как в аглицком всё сервер, и программа, и железо. Ну и? А по сему или указывай контекст, или границы применения термина. Типо: Ggg_old..full text search ... это очень продвинутый like по сути... - Ну и кто ССЗБ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 15:04 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Кста, именно из-за глубокой убежденности, что тот "full text search" и есть настоящий поиск и упорствовал Реалист. - Нет? А про лайке я еще тут говорил, но чела не хватило это признать. Ну и? Все приведенные "аргуметы" и на слабые попытки доказать не доказуемое - дан четкий и однако_кватный ответ. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 15:14 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, Будь любезен, покажи определение понятия "полнотекстовый поиск" и то, что в него входит и морфология. Я вот, не нашел. Нашел другое: 1. вики авторПолноте́кстовый по́иск — поиск документа в базе данных текстов на основании содержимого этих документов, а также совокупность методов оптимизации этого процесса. Полнотекстовый индекс Первые версии программ полнотекстового поиска предполагали сканирование всего содержимого всех документов в поиске заданного слова или фразы. При использовании такой технологии поиск занимал очень много времени (в зависимости от размера базы), а в интернете был бы невыполним. Современные алгоритмы заранее формируют для поиска так называемый полнотекстовый индекс — словарь, в котором перечислены все слова и указано, в каких местах они встречаются. При наличии такого индекса достаточно осуществить поиск нужных слов в нём и тогда сразу же будет получен список документов, в которых они встречаются.Так, тут ничего про морфологию, только про то, что технология дает быстрое сканирование при поиске заданного слова или фразы 2. search-tech.net/ авторВиды поиска Полнотекстовый поиск — поиск по всему содержимому документа. ... Как правило, полнотекстовый поиск для ускорения поиска использует предварительно построенные индексы. Наиболее распространенной технологией для индексов полнотекстового поиска являются инвертированные индексы.и тут ничего про морфологию. 3. www.offliner.com авторИспользование морфологии является одним из важнейших приемов интеллектуального поиска текста. Так, тут про морфологию. И уже поиск называется не "полнотекстовый", а "интеллектуальный". так что- ждем линк на определения. имея ввиду: авторСуществует некоторая путаница, связанная с понятиями поиска данных, поиска документов, информационного поиска и текстового поиска.как мне кажется, твой случай именно такой. но, может и ошибаюсь, конечно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 22:41 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
S.G., А может , он хочет поиск по звучанию(SOUNDEX)? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 23:41 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
21_01Реалист[quot 21_01] СУБД это только часть решения. Выбор СУБД и Решение поставленной задачи - это разные вещи, не находите? Конечно, и я рассматриваю различные СУБД, чтобы представлять возможные пути решения. В последнем сообщении я спросил: отличаются ли возможности перечисленных СУБД в плане полнотекстового поиска. Возможно есть реализации, в которых присутствует часть требуемого функционала. Это будет плюсом - если в основе будет реляционная СУБД, то проще будет выбрать разработчика. Однако я не отметаю сразу вариант с чем-то другим, но мне нужно время на то, чтобы хотя бы в общих чертах составить представление о новой для меня системе. Взгляните на СУБД "Caché" с полнотекстовым поиском. Поддерживаются следующие языки: английский, немецкий, французский, испанский, итальянский, португальский и японский. Есть исходники и для русского языка с небольшим описанием морфологического анализатора. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 14:03 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
S.G.Di_LIne, Будь любезен, покажи определение понятия "полнотекстовый поиск" и то, что в него входит и морфология. Я вот, не нашел. Нашел другое: 1. вики Так, тут ничего про морфологию, только про то, что технология дает быстрое сканирование при поиске заданного слова или фразы Тошь мне, нашел аф_таритет, педивикию... Ладно, давай даже их определение рассмотрим, но ВНИМАТЕЛЬНО, по существу, а не поверхностно, на поиск набора букв "морфология"... педивикия Современные алгоритмы заранее формируют для поиска так называемый полнотекстовый индекс — словарь, в котором перечислены все слова и указано, в каких местах они встречаются. (выделение от меня.) И так. Технология называется "Full Text Search". Дайте дословный перевод этого названия на русский и его смысл. А пока - немножко теории. В русском языке слово может иметь 12 форм: по 6 падежных форм для единственного и множественного числа для существительных. (Другие - пока отложим, так как существительные - наиболее простой вариант) Существительное обозначает всю туже сущность (не просто так оно называется СУЩЕствительное), вне зависимости от словоформы. Значит речь идет о поиску сущностей, то и искать мы должны СУЩНОСТЬ. Убожество указанных "фулл текст серч" технологий применительно к русскому языку дает безобразный вариант с огромным числов ошибок. Пример: Человеку безразницы как написана фраза в документе: Документ 1. Библиотеку по адресу (тыр-пыр-дыр). Документ 2. Библиотека по адресу (тых-дрых-кышь). При применении указанной аппонетами технологии, какой результат поиска будет при поиске слова "БИБЛИОТЕКА"? 1. Будут ли в них, в результатах, указанные документы или нет? Если в результатах поиска указанные документы отсутствуют , то укажите на основании чего данные документы выборашены из результатов поиска. И не на основании машинных технологий, а с точки зрения обычногго Человек. Бо ПО все же для людей делается. ;-) 2. Почему технология называентся " FULL " (ПОЛНЫЙ) применительно к рускому языку, если она дает такие, принципиальные с точки зрения Русского Языка ошибки?! Остальное - отпишу чуть позже... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 14:10 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
ОКТОГЕНS.G., А может , он хочет поиск по звучанию(SOUNDEX)? Ну?! А не слабО' залезть в учебник Русского языка и увмидеть, что разные словформы одного слова звучат по разному? Примеры - все слова с беглыми гласными и согластными в суфиксах: ребенок -> ребенка; камень -> камнями; боец -> бойца; буек -> буйком остальные случаи - для самостоятельного изучения... Для особо страждущих - Числительные... А серьезный разговор пойдет только о глаголах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 14:18 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneСуществительное обозначает всю туже сущность (не просто так оно называется СУЩЕствительное), вне зависимости от словоформы. Значит речь идет о поиску сущностей, то и искать мы должны СУЩНОСТЬ. Гениально. Я так понимаю для глаголов полнотекстовый поиск тогда не предполагает поиск для разных форм? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 14:36 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneПример: Человеку безразницы как написана фраза в документе: Документ 1. Библиотеку по адресу (тыр-пыр-дыр). Документ 2. Библиотека по адресу (тых-дрых-кышь). При применении указанной аппонетами технологии, какой результат поиска будет при поиске слова "БИБЛИОТЕКА"? это очень простой случай, с ним справится и snowball: Код: plaintext 1. 2. 3. 4. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 14:48 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
SergSuper Я так понимаю для глаголов полнотекстовый поиск тогда не предполагает поиск для разных форм? Нет, Диля просто оставил глаголы на сладкое. Как ку-де-гра, так сказать... Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 14:49 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
... ну а тех, кто шибко боек - прикрутили к спинкам коек... (С)лассик. Против не попрешь. ЯндексЗачем нужны морфология и синтаксис или Как искать ветра в поле Распространено мнение, что шаблон "*", означающий любой набор символов, достаточен для поиска в русских текстах. То есть все проблемы, связанные с особенностями морфологии (п. 5.3), решаются путем обеспечения развитого языка запросов (п. 2.2). Но представьте себе - Вы узнали, что искали ветер в поле и нашли. Чтобы найти эту информацию, Вы, вероятно, попросите компьютер поискать слова "ветер" и "поле". Но если в тексте были формы "ветра" или "полях"? Остается вариант шаблона - "вет*" и "пол*", что тут же выдаст Вам материалы о польской ветчине и политике вето! Отсутствие морфологии сильно, а иногда катастрофически влияет на чувствительность и избирательность поиска. Запрос "ветер И поле" уменьшает чувствительность, а "вет* И пол*" - избирательность. Случаи, когда шаблон не спасает: Слова, у которых в разных формах меняется основа (супплетивные формы): идти-шел, плохо хуже, я-меня, человек-люди, ребенок-дети Слова с большим количеством словоформ. Привести список всех словоформ русского глагола (с причастными и деепричастными формами - до 250 различных форм) человеку, не имеющему лингвистического образования, очень трудно. Понять, все ли словоформы из этого списка "накрываются" шаблоном "*" - ещё труднее. Слова с беглыми гласными и чередованиями. В словаре на 90000 слов, используемом в нашей системе, примерно четверть слов имеет чередования, которые не позволяют найти слово по шаблонам: (искать-ищу, окно-окон, расти-рос: запрос и* или ок* или р* даст много мусора) Короткие (три-четыре буквы) слова: дом, хор, ... . Во всех языках, в том числе и в русском, имеется общая закономерность: чем чаще слова используются, тем они короче. Применение шаблона "*" в коротких словах приводит к большому количеству ненужных ссылок в списке найденных документов. Цитировано по тут ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 15:04 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
SergSuperЯ так понимаю для глаголов полнотекстовый поиск тогда не предполагает поиск для разных форм? - А типо ВНИМАТЕЛЬНО читать тут , ась? Di_LIne Другие - пока отложим, так как существительные - наиболее простой вариант ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 15:06 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
ЗЫ: - Компетентнось Яндекса в поисковых технологиях применительно к Русскому языку, надеюсь, не вызывает сомнений? Это не педивикия... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 15:09 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Ёшэто очень простой случай, с ним справится и snowball: Код: plaintext Ок! А с данными примерами - оно справится? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 15:11 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov SergSuper Я так понимаю для глаголов полнотекстовый поиск тогда не предполагает поиск для разных форм? Нет, Диля просто оставил глаголы на сладкое. Как ку-де-гра, так сказать... А буде дюже выошиваться - есть наречия, дее и не очень причастия. А так же "слова-исключения" из Правил Русского языка. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 15:17 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, а, тогда тебе нужен не FTS,а поиск по морфологии , причём для разных языков. Кстати, а что это за задача такая? Хитросложная супер-система поиска? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 16:09 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneЁшэто очень простой случай, с ним справится и snowball: Код: plaintext Ок! А с данными примерами - оно справится?snowball ? точно нет, snowball же просто выделяет окончания и т.п. Если использовать словарь, видимо зависит от словаря, например в стандартном aspell/ispell слово «вша» отсутствует, соответственно не обрабатывается. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 16:12 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Ёш например в стандартном aspell/ispell слово «вша» отсутствует, соответственно не обрабатывается. - Балбес ты, Шарик. (М)ультик Ссылки-то смотрел, что я приводил, али точно не смотрел. Бо мну там говорил, что в ispell - нету ( НЕ-ТУ!!! ) более 30.000 фамилий. - Ну и какой "документооборот" можно строить на сём фуфеле? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 17:34 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
ОКТОГЕНDi_LIne, а, тогда тебе нужен не FTS,а поиск по морфологии , причём для разных языков. Что мне надо - уже работает не первый год в режиме продакшен. (FB-шный люд про то какбэ в курсе) ОКТОГЕНКстати, а что это за задача такая? Хитросложная супер-система поиска? - Задача елементарная, Уотсон! Доказать, что тот самый Тьху_Серчь - полный ацтой и панацея для ламеров . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 17:39 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, В этом топике - скоро Ваших сообщений будет половина от общего числа. Вы случайно не сам с собой спорите ;-) ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 17:49 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
РеалистDi_LIne, В этом топике - скоро Ваших сообщений будет половина от общего числа. Вы случайно не сам с собой спорите ;-) ? А что, кто-то что-то может по существу вопроса возразить? Если нет, то вот такую ХНЮ больше нести не стоит ... - Ы? А так... Слиф защитан, живи... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 17:53 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, Спасибо дяденька, что разрешил ;-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 17:55 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneSergSuperЯ так понимаю для глаголов полнотекстовый поиск тогда не предполагает поиск для разных форм? - А типо ВНИМАТЕЛЬНО читать тут , ась?А смысл внимательно читать? Мало ли кто что нафантазирует. От Вас попросили ссылки на чем основывается Ваша увереность, а Вы в ответ какой-то поток сознания. Ну и как минимум одну форму существительного пропустили ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 17:55 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
SergSuperНу и как минимум одну форму существительного пропустили Конечно! Иначе опять нытье начнется - матершина типо... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 17:59 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
SergSuperОт Вас попросили ссылки на чем основывается Ваша увереность А-а-а-а... К мну какбэ и свой моск есть и морщить его не разучился. А не тыркацо в педивикию. Или есть возражения против приведенной ссылки на Яндекс, али ее мало? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:01 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneРеалистDi_LIne, В этом топике - скоро Ваших сообщений будет половина от общего числа. Вы случайно не сам с собой спорите ;-) ? А что, кто-то что-то может по существу вопроса возразить? Если нет, то вот такую ХНЮ больше нести не стоит ... - Ы? А так... Слиф защитан, живи... Значит так, официальное заявление: Модератор: В следущем после Di_LIne-а или будет ссылка где будет дано определение FTS доказывающее что Реалист был неправ, или будет извинение, или Di_LIne будет забанен ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:03 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Hello, SergSuper! You wrote on Wed, 22 Jul 09 15:03:50 GMT: SergSuper S> Модератор: В следущем после Di_LIne-а или будет ссылка где будет дано S> определение FTS доказывающее что Реалист был неправ, S> или будет извинение, или Di_LIne будет забаненсерёжа, ты неправ. диля на этом собаку съел. я не шучу. -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:06 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneSergSuperОт Вас попросили ссылки на чем основывается Ваша увереность А-а-а-а... К мну какбэ и свой моск есть и морщить его не разучился. А не тыркацо в педивикию. Или есть возражения против приведенной ссылки на Яндекс, али ее мало?В текст из Яндекса нет ни слова про FTS ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:08 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
SergSuperЗначит так, официальное заявление: Модератор: В следущем после Di_LIne-а или будет ссылка где будет дано определение FTS доказывающее что Реалист был неправ, или будет извинение, или Di_LIne будет забанен - Типо реальных примеров , на которых ентот FTS реально лагает - мало? - И с какого он дуба, применительно к Русскому языку называется FULL??? - Аргуметы и доказательства - в студию! Всяческих тарабарские - мною не рассматривались и не опровергались? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:08 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Мимопроходящий Hello, SergSuper! You wrote on Wed, 22 Jul 09 15:03:50 GMT: SergSuper S> Модератор: В следущем после Di_LIne-а или будет ссылка где будет дано S> определение FTS доказывающее что Реалист был неправ, S> или будет извинение, или Di_LIne будет забаненсерёжа, ты неправ. диля на этом собаку съел. я не шучу. -- With best regards, Мимопроходящий. тогда ему будет проще ответить ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:09 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Да лана, МП... Ему лень глянуть, что ссылки идут на топиг за 2007 год... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:12 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Hello, SergSuper! You wrote on Wed, 22 Jul 09 15:09:42 GMT: SergSuper S> тогда ему будет проще ответитьон и ответил. система построена и внедрена на довольно крупном портале. если у него будет желание, может чего и расскажет. а чисто "школьные" притязания отдельных мемберов на академические определения понятий, выглядят весьма наивно. -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:13 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
SergSuperтогда ему будет проще ответить Ответ дан ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:14 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneSergSuperЗначит так, официальное заявление: Модератор: В следущем после Di_LIne-а или будет ссылка где будет дано определение FTS доказывающее что Реалист был неправ, или будет извинение, или Di_LIne будет забанен - Типо реальных примеров , на которых ентот FTS реально лагает - мало? - И с какого он дуба, применительно к Русскому языку называется FULL??? - Аргуметы и доказательства - в студию! Всяческих тарабарские - мною не рассматривались и не опровергались? 1.лагает - только с Вашей точки зрения, он работает так как задуман 2.Безотносительно русского языка он называется full т.к. ищет по всем словам текста. К тому же название не всегда может точно отражать сущность (вспомним недавний спор про множества) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:14 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Мимопроходящий Hello, SergSuper! You wrote on Wed, 22 Jul 09 15:09:42 GMT: SergSuper S> тогда ему будет проще ответитьон и ответил. система построена и внедрена на довольно крупном портале. если у него будет желание, может чего и расскажет. а чисто "школьные" притязания отдельных мемберов на академические определения понятий, выглядят весьма наивно. я не сомневаюсь что его система гораздо продвинутее IB, PG и еще чего здесь обсуждалось но это не говорит о том FTS должен быть именно таким и что ему можно по хамски себя вести ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:18 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
SergSuper1.лагает - только с Вашей точки зрения, он работает так как задуман 2.Безотносительно русского языка он называется full т.к. ищет по всем словам текста. К тому же название не всегда может точно отражать сущность (вспомним недавний спор про множества) Хм... 1. А вот ЭТО - не не считается типо? 2. Мнение других мемберов:Ggg_oldИ да, это очень продвинутый like по сути . цитирую из отсюда 3. Полный - подразумевает использование в работе полный набор Правил того языка, к которому система применяется. А не тупая попытка одеть систему, расчитанную на правила английского языка, на Русский. Включая некоторые косметические улучшения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:23 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Hello, SergSuper! You wrote on Wed, 22 Jul 09 15:18:28 GMT: SergSuper S> но это не говорит о том FTS должен быть именно таким а не подскажешь, почему "английский" FTS ищет с учетом морфологии, а "русский" без? и почему в SpeechAPI с английским всё Ок, а с русским ну никак? -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:24 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
SergSuper... и что ему можно по хамски себя вести Хм... Смотрим в начало топига... Корректно и литературно в моих постах. А если Реалист тупо уперся и тему не курит, то кто ему ССЗБ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:28 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Мимопроходящий Hello, SergSuper! You wrote on Wed, 22 Jul 09 15:18:28 GMT: SergSuper S> но это не говорит о том FTS должен быть именно таким а не подскажешь, почему "английский" FTS ищет с учетом морфологии, а "русский" без? и почему в SpeechAPI с английским всё Ок, а с русским ну никак? -- With best regards, Мимопроходящий. понятия не имею я никогда с FTS не работал просто если человек называет чьи-то слова бредом он должен это доказать со ссылкой на авторитетный источник, а не рассказывать байки о том какие бывают существительные ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:33 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, Определение в ВИКИ . Там нет упоминания про морфологию. FTS действительно похож на LIKE, но он ищет не в конкретном поле, а во всех полях базы (FULL как раз от этого свойства). Поиск с учетом морфологии, это своего рода надстройка над FTS. Не "тупо уперся", а сказал, что не собираюсь с тобой общаться в таком тоне. Можешь считать, что я слил. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:34 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne3. Полный - подразумевает использование в работе полный набор Правил того языка, к которому система применяется. если не секрет, откуда берутся такие формулировки? можно ссылку хоть на одну статью? кроме ссылок на свои посту в этой теме, конечно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:36 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Hello, Реалист! You wrote on Wed, 22 Jul 09 15:34:40 GMT: Реалист Р> Определение в ВИКИ.школьники рулят... -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:37 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneSergSuper... и что ему можно по хамски себя вести Хм... Смотрим в начало топига... Корректно и литературно в моих постах. А если Реалист тупо уперся и тему не курит, то кто ему ССЗБ? обоснованного опровержения мы так и не увидели... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:38 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Hello, SergSuper! You wrote on Wed, 22 Jul 09 15:38:19 GMT: SergSuper S> обоснованного опровержения мы так и не увидели...ты не веришь яндексу? -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:39 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
SergSuperпросто если человек называет чьи-то слова бредом он должен это доказать со ссылкой на авторитетный источник ... А РЕАЛЬНЫХ примеров уже не достаточно стало? Спешил ссылка на Яндекс - типо не в зачет? Или Яндекс, с его теоритическим и практическим опытом, не авторитет в данной области? SergSuper... а не рассказывать байки о том какие бывают существительные Байки? Хм... Это, про существительные и пр, написано в учебниках Русского Языка для школы. И эти Правила - база для построения Полнотекстового поиска учитывающего все особенности Русского языка. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:40 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Зайцев Фёдорможно ссылку хоть на одну статью? Ышо раз: Ссылко на Яндекс. Смотреть - 2-й радел. Где русским по белому написано " Зачем нужны морфология и синтаксис или Как искать ветра в поле " которую я уже приводил в топиге... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:45 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneS.G.Di_LIne, Будь любезен, покажи определение понятия "полнотекстовый поиск" и то, что в него входит и морфология. Я вот, не нашел. Нашел другое: Тошь мне, нашел аф_таритет, педивикию... Ну во всяком случае википедия для меня бОльший авторитет.. гораздо бОльший, чем Di_LIne Di_LIne И так. Технология называется "Full Text Search". Дайте дословный перевод этого названия на русский и его смысл. Пожалуйста. Поиск по всему тексту. Ни слова о том, каким конкретно должен быть поиск. Смысл: есть текст, мы по нему ищем слова. Di_LIne А пока - немножко теории. В русском языке слово может иметь 12 форм: по 6 падежных форм для единственного и множественного числа для существительных. Меня мало волнуют словоформы русского языка. Меня волнует, почему ты решил, что в определении Full Text Serach должен обязательно входить и поиск словоформ? Почему? Я понимаю, что так оно лучше. Но, имхо, в определение не входит. Ок, вот моя идея: Чуть раньше, когда компы были не такими мощными, было трудно, вернее- медленно, просто найти слово в большом объеме текста, так как грубо говоря %like% дает плохой результат по времени. Когда разработали алгоритм такого поиска, быстрого, он и был назван FTS. Далее, так как аппетит приходит во время еды, были разработаны способы поиска словоформ. В принципе, их тоже можно отнести к FTS, а можно и не относить. Не случайно в моей ссылке есть разделение "интеллектуальный поиск" и "текстовый поиск". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:52 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneЗайцев Фёдорможно ссылку хоть на одну статью? Ышо раз: Ссылко на Яндекс. пасиба. там нет ничего о "полнотекстовости". вообще. как и в прошлый раз, видимо. Di_LIne Смотреть - 2-й радел. Где русским по белому написано " Зачем нужны морфология и синтаксис или Как искать ветра в поле " которую я уже приводил в топиге... тут тоже нет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:53 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Зайцев ФёдорDi_LIne3. Полный - подразумевает использование в работе полный набор Правил того языка, к которому система применяется. если не секрет, откуда берутся такие формулировки? - Как это откуда? - Как можно програмировать на Сях, Дельфях и тп, не зная Правил программирования, ситнаксис и особенности данного языка? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 18:56 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
S.G.Di_LIne А пока - немножко теории. В русском языке слово может иметь 12 форм: по 6 падежных форм для единственного и множественного числа для существительных. Меня мало волнуют словоформы русского языка. Меня волнует, почему ты решил, что в определении Full Text Serach должен обязательно входить и поиск словоформ? А, кстати, зря... И в том же посте, чуть ниже, я привел пример и попросил дать ответы на конкреные вопросы по примеру. Но что-то ни кто не ответил вообще НИЧЕГО по ним. Это так, реплика в сторону, если не нравится. А обязательность использования морфологии я показал на примерах, и в часности, для создания систем "документооборота". Но опять - НИ КТО ни чего не смог возразить... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:02 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne Ышо раз: Ссылко на Яндекс. Смотреть - 2-й радел. Где русским по белому написано " Зачем нужны морфология и синтаксис или Как искать ветра в поле " которую я уже приводил в топиге...Спасибо. И где там написано: "Яндекс осуществляет технологию Full Text Search, которая включает как простой поиск, так и поиск словоформ"? Да, там написано: авторЗадача Яndex.Dict - понимание и расширение запроса пользователя и передача обработанного запроса независимому поисковому механизму. Яndex.Dict работает с уже готовым индексом, созданным без учета морфологии языка. Принцип взаимодействия Яndex.Dict с поисковым механизмом — преобразование ("морфологизация") поискового запроса, то есть каждый элемент поискового запроса, опознаваемый как слово русского языка, заменяется на все его словоформы.Но они нигде не называют это "полнотекстовым поиском". Они называют это поиском со включенной "морфологизацией" запроса. Ы? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:05 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne А обязательность использования морфологии я показал на примерах, и в часности, для создания систем "документооборота". Но опять - НИ КТО ни чего не смог возразить...не-а, Di_Line ни что несмог до казать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:07 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Зайцев Фёдорпасиба. там нет ничего о "полнотекстовости". вообще. как и в прошлый раз, видимо. Видимо пока не прочитаете ДОСЛОВНО - не успокоится народ. Не лично! Ладно... Но КОНКРЕТНЫЕ ПРИМЕРЫ , приведенные в топике, уж извольте или опровергнуть, или согласиться с ними. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:07 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneЗайцев ФёдорDi_LIne3. Полный - подразумевает использование в работе полный набор Правил того языка, к которому система применяется. если не секрет, откуда берутся такие формулировки? - Как это откуда? - Как можно програмировать на Сях, Дельфях и тп, не зная Правил программирования, ситнаксис и особенности данного языка? некто в этой теме пытается убедить оппонентов в том, что его представление о фтс истинное. по дороге всплывают доверительно съеденные собаки, ПРаВИЛА рУссКогО языкА, ссылки на статьи о пользе морфологии, правила программирования и синтаксис Си и т.д. однако ни из чего пока не следует, что вышеупомянутое представление является общепринятым или хотя бы поддерживается множеством авторитетных организаций. на данный момент более-менее достоверно известно, что 1) Di_LIne согласен с мнением Di_LIne и не согласен с мнением остальных высказавшихся 2) МП поддерживает Di_LIne, а не его точку зрения. маловато будет 2-х человек для общепринятости и одного Di_LIne в качестве признанного авторитетной. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:10 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
S.G.Но они нигде не называют это "полнотекстовым поиском". Они называют это поиском со включенной "морфологизацией" запроса. Ы? Из той же статьи: ЯндексРаспространено мнение, что шаблон "*", означающий любой набор символов, достаточен для поиска в русских текстах . ... и ниже по тексту. И еще от туда же: ЯндексОтсутствие морфологии сильно, а иногда катастрофически влияет на чувствительность и избирательность поиска. Ы? А FTS откровенно лагает на конкретных, приведенных выше, примерах. Ну и какая наф от него польза тогда, ы? И еще раз, отправная точка : авторНету там ни какого "полнотекстового поиска" для русского языка. Не-ту! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:13 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Hello, Зайцев! You wrote on Wed, 22 Jul 09 16:10:15 GMT: Зайцев ЗФ> некто в этой теме пытается убедить оппонентов в том, что его представление о фтс истинное. ты станешь спорить с MS? повторяю для упёртых. FTS от MS для английского (и прочих "нерусских") языка работает с учетом морфологии. для русского - нет (по крайней мере до 2005 включительно). в 2005 было обещано, но не реализовано. есть сторонние разработки, позволяющие задействовать полноценный FTS для русского языка на платформе MS. вплоть до MS SQL-2000. благо интерфейс и движок у MS для этого имеется. но вы конечно можете продолжать квадратное катать, а круглое носить. ваше право. -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:22 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
S.G., Народ, не парьтесь, у него просто нормально объяснить не получается ;-) Если понимать FTS как "обычный большой индекс" всей текстовой информации (как LIKE), то его работа будет очень, очень, очень, очень, очень, очень медленной. С целью увеличения скорости работы такого поиска, при создании FTS данные предварительно обрабатываются. Это позволяет не только сократить объем самого индекса, а соответственно и скорость работы, но и искать слова в других словоформах. Теоретически, это можно назвать "морфологическим анализом", т.к. обработка основана на правилах естественного языка. Но ее цель не "анализировать", а "увеличить производительность". Другими словами, FTS без морфологического анализа будет работать, но очень медленно. Поэтому в современных БД индексируемые данные для FTS предварительно обрабатывается с учетом морфологии. Можно сказать, что Di_LIne прав в том, что в FTS используется морфологический анализ, но он путает причину и следствие. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:22 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Зайцев Фёдороднако ни из чего пока не следует, что вышеупомянутое представление является общепринятым или хотя бы поддерживается множеством авторитетных организаций. Мда... Это - полный ПАРАГРАФ. Бо, ссылаюсь на исторический факт и авторитетное развитие Истории, как вы любите: 1. Теория Относительности Энштейна - опрокидывала Афтаритетные мнения в... 2. Коперник - тоже переворачивал систему мировозрения с головы на ноги... Если бы кто-то не ставил под сомнения аФФтаритетоф, то сидели бы по самые уши в первобытном дерьме. Ни кто Науку бы не развивал, не пытался осмыслить заново, не ставил бы конкреных экспериментов обрушивающих все предыдущие представляения и запихивающих тех самых аФФтаритетов к г... посамые не балуйся. А сидели бы и кидались сцылками на афтаритеты, которые есть Истина в последней инстанции. - Фсио! Теперь мона и забанится. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:23 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
РеалистДругими словами, FTS без морфологического анализа будет работать, но очень медленно. Не, ты не в теме.... С морфологией-то как раз и растут затраты времени на обработку. Но с ней - резко растет ТОЧНОСТЬ поиска. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:26 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Да, кста! Дайте, плиз, ссылку (хотя бы одну), что поведение FTS для указанных примеров - есть единственно правильное и иначе быть не должно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:29 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Мимопроходящийты станешь спорить с MS? повторяю для упёртых. сорь, иногда мне нужно по 2.75 раза повторять нет, конечно. они же про свою реализацию пишут. а вот это - тип данных timestamp по их версии ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:37 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne Мда... Это - полный ПАРАГРАФ. Бо, ссылаюсь на исторический факт и авторитетное развитие Истории, как вы любите: 1. Теория Относительности Энштейна - опрокидывала Афтаритетные мнения в... 2. Коперник - тоже переворачивал систему мировозрения с головы на ноги... Если бы кто-то не ставил под сомнения аФФтаритетоф, то сидели бы по самые уши в первобытном дерьме. Ни кто Науку бы не развивал, не пытался осмыслить заново, не ставил бы конкреных экспериментов обрушивающих все предыдущие представляения и запихивающих тех самых аФФтаритетов к г... посамые не балуйся. А сидели бы и кидались сцылками на афтаритеты, которые есть Истина в последней инстанции. - Фсио! Теперь мона и забанится. т.е. некто Di_LIne позволил себе хамить лишь потому, что 1) он гением, первооткрывателем, носителем нового знания о полнотекстовом поиске, по причине чего любое его определение истинно 2) никто не может подтвердить его правоту, т.к. остальное человечество просто ещё не доросло это понимания сути. 3) простым смертным не дозволяется высказывать иметь мнение, отличное от Истинного. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:43 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Зайцев Фёдора вот это - тип данных timestamp по их версии )А что, хороший пример. У меня вопрос к апологетам FTS: - Поле timestamp учитывается в FTS по названию месяца и/или прописью? Типо бландынко набрала: - Все документы в сентябре... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:46 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Hello, Зайцев! You wrote on Wed, 22 Jul 09 16:37:10 GMT: ЗФ> Зайцев ФёдорМимопроходящийты станешь спорить с MS? ЗФ> нет, конечно. ЗФ> они же про свою реализацию пишут.итак, нет возражений, касаемо FTS от MS? идём дальше. как обстоят дела с "английским" у Оракл Текст? -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:52 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Зайцев Фёдор, еще раз: - Дайте ссылку на авторитетный источник, где бы утверждалось, что поведение FTS относительно Русского языка, НЕ учитывать морфологию, правильное и быть так должно . Я хоть какую-то смог нарыть, что морфологию нужно учитывать. - Ждем-с, ответного хода аппонентов... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:52 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Мимопроходящий идём дальше. Да ну его, МП... Дело же не в сути вопроса, а в 2-х вещах: 1. Прикрутил к проекту FTS - и ниии...фсё! - У мну все крута, а юзверь сам дурак, искать не умеет. 2. Можно гордо в бумашке к проекту написать: - Система обеспечивает полнотекстовый поиск по документам. И срубить на сем бабла. А если будут притензии - см п.1 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 19:59 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Меня вообще удивляет, как о проблемах поиска с учетом морфологии может высказывыться человек, который не в состоянии формулировать свои мысли на русском языке, я говорю Di_Line. Причем я понимаю, что он использует "падонкаффский" сленг специально, но мы ведь на инженерном sql.ru а не на форуме подростков-малолеток, верно? Предлагаю топик закрыть, т.к. его автор уже давно во всем разобрался, а троллинг откровенно раздражает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 20:00 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Ggg_old, Поддерживаю! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 20:04 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Ggg_old но мы ведь на инженерном sql.ru а не на форуме подростков-малолеток, верно? Верно, кто же спорит? Вот и дайте четкий, инженерный ответ, почему НЕ нужно учитывать морфологию. Я уже какой раз об этом прошу... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 20:14 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneВерно, кто же спорит? Вот и дайте четкий, инженерный ответ, почему НЕ нужно учитывать морфологию. Я уже какой раз об этом прошу... Вау, вот это в натуре другой базар! На не гнилые комменты и ответить не в падлу ;-)))))))))) По теме топика: Под FTS каждый производитель БД понимает то, что он реализовал. Ссылку на MS тебе уже давали. Вот на 1С , вот PostgeSQL , вот MySQL . Действительно, там есть поиск с учетом морфологии языка, действительно учитывать при поиске морфологию нужно . Но анализ морфологии - это следствие оптимизации FTS. Но никак не на оборот. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 20:33 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Реалист, для начала: Толковый словарь Ожегова Морфология - раздел граматики, наука о частях речи , об их категориях и о формах слов РеалистДействительно, там есть поиск с учетом морфологии языка... Морфология языка - это как? Это так, на заметку что бы взять... Реалист действительно учитывать при поиске морфологию нужно . Ок! А если она НЕ учитывается, как в случае FTS, тогда что? Реалист Но анализ морфологии... Анализ морфологии СЛОВА - сделают лингвисты, напишут Правила, внесут учебники, словари и тп. Реалист Но анализ морфологии - это следствие оптимизации FTS. Но никак не на оборот. То есть морфология слов в Языке появляется из-за оптимизации FTS? Или же FTS должна быть оптимизирована под морфологию применяемую в конкретном Языке, литературном, разговорном и тд? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 20:54 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, Вопрос к тебе, коль опыт имеется в данной области. И коль ты звезда данного топика (по-доброму, канешна) Вот сколько словоформ (не слов) в русском языке всего? Каково их количество, если вот так внести их всем скопом в словарик БД? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 21:16 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Понравился мне PostgreSQL в приведенной ссылке: авторСами парсеры и словари также хранятся в системе , их можно добавлять, изменять и удалять с помощью SQL команд. У меня Словарь составляет на сегодняшний день чуть больше 6 млн. общеупотребительных слов, в основной морфеме: именительный падеж единственного числа. Не считая спец. терминов по разным отраслям науки и производтсва. Я это к тому, что размер системы в мегабайтах должен составлять не так и мало. Текст написан на русском, а вот в примерах - почему-то только английские слова используются.. В Ispell от Alexander Lebedev, который есть в свободном доступе, кучи слов просто нет (про фамилии - я уже говорил), а в affix наличие кучу ошибок и неполностью описаны все схемы... Хорошо, если он дополнен в PostgreSQL и исправлен. Далее можно углубляться в нюансы. Но не думаю, что это интересно широкой публике. ИМХО: GiST индекс - все недостатки хеширования наглядно продемонстрированы в MnogoSearch. И как программисты, все знают, что коллизий при таком подходе не избежать. GIN индекс - сами авторы данного документа отмечают: авторЭтот индекс используется практически всеми большими поисковыми машинами, однако его использование в базах данных для индексирования изменяющихся документов затруднено , так как любые изменения ... приводят к большому количеству обновлений индекса. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 21:23 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Senya_LИ коль ты звезда данного топика (по-доброму, канешна) Меня можно обвинить лишь в буратиндии... Видишь, я еще слово придумал - Буратиндия. И у носителей языка оно не вызывает трудностей, как в восприятии, так и в морфологии. Senya_L Вот сколько словоформ (не слов) в русском языке всего? Каково их количество, если вот так внести их всем скопом в словарик БД? Может я не правильно понял вопрос... По нашим приблизительным оценкам емкость Русского языка составляет 20-25 миллионов слов. Средне-статистическое слово имеет всреднем 11-14 словоформ. Если взять длинну слова равную 8-10 знакам, то можешь подсчитать объем в мегабайтах. Плюс к этому нужно учесть постоянное развитие языка и появление новых слов, как родных, так и заимствованных из других, в часности английского, языков. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 21:36 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneРеалист, для начала: Толковый словарь Ожегова Морфология - раздел граматики, наука о частях речи , об их категориях и о формах слов РеалистДействительно, там есть поиск с учетом морфологии языка... Морфология языка - это как? Это так, на заметку что бы взять... Реалист действительно учитывать при поиске морфологию нужно . Ок! А если она НЕ учитывается, как в случае FTS, тогда что? Реалист Но анализ морфологии... Анализ морфологии СЛОВА - сделают лингвисты, напишут Правила, внесут учебники, словари и тп. Реалист Но анализ морфологии - это следствие оптимизации FTS. Но никак не на оборот. То есть морфология слов в Языке появляется из-за оптимизации FTS? Или же FTS должна быть оптимизирована под морфологию применяемую в конкретном Языке, литературном, разговорном и тд? Какой ты виртуоз жонглировать словами! Я перечитал каждое твое предложение несколько раз. Каждое слово понятно в отдельности, но я не смог постичь общего смысла. Все, я слил, ты во всем абсолютно прав, думаю, что это мой последний ответ в данном топике. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 21:50 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneSenya_L Вот сколько словоформ (не слов) в русском языке всего? Каково их количество, если вот так внести их всем скопом в словарик БД? Может я не правильно понял вопрос...Да нет, ты все правильно понял. Я надеюсь. :) Я когда-то давно этим вопросом интересовался, но в частном, так сказать, порядке (в смысле денег мне за это никто не платил, глубоко не копал). У меня набралось не более 0,5 лимона словоформ, просто загоняя литературные произведения из библиотеки Мошкова. Естественно, морфологические связи никто не устанавливал. Отсюда и интерес, чисто академический, как это работает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 21:52 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
MySQL по приведенной выше ссылке. (В порядке прочтения текста) 1. MySQLПолнотекстовые индексы в MySQL обозначаются как индексы типа FULLTEXT. Эти индексы могут быть созданы в столбцах VARCHAR и TEXT То есть мой вопрос про поле таймстамп и его индексацию как текста - отвалился. 2. MySQLДля каждой строки столбца в заданной таблице команда MATCH() возвращает величину релевантности, т.е. степень сходства между строкой поиска и текстом Понятие термина РЕЛЕВАНТНОСТЬ четко не определено и очень запутано. 3. MySQLДля разбивки текста на слова MySQL использует очень простой синтаксический анализатор... Любое ``слово'', присутствующее в стоп-списке (stopword) или просто слишком короткое (3 символа или меньше), игнорируется. То есть такие слова, как ХОР, МЕД и прочие - нафиг. 4. Про морфологию - ни чего вообще не сказано. Ни "да", ни "нет". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 21:53 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
РеалистКаждое слово понятно в отдельности, но я не смог постичь общего смысла. Да ты не расстраивайся... Чес-слово - не только ты один. У меня даже справка есть, что планетоитянин, выданая П02. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 22:00 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Senya_LОтсюда и интерес, чисто академический, как это работает. Если честно - афигительно. И, если я правильно прочитал между строк, то в Яндексе есть целый отдел, который занимается ТОЛЬКО лингвистикой, укомплектованный, в том числе, и филологами по образованию... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 22:05 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Ребята, спор выглядит очень тупо. Человек поимел не правильное представление о термине. Он взялся его разбирать по "буквам". Я так понял у него большой опыт в этом :) Но в реальности термин не всегда "математически" отражает реальную сущность. Слово Full у каждого имеет свой "объем". В реальности же, термин FTS означает только, что будет проводится поиск по вхождениям слов в тексте. Люди которые в программировании больше 20 лет, прекрасно знают об этом. Это понятие появилось при них. Другое дело, что в этом мире ничего постоянного нет и терминология тоже меняется. Многие понятия становятся ширше (как говорил известный кино-герой). Да. В настоящий момент полнотекстовые сервисы намного функциональнее и богаче, но мнение о том, что FTS это обязательно полный морфологический поиск ошибочно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 22:19 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneSenya_LОтсюда и интерес, чисто академический, как это работает. Если честно - афигительно. И, если я правильно прочитал между строк, то в Яндексе есть целый отдел, который занимается ТОЛЬКО лингвистикой, укомплектованный, в том числе, и филологами по образованию...Я в Яндекс резюмов не писал, свой яндекс открывать не собирался ни в коем разе. Просто попробовал такой вариант с составлением словаря словоформ. По правде сказать мне это нафик не надо было. Попробовал на FB - вроде работало. Сам понимаешь: как работало - это вопрос вторичный... Так что по шарабану, но чем черт не шутит? Может и понадобится когда-нибудь, если FTS от MSSQL перестанет удовлетворять потребности. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 22:22 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Senya_LПопробовал на FB - вроде работало. Сам понимаешь: как работало - это вопрос вторичный... Так что по шарабану, но чем черт не шутит? Может и понадобится когда-нибудь, если FTS от MSSQL перестанет удовлетворять потребности. Хошь верь, хошь не верь, но мы смогли добится, что 16 mСек тратится на обработку любого запроса, вне зависимости от кол-ва слов в запросе, ни от размера БД. Правда на Yaffil-е. - Senya_L, ты вот честно скажи, свои собаки - сочтемся, ты проверял этот FTS от MSSQL на Not Found? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 22:31 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneSenya_LПопробовал на FB - вроде работало. Сам понимаешь: как работало - это вопрос вторичный... Так что по шарабану, но чем черт не шутит? Может и понадобится когда-нибудь, если FTS от MSSQL перестанет удовлетворять потребности. Хошь верь, хошь не верь, но мы смогли добится, что 16 mСек тратится на обработку любого запроса, вне зависимости от кол-ва слов в запросе, ни от размера БД. Правда на Yaffil-е.Выражаю респект и пожелаю развития. Чем тот же черт нет шутит? Может выйдет в продакшн и заткнете Яndex за все места.Di_LIne- Senya_L, ты вот честно скажи, свои собаки - сочтемся, ты проверял этот FTS от MSSQL на Not Found?Неа. Это была второстепенная примочка и большого жаренного петуха у меня за спиной не было чтобы особо напрягаться. А собственного интереса данная тема не вызвала. Попросту прикрутил - и забыл. :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 22:41 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Senya_L... заткнете Яndex за все места. Его теперь ни кто не заткнет, дашь Гугля... Senya_LПопросту прикрутил - и забыл. :) Во-во и большинство, имхо, так... FTS-ы молчат насмерть, пора закругляться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 22:48 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneSenya_L... заткнете Яndex за все места. Его теперь ни кто не заткнет, дашь Гугля... Senya_LПопросту прикрутил - и забыл. :) Во-во и большинство, имхо, так... FTS-ы молчат насмерть, пора закругляться.Не знаю, что ты воюешь. Вообще-то не забывай, что цель все же должна оправдывать средства. Если ты вкладываешься в "настоящий FTS", то на это должны быть обоснованные (экономические) причины. У вас - были, у других - нет. ЗЫ. Хотя рекламу сделал - можешь спать спокойно ;))). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 22:54 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Заметка на полях. Как-то пришлось мне искать юридические документы в инете. До сайта добрался быстро, но там... Черт ногу сломит, а поиск локальный - хоть вешайся. А официальную бумагу только у них скачать для распечатки можно. И крутился сайтик на Мускуле с FTS-ом... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 22:58 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Senya_LВообще-то не забывай, что цель все же должна оправдывать средства. С клавы реплику снял, редиска, пока заметку писал... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 23:00 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
_vic_Да. В настоящий момент полнотекстовые сервисы намного функциональнее и богаче, но мнение о том, что FTS это обязательно полный морфологический поиск ошибочно.+1. Вроде все это поняли, кроме одного человека. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 23:28 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Я специально прошарился в инете. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 23:43 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Сорри Я специально прошарился в инете. Оказывается под FTS в SQL действительно начинают понимать использование морфологии. Миграция термина, блин. И опять Microsoft :) http://blogs.msdn.com/alexejs/archive/2009/06/13/9745778.aspx ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 23:49 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
_vic_Ребята, спор выглядит очень тупо. Человек поимел не правильное представление о термине. Он взялся его разбирать по "буквам". Я так понял у него большой опыт в этом :) Но в реальности термин не всегда "математически" отражает реальную сущность. Слово Full у каждого имеет свой "объем". В реальности же, термин FTS означает только, что будет проводится поиск по вхождениям слов в тексте. Люди которые в программировании больше 20 лет, прекрасно знают об этом. Это понятие появилось при них. Другое дело, что в этом мире ничего постоянного нет и терминология тоже меняется. Многие понятия становятся ширше (как говорил известный кино-герой). Да. В настоящий момент полнотекстовые сервисы намного функциональнее и богаче , но мнение о том, что FTS это обязательно полный морфологический поиск ошибочно.-1 По-моему - дешевая демагогия. Не потому, что поддерживаю Dj_Line'а, а потому что сплошное бла-бла-бла. Расскажите о всей этой "ширшине" - и люди поверят. А так - пустая говорильня. Диля хоть как-то пытался обосновать свое недоверие к оффициальным FTS. В его рассуждениях только одно слабое место - целесообразность всех этих потуг с качеством поиска. Сам же говорит - у Яндекса там целый отдел этим занимается, у него лично хватило собственного энтузиазма. ЗЫ. Про недоработки в FTS у MSSQL косвенно говорит уже то, как подключаются словари русского языка. Это ж надо, Мелкософт рекомендует для этого прописывать ключи реестра "ручками"! Это уже какой-то линукс получается _vic_Сорри Я специально прошарился в инете. Оказывается под FTS в SQL действительно начинают понимать использование морфологии. Миграция термина, блин. И опять Microsoft :) http://blogs.msdn.com/alexejs/archive/2009/06/13/9745778.aspxДа шо выговорите?! Неужели научились по filestream'овым полям шукать? Да вообще-то FTS у MSSQL был основан на системной службе полнотекстового поиска в файлах. Надо же, прикрутили... Если вот только вспомнить как коряво он работает... По-крайней мере в XP ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 23:54 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Senya_LВ его рассуждениях только одно слабое место - целесообразность всех этих потуг с качеством поиска. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2009, 00:05 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Senya_LВ его рассуждениях только одно слабое место - целесообразность всех этих потуг с качеством поиска. Согласен. Догадливость гугла иногда раздражает :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2009, 00:06 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Senya_L В его рассуждениях только одно слабое место - целесообразность всех этих потуг с качеством поиска. Нифига ни полразу! С этим столкнулись все, кто серьезно работает On-Line. Всяческие хоум-раги и сайтиги от школьнигаф - не считаются. Особенно "погорели" те, кто юзает Мускул с его FTS-ом... А альтернативы у них - нету. Остается один путь - делать самим. Есть не плохие реализации, но... ограниченные именно со стороны Мускула. (Только без холивара "блокировочник-версионник". Для этого есть свой топиг.) А так как у Yaffil нет родной такой приблуды (UDF очень старой разработки не в счет), то и пришлось с нуля начинать, пройдя весь путь, от попыток прикрутить какоре-либо из готовых решений - до реализации своего варианта, и продолжая дальше работать. Те разработчики, кто работает на Off-Line, еще это не почувствовали, что значит Not Foud и в какие убытки оно выливается заказчику. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2009, 00:12 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
_vic_Senya_LВ его рассуждениях только одно слабое место - целесообразность всех этих потуг с качеством поиска. Согласен. Догадливость гугла иногда раздражает :) Не стоит путать поисковые системы, которые находятся под мощным СЕО-прессингом и локальный поиск по сайту. - Ага? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2009, 00:18 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Не в обиду Judge. - Как вы расцениваете систему поиска на СКРУЛЬ.РУ по 10 бальной шкале? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2009, 00:24 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, Наверно МАКСИМАЛЬНО надоело, а? _vic_ - это же твой клон? Да, Дим? ;-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2009, 00:28 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
РеалистНаверно МАКСИМАЛЬНО надоело, а? По сабжу и по обсуждению - есть чё сказать по делу, аргументация, примеры с фактами? Реалист_vic_ - это же твой клон? Да, Дим? ;-) - Выдохни и просись к П02 в подмастерья. Хотя не возьмет... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2009, 00:32 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
РеалистDi_LIne, Наверно МАКСИМАЛЬНО надоело, а? _vic_ - это же твой клон? Да, Дим? ;-) Овечкой Долли меня еще ни кто не называл :) Unknown error occurred while merging!!! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2009, 01:15 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneЗайцев Фёдор, еще раз: - Дайте ссылку на авторитетный источник, где бы утверждалось, что поведение FTS относительно Русского языка, НЕ учитывать морфологию, правильное и быть так должно . Вы либо не понимаете, чем отличается "не обязан учитывать" и "обязан не учитывать", либо делаете вид. Ищите дураков в зеркале в обоих случаях. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2009, 10:19 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Зайцев ФёдорВы либо не понимаете, чем отличается "не обязан учитывать" и "обязан не учитывать", либо делаете вид. Ссылка-то на авторитетный источник - ГДЕ??? А котором сей вопрос освещен. ЗЫ: В зеркале оную не найдете... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2009, 10:27 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneЗайцев ФёдорВы либо не понимаете, чем отличается "не обязан учитывать" и "обязан не учитывать", либо делаете вид. Ссылка-то на авторитетный источник - ГДЕ??? А котором сей вопрос освещен. ЗЫ: В зеркале оную не найдете... Уважаемый, во-первых резкие безапеляционные высказывания Вы начили делать первым. Во-вторых, Вам были даны ссылки хотя бы на википедию. Да, источник не совсем авторитетный, но Вы бы хоть одну ссылку привели! Пока мы видели ссылки только на Ваши же размышления либо на страницу яндекса, где ничего не говорилось о FTS. Т.о. образом Вы не смогли обосновать своё пренебрежительное высказывание. Извиняться тоже не соизволили. Вы вынуждаете меня выполнить обещание Вы могли бы написать что PostgeSQL и MySQL хреново ищут - тогда никаких претензий бы не было, но Вы написали что они именно не поддерживают полнотекстовый поиск. Учитесь дискутировать, а хамить то много ума не надо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2009, 11:03 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
SergSuperТ.о. образом Вы не смогли обосновать своё пренебрежительное высказывание. Ну да? А вот здесь этот же автор сам признает, что: Реалист...действительно учитывать при поиске морфологию нужно. А ссылку на тот же MS приведена даже не мной... Таким образом моя имха совпадает, в данном аспекте, с позицией Microsoft. Далее... "Прикручивание" к PostgeSQL Ispel - не есть попытка внедрения учета морфологии в их реализацию FTS? Если без оной все так замечательно, то для чего они это сделали? Ссылка, где это указано, опять же приведена аппонентом. Этого тоже мало? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2009, 11:24 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
SergSuperВы могли бы написать что PostgeSQL и MySQL хреново ищут - тогда никаких претензий бы не было, но Вы написали что они именно не поддерживают полнотекстовый поиск. Именно это я и сказал в самом начале вот в этом посте с указанием к какому именно языку относится данное мнение. Нет? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2009, 11:27 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneА ссылку на тот же MS приведена даже не мной... Вот именно что не Вами. Di_LIne "Прикручивание" к PostgeSQL Ispel - не есть попытка внедрения учета морфологии в их реализацию FTS? Будем считать это признанием того что FTS в PostgeSQL в каком-то виде существует. Di_LIne Если без оной все так замечательно, то для чего они это сделали? Ссылка, где это указано, опять же приведена аппонентом. Этого тоже мало? Мало ли кто чего сделал? Четкого понятия что должен включать FTS нету, во всяком случае Вы не смогли найти. MS считает что морфология должна быть, PostgeSQL - что не должна. Нету повода обвинять людей в невежестве. Di_LIneSergSuperВы могли бы написать что PostgeSQL и MySQL хреново ищут - тогда никаких претензий бы не было, но Вы написали что они именно не поддерживают полнотекстовый поиск. Именно это я и сказал в самом начале вот в этом посте с указанием к какому именно языку относится данное мнение. Нет? Нет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2009, 14:00 |
|
||
|
|

start [/forum/topic.php?all=1&fid=35&tid=1552915]: |
0ms |
get settings: |
8ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
42ms |
get topic data: |
9ms |
get forum data: |
3ms |
get page messages: |
119ms |
get tp. blocked users: |
1ms |
| others: | 12ms |
| total: | 212ms |

| 0 / 0 |
