|
|
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Кому и это не понятно, курить здесь до просвятления... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 09:56 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, вы действительно не умеете общаться и доводить свою мысль по-человечески. Маты, оскорбления и так дале. Под полнотекстовым поиском понимается, то что в субд называется full text search и там действительно нет учета морфологии языка(ов). И да, это очень продвинутый like по сути. Все остальное, надо думать писать или заказывать на стороне. Это ведь так просто выражать свои мысли вежливо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 11:22 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
РеалистDi_LIne, Знаешь, мне твои посты читать противно, не зависимо от того, что ты туда написал. Можешь сам с собой разговаривать, пока с другими людьми общаться не научишься. "пиписко в растопырку, мля" ;-) присоединяюсь ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 14:27 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Реалистпока с другими людьми общаться не научишься. Общение - Взаимные сношения, деловая или дружеская связь. Ожегов С.И. "Толковый словарь..." Москва, 2000 г. - Вопросов не имею. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 14:59 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Ggg_oldМаты, оскорбления и так дале. За это модератор отвинчивают кой-чего. Так что не надо бочку катить. Ggg_oldПод полнотекстовым поиском понимается, то что в субд называется full text search и там действительно нет учета морфологии языка(ов). И да, это очень продвинутый like по сути. И чьи это проблемы? Так же как в аглицком всё сервер, и программа, и железо. Ну и? А по сему или указывай контекст, или границы применения термина. Типо: Ggg_old..full text search ... это очень продвинутый like по сути... - Ну и кто ССЗБ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 15:04 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Кста, именно из-за глубокой убежденности, что тот "full text search" и есть настоящий поиск и упорствовал Реалист. - Нет? А про лайке я еще тут говорил, но чела не хватило это признать. Ну и? Все приведенные "аргуметы" и на слабые попытки доказать не доказуемое - дан четкий и однако_кватный ответ. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 15:14 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, Будь любезен, покажи определение понятия "полнотекстовый поиск" и то, что в него входит и морфология. Я вот, не нашел. Нашел другое: 1. вики авторПолноте́кстовый по́иск — поиск документа в базе данных текстов на основании содержимого этих документов, а также совокупность методов оптимизации этого процесса. Полнотекстовый индекс Первые версии программ полнотекстового поиска предполагали сканирование всего содержимого всех документов в поиске заданного слова или фразы. При использовании такой технологии поиск занимал очень много времени (в зависимости от размера базы), а в интернете был бы невыполним. Современные алгоритмы заранее формируют для поиска так называемый полнотекстовый индекс — словарь, в котором перечислены все слова и указано, в каких местах они встречаются. При наличии такого индекса достаточно осуществить поиск нужных слов в нём и тогда сразу же будет получен список документов, в которых они встречаются.Так, тут ничего про морфологию, только про то, что технология дает быстрое сканирование при поиске заданного слова или фразы 2. search-tech.net/ авторВиды поиска Полнотекстовый поиск — поиск по всему содержимому документа. ... Как правило, полнотекстовый поиск для ускорения поиска использует предварительно построенные индексы. Наиболее распространенной технологией для индексов полнотекстового поиска являются инвертированные индексы.и тут ничего про морфологию. 3. www.offliner.com авторИспользование морфологии является одним из важнейших приемов интеллектуального поиска текста. Так, тут про морфологию. И уже поиск называется не "полнотекстовый", а "интеллектуальный". так что- ждем линк на определения. имея ввиду: авторСуществует некоторая путаница, связанная с понятиями поиска данных, поиска документов, информационного поиска и текстового поиска.как мне кажется, твой случай именно такой. но, может и ошибаюсь, конечно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 22:41 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
S.G., А может , он хочет поиск по звучанию(SOUNDEX)? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.07.2009, 23:41 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
21_01Реалист[quot 21_01] СУБД это только часть решения. Выбор СУБД и Решение поставленной задачи - это разные вещи, не находите? Конечно, и я рассматриваю различные СУБД, чтобы представлять возможные пути решения. В последнем сообщении я спросил: отличаются ли возможности перечисленных СУБД в плане полнотекстового поиска. Возможно есть реализации, в которых присутствует часть требуемого функционала. Это будет плюсом - если в основе будет реляционная СУБД, то проще будет выбрать разработчика. Однако я не отметаю сразу вариант с чем-то другим, но мне нужно время на то, чтобы хотя бы в общих чертах составить представление о новой для меня системе. Взгляните на СУБД "Caché" с полнотекстовым поиском. Поддерживаются следующие языки: английский, немецкий, французский, испанский, итальянский, португальский и японский. Есть исходники и для русского языка с небольшим описанием морфологического анализатора. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 14:03 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
S.G.Di_LIne, Будь любезен, покажи определение понятия "полнотекстовый поиск" и то, что в него входит и морфология. Я вот, не нашел. Нашел другое: 1. вики Так, тут ничего про морфологию, только про то, что технология дает быстрое сканирование при поиске заданного слова или фразы Тошь мне, нашел аф_таритет, педивикию... Ладно, давай даже их определение рассмотрим, но ВНИМАТЕЛЬНО, по существу, а не поверхностно, на поиск набора букв "морфология"... педивикия Современные алгоритмы заранее формируют для поиска так называемый полнотекстовый индекс — словарь, в котором перечислены все слова и указано, в каких местах они встречаются. (выделение от меня.) И так. Технология называется "Full Text Search". Дайте дословный перевод этого названия на русский и его смысл. А пока - немножко теории. В русском языке слово может иметь 12 форм: по 6 падежных форм для единственного и множественного числа для существительных. (Другие - пока отложим, так как существительные - наиболее простой вариант) Существительное обозначает всю туже сущность (не просто так оно называется СУЩЕствительное), вне зависимости от словоформы. Значит речь идет о поиску сущностей, то и искать мы должны СУЩНОСТЬ. Убожество указанных "фулл текст серч" технологий применительно к русскому языку дает безобразный вариант с огромным числов ошибок. Пример: Человеку безразницы как написана фраза в документе: Документ 1. Библиотеку по адресу (тыр-пыр-дыр). Документ 2. Библиотека по адресу (тых-дрых-кышь). При применении указанной аппонетами технологии, какой результат поиска будет при поиске слова "БИБЛИОТЕКА"? 1. Будут ли в них, в результатах, указанные документы или нет? Если в результатах поиска указанные документы отсутствуют , то укажите на основании чего данные документы выборашены из результатов поиска. И не на основании машинных технологий, а с точки зрения обычногго Человек. Бо ПО все же для людей делается. ;-) 2. Почему технология называентся " FULL " (ПОЛНЫЙ) применительно к рускому языку, если она дает такие, принципиальные с точки зрения Русского Языка ошибки?! Остальное - отпишу чуть позже... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 14:10 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
ОКТОГЕНS.G., А может , он хочет поиск по звучанию(SOUNDEX)? Ну?! А не слабО' залезть в учебник Русского языка и увмидеть, что разные словформы одного слова звучат по разному? Примеры - все слова с беглыми гласными и согластными в суфиксах: ребенок -> ребенка; камень -> камнями; боец -> бойца; буек -> буйком остальные случаи - для самостоятельного изучения... Для особо страждущих - Числительные... А серьезный разговор пойдет только о глаголах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 14:18 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneСуществительное обозначает всю туже сущность (не просто так оно называется СУЩЕствительное), вне зависимости от словоформы. Значит речь идет о поиску сущностей, то и искать мы должны СУЩНОСТЬ. Гениально. Я так понимаю для глаголов полнотекстовый поиск тогда не предполагает поиск для разных форм? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 14:36 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneПример: Человеку безразницы как написана фраза в документе: Документ 1. Библиотеку по адресу (тыр-пыр-дыр). Документ 2. Библиотека по адресу (тых-дрых-кышь). При применении указанной аппонетами технологии, какой результат поиска будет при поиске слова "БИБЛИОТЕКА"? это очень простой случай, с ним справится и snowball: Код: plaintext 1. 2. 3. 4. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 14:48 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
SergSuper Я так понимаю для глаголов полнотекстовый поиск тогда не предполагает поиск для разных форм? Нет, Диля просто оставил глаголы на сладкое. Как ку-де-гра, так сказать... Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 14:49 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
... ну а тех, кто шибко боек - прикрутили к спинкам коек... (С)лассик. Против не попрешь. ЯндексЗачем нужны морфология и синтаксис или Как искать ветра в поле Распространено мнение, что шаблон "*", означающий любой набор символов, достаточен для поиска в русских текстах. То есть все проблемы, связанные с особенностями морфологии (п. 5.3), решаются путем обеспечения развитого языка запросов (п. 2.2). Но представьте себе - Вы узнали, что искали ветер в поле и нашли. Чтобы найти эту информацию, Вы, вероятно, попросите компьютер поискать слова "ветер" и "поле". Но если в тексте были формы "ветра" или "полях"? Остается вариант шаблона - "вет*" и "пол*", что тут же выдаст Вам материалы о польской ветчине и политике вето! Отсутствие морфологии сильно, а иногда катастрофически влияет на чувствительность и избирательность поиска. Запрос "ветер И поле" уменьшает чувствительность, а "вет* И пол*" - избирательность. Случаи, когда шаблон не спасает: Слова, у которых в разных формах меняется основа (супплетивные формы): идти-шел, плохо хуже, я-меня, человек-люди, ребенок-дети Слова с большим количеством словоформ. Привести список всех словоформ русского глагола (с причастными и деепричастными формами - до 250 различных форм) человеку, не имеющему лингвистического образования, очень трудно. Понять, все ли словоформы из этого списка "накрываются" шаблоном "*" - ещё труднее. Слова с беглыми гласными и чередованиями. В словаре на 90000 слов, используемом в нашей системе, примерно четверть слов имеет чередования, которые не позволяют найти слово по шаблонам: (искать-ищу, окно-окон, расти-рос: запрос и* или ок* или р* даст много мусора) Короткие (три-четыре буквы) слова: дом, хор, ... . Во всех языках, в том числе и в русском, имеется общая закономерность: чем чаще слова используются, тем они короче. Применение шаблона "*" в коротких словах приводит к большому количеству ненужных ссылок в списке найденных документов. Цитировано по тут ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 15:04 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
SergSuperЯ так понимаю для глаголов полнотекстовый поиск тогда не предполагает поиск для разных форм? - А типо ВНИМАТЕЛЬНО читать тут , ась? Di_LIne Другие - пока отложим, так как существительные - наиболее простой вариант ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 15:06 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
ЗЫ: - Компетентнось Яндекса в поисковых технологиях применительно к Русскому языку, надеюсь, не вызывает сомнений? Это не педивикия... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 15:09 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Ёшэто очень простой случай, с ним справится и snowball: Код: plaintext Ок! А с данными примерами - оно справится? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 15:11 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov SergSuper Я так понимаю для глаголов полнотекстовый поиск тогда не предполагает поиск для разных форм? Нет, Диля просто оставил глаголы на сладкое. Как ку-де-гра, так сказать... А буде дюже выошиваться - есть наречия, дее и не очень причастия. А так же "слова-исключения" из Правил Русского языка. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 15:17 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, а, тогда тебе нужен не FTS,а поиск по морфологии , причём для разных языков. Кстати, а что это за задача такая? Хитросложная супер-система поиска? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 16:09 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIneЁшэто очень простой случай, с ним справится и snowball: Код: plaintext Ок! А с данными примерами - оно справится?snowball ? точно нет, snowball же просто выделяет окончания и т.п. Если использовать словарь, видимо зависит от словаря, например в стандартном aspell/ispell слово «вша» отсутствует, соответственно не обрабатывается. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 16:12 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Ёш например в стандартном aspell/ispell слово «вша» отсутствует, соответственно не обрабатывается. - Балбес ты, Шарик. (М)ультик Ссылки-то смотрел, что я приводил, али точно не смотрел. Бо мну там говорил, что в ispell - нету ( НЕ-ТУ!!! ) более 30.000 фамилий. - Ну и какой "документооборот" можно строить на сём фуфеле? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 17:34 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
ОКТОГЕНDi_LIne, а, тогда тебе нужен не FTS,а поиск по морфологии , причём для разных языков. Что мне надо - уже работает не первый год в режиме продакшен. (FB-шный люд про то какбэ в курсе) ОКТОГЕНКстати, а что это за задача такая? Хитросложная супер-система поиска? - Задача елементарная, Уотсон! Доказать, что тот самый Тьху_Серчь - полный ацтой и панацея для ламеров . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 17:39 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
Di_LIne, В этом топике - скоро Ваших сообщений будет половина от общего числа. Вы случайно не сам с собой спорите ;-) ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 17:49 |
|
||
|
Выбор СУБД с полнотекстовым поиском
|
|||
|---|---|---|---|
|
#18+
РеалистDi_LIne, В этом топике - скоро Ваших сообщений будет половина от общего числа. Вы случайно не сам с собой спорите ;-) ? А что, кто-то что-то может по существу вопроса возразить? Если нет, то вот такую ХНЮ больше нести не стоит ... - Ы? А так... Слиф защитан, живи... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.07.2009, 17:53 |
|
||
|
|

start [/forum/topic.php?fid=35&msg=36103746&tid=1552915]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
41ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
60ms |
get tp. blocked users: |
1ms |
| others: | 239ms |
| total: | 382ms |

| 0 / 0 |
