iv_an_ru,

нет, позиции слов такой индекс (с 99% сжатием) не содержит. Только вхождения.
Но уверяю вас, ваша фраза выдаст искомые документы, поскольку чем больше слов в фразе тем точнее поиск по документу.

iv_an_ruUkraineнет, позиции слов такой индекс (с 99% сжатием) не содержит. Только вхождения.Фтопку. Как после этого сортировать по релевантности?

Как вариант, допустим из хранилища вернулось 10 таких документов.
Тогда эти документы читаются с диска и анализируются более подробно.

Но ты не понял саму суть такого инвертированого индекса. Полнотекстовый поиск здесь по большому счету наклейка.
А если смотреть глубже то это тоже РДФ хранилище.

Ведь например можно хранить такие документы.

"Документ Кот"=>"серые глаза длинный хвост усы ловит мышей пьет молоко"
"Документ Собака"=>"длинный хвост зеленые глаза ест косточки пьет воду"
"Документ Ежик"=>"серые глаза короткий хвост иголки усы ловит мышей пьет молоко"
....

Как видим, здесь уже нет понятие порядок фразы, ближе фраза дальше фраза. Просто обьект и факт о этом обьекте.
И такую схему я могу хранить все с темже 95-99% сжатием. А вы - нет :)

iv_an_ruUkraineНо уверяю вас, ваша фраза выдаст искомые документы, поскольку чем больше слов в фразе тем точнее поиск по документу.Ну поищите в английском корпусе длинную фразу "To be, or not to be: that is the question" без учёта позиций слов. Вы найдёт почти все индексированные документы.

ваш индекс тоже ничего не найдет, потому что там везде стоп слова или слова по два символа (малозначащие).

Ukraineiv_an_ruпропущено...
Фтопку. Как после этого сортировать по релевантности?

Как вариант, допустим из хранилища вернулось 10 таких документов.
Тогда эти документы читаются с диска и анализируются более подробно.

Но ты не понял саму суть такого инвертированого индекса. Полнотекстовый поиск здесь по большому счету наклейка.
А если смотреть глубже то это тоже РДФ хранилище.

Ведь например можно хранить такие документы.

"Документ Кот"=>"серые глаза длинный хвост усы ловит мышей пьет молоко"
"Документ Собака"=>"длинный хвост зеленые глаза ест косточки пьет воду"
"Документ Ежик"=>"серые глаза короткий хвост иголки усы ловит мышей пьет молоко"
....

Как видим, здесь уже нет понятие порядок фразы, ближе фраза дальше фраза. Просто обьект и факт о этом обьекте.
И такую схему я могу хранить все с темже 95-99% сжатием. А вы - нет :)

А, ну и запрос "пьет молоко ловит мышей", вернет Кота и Ежика :)

iv_an_ruUkraineКак вариант, допустим из хранилища вернулось 10 таких документов.
Тогда эти документы читаются с диска и анализируются более подробно.Ага, значит все равно появляется диск со всеми документами в исходном виде. Только у себя мы их не считаем за гигабайты, а у других считаем. Прелестно.

есть формат збруч-2 и там, если нужно по точному вхождению фразы искать, хранятся позиции слов. Но сжатие 85%

iv_an_ruUkraineпропущено...
ваш индекс тоже ничего не найдет, потому что там везде стоп слова или слова по два символа (малозначащие).Стоп они или не стоп, я решу сам. Но если вас это смущает, рассмотрите фразу "Mother Mary comes to me speaking words of wisdom", которая даст почти тот же эффект --- все слова очень ходовые.

Статистика говорит что 99.9% слов редкоиспользуемые.
Вот взять этот сайт и тоже самое 0.1% слов встречается больше чем на сто страницах из миллионов.
Кури бесконечную дисперсию.

Поэтому ты удивишся, но на твою фразу найдется куда меньше доков чем ты думаешь.
На этом сайте так я думаю не более пары доков )

ВечностьUkraineпропущено...


Нет, хороший астрофизик на пальцах обьяснит что такое спектр.
Что звук и свет, как не странно имеют одну природу. Разнятся только длиной волны.
Что цвет это тоже длина волны и так далее.Я бы на такого хорошего астрофизика сама бы обиделась и даже кейсом по мордасам ударила бы!
Даже я, такая вот вся блондинко, и то знаю, что звук и свет существенно разную природу имеют!
Достаточно хотя бы вспомнить, что звук - продольные колебания, свет - поперечные.

Не внимательно прочитала.
Я написал что имеют одинаковую ПРИРОДУ.
Тоесть суть - колебания волны в разных диапазонах.
Звук и свет радиоволны инфракрасный диапазон и тд

Ukraineiv_an_ruпропущено...
Фтопку. Как после этого сортировать по релевантности?

Как вариант, допустим из хранилища вернулось 10 таких документов.
Тогда эти документы читаются с диска и анализируются более подробно.

Но ты не понял саму суть такого инвертированого индекса. Полнотекстовый поиск здесь по большому счету наклейка.
А если смотреть глубже то это тоже РДФ хранилище.

Ведь например можно хранить такие документы.

"Документ Кот"=>"серые глаза длинный хвост усы ловит мышей пьет молоко"
"Документ Собака"=>"длинный хвост зеленые глаза ест косточки пьет воду"
"Документ Ежик"=>"серые глаза короткий хвост иголки усы ловит мышей пьет молоко"
....

Как видим, здесь уже нет понятие порядок фразы, ближе фраза дальше фраза. Просто обьект и факт о этом обьекте.
И такую схему я могу хранить все с темже 95-99% сжатием. А вы - нет :)

Я как понимаю к этому посту претензий нет ?
Оказывается "банальный полнотекстовый поиск" суть рдф упрощенной модели со свойствами хранить дынные в очень пожатом виде ))

maytonUkraine, извини уже поздно. Я под воздействием Морфея и слабо следил за дискурсом.

РДФ - это что?

Очередная мулька нынче модная среди новосибирцев

Вечность,

Кстате картинко. От радиации до радиоволн. Спектр, специально для блондинок
http://ru.m.wikipedia.org/wiki/Файл:Spectre.svg

Вечность,

http://www.bestreferat.ru/referat-95465.html

Вот еще. Обратить внимание на табличку.

Vladimir BaskakovUkraineiv_an_ru,

Так что, либрусек можно представить в качестве направленного графа с миллиардами графов или нет ?
так мне неинтересно слова искать. Мне нужно цепочками. с выпадающими звеньями. с обработкой морфем. что б на запрос ==кошка кушала котлету== откликалось и ==кошки с удовольствием кушали вкусные котлеты==.

Хочу такой либрусек. Будет?

Стемить слова нужно. В моем случае можно слова шаблонами задавать.

Напр.
"кошк% кушал% котлет%"

% - это любой символ или набор символов

Проясним ситуац,

Грекс вернулся.
Рад что ты зализал раны выпрямил хвост и прибежал опять на клич срача.
На этот раз подготовился по методичкам или будет как прошлый раз ? )