Partisan MНо бывают ещё индексы, не сохраняемые в файлах, а динамически создаваемые в памяти (in-memory index) для временных данных. Поля для них объявляются нехранимыми (stored="false").
Кажется stored - это опция хранения документа целиком. Или атрибута. Например
вместе с документом вы храните его ISBN, DateCreation, Size, URL e.t.c.

А само туловище документа. Text. Или Content в силу особенностей (очень дофига мегабайтов)
иногда не кладут в индекс а просто анализируют. Например поисковик проиндексировал
"Войну и Мир" и вы можете искать в нем слова (токены) или словообразующие
атомы (корни слов по алгоритму SnowBall) и вы можете получить ранг документа
в поисковом ответе. Но при этом сам документ вам будет недоступен. Надо будет
дать URL на оригинал чтоб юзер его мог почитать. Нормальная практика ИМХО.

questionerTokenized - каким-то образом значение поля бьётся на токены. Токены попадают в индекс.

Что за токены? зачем?
Токены это грубо говоря поток words, который попадает в индекс. Но в силу особенностей
поисковых движков в них выгодно толкать не оригинальные слова а очищенные. Например..
из слов полностью выкашиваются нахер предлоги, междометия знаки препинания и
спец-символы. Далее в зависимости от токенизатора (щас навскидку не помню точно
или анализатора) вы можете пойти еще дальше и порезать слова на словообразующие
основы. Полученный поток токенов будет очень компактным и селективным но по смыслу
будет соотвествовать документу. Профит - экономия места в индексе. Может быть в несколько раз.

Это по большей части зависит от вас. Смотря что вы хотите искать.

Окей. Я проясню на примере двух кейсов.

Кейс 1. У вас есть текст "Война и Мир" в виде текстового файла. И вам интересно найти
сколько раз там Пьер Безухов встречался с Наташей Ростовой. Текст - небольшой.
Несколько мегабайт. Никакие Lucene здесь не нужны вообще. Берете алгоритм
Кнута-Морриса-Пратта (КМП) и спокойно загружаете весь текст в один String
и ищете там. Потом курите найденные вхождения.

Или просто берете Notepad++ :)...

Кейс 2. Вам нужно из советских газет " Правда " узнать сколько раз Ленин и Троцкий
спорили о пользе революции начиная с 1917 года но при этом не читать газеты где упоминается
Сталин . Вот такая причудливая постановка.

Здесь заранее нам нужны оцифрованные копии газет и некая технология которая
позволит искать в первую очередь наиболее релевантные издания газет. Тоесть
нас будет интересовать тот выпуск где наши искомые слова встретились не 1 раз
а много раз и в совокупности. Это все ради того чтобы поберечь собственное
здоровье. Ведь просматривать вручную несколько тысяч результатов будет
как-то грустно.

Что нам нужно? Нам нужны Ленин и Троцкий как keyword. Учитывая что никто
при оцифровке не занимался построением keywords то придется возложить
эту задачу на анализаторы. При этом нам нужен именно Русский анализатор.
Тоесть тот который делает сведение падежей и склонений. Вместо Троцкого,
Троцкому ... нам нужен хештег который просто характеризует это слово (токен).

Нам нужна методология разделения наших данных на Documents. Пускай это будет 1 номер
газеты. Для простоты. Хотя возможен и другой подход.

Нам нужны также хранимые атрибуты для индексирования. Например title="Правда",
publishDate="YYYY-MM-DD"... e.t.c. И собственно body. Или текст газеты.

Далее мы индексируем наш контент по всем правилам Lucene. Добавляем нужные
атрибуты и ищем следующим поисковым запросом:




В результате мы получим сет документов отранжированных по совокупности искомых атрибутов.
Газеты "Правда" с Лениным и Троцким будут в топе. А газет со Сталиным не будет.

Полученный индекс можно не удалять а хранить и юзать для других поисков.