powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Red Database + FTS
23 сообщений из 23, страница 1 из 1
Red Database + FTS
    #39145851
Gregory K
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Доброго времени суток

Имеется база данных размером около 500 мегабайт и около 2 млн записей. Есть текстовые поля в UTF8. Изначально планировал использовать FB, однако понадобился полнотекстовый поиск с морфологией.

Поверхностное курение интернета показало в общем небогатый выбор вариантов, одним из которых был сфинкс.

Потом я вспомнил про сабж и про заявленную поддержку FTS на Java. Установил, сконфигурил, построил индекс, все в общем работает, поиск идёт, умеет также искать похожие слова.

Дальше захотелось embedded варианта.

Всё было хорошо, пока не попытался подключить java для embedded. Дело в том, что jvm подключается через jvm.conf, который лежит в корневой папке сервера. А embedded сервер его игнорирует совершенно (я логично предположил, что находиться он должен рядом с dll)

Посему прошу совета если кто-то уже сталкивался с этой проблемой.
...
Рейтинг: 0 / 0
Red Database + FTS
    #39145854
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Gregory Kя логично предположил, что находиться он должен рядом с dll
Передвинь на одну папку выше.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Red Database + FTS
    #39145866
Gregory K
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry SibiryakovGregory Kя логично предположил, что находиться он должен рядом с dll
Передвинь на одну папку выше.


Не совсем понял

Jvm.conf лежит рядом с exe-шником проекта и embedded-dll, ну и остальная обвязка по своим папкам.
Эта папка является корневой для проекта и выше вроде ничего интересного нет.
...
Рейтинг: 0 / 0
Red Database + FTS
    #39145872
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Gregory KНе совсем понял
Тогда ProcessMonitor в руки и смотреть до просветления.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Red Database + FTS
    #39145880
Gregory K
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Может я как-то спросил не правильно? Без уважения. Почему бы просто не сказать?

Я глубоко приветствую исследовательский подход к решению проблемы, но задавая вопрос в большинстве случаев ожидаешь увидеть ответ, а не ребус.

Чтож, и на том спасибо. Завтра буду мучить PM.
...
Рейтинг: 0 / 0
Red Database + FTS
    #39145889
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Gregory K> Может я как-то спросил не правильно?

Да нормально спросил, на Диму не ориентируйся, он тут местный бармалей. :)
Просто RedDB тут используют полчеловека. Да и вечер, подожди утречка -
народ подтянется, может кто подскажет. Вот если бы ты FB+Sphinx юзал -
тогда бы шансов получить ответ было больше.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Red Database + FTS
    #39146038
Gregory K
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Немного отпишусь.

К сожалению process monitor показывает, что в отличие от полноценного rdb сервера, который считывает Jvm.conf и дольше собирает все необходимые java-компоненты, embedded сервер никаких попыток открыть Jvm.conf не проявляет. Правда лезет в ./intl и ищет по маске *.conf, но подсовывание туда Jvm.conf эффекта не возымело.

Похоже на баг. Я в печали, хотя надежда, что я что-то делаю не так ещё остаётся.
Попробую ещё сфинкс поковырять.
...
Рейтинг: 0 / 0
Red Database + FTS
    #39146761
Roman Simakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Григорий, я ответил на Ваш запрос на суппорт.

Тут кратко отпишусь тоже.
jvm.conf ищется в RootDirectory. Туда его и надо положить. Я бы предложил выставить переменную окружения FIREBIRD в папку с вашим приложением и по идее он должен его там искать.
...
Рейтинг: 0 / 0
Red Database + FTS
    #39146762
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я только добавлю, что RootDirectory можно установить переменной окружения
(в FB, но и в RDB тоже, наверное, только название переменной другое будет).
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Red Database + FTS
    #39146768
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Gregory Kembedded сервер никаких попыток открыть Jvm.conf не проявляет
Roman Simakovjvm.conf ищется в RootDirectory.
Ы?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Red Database + FTS
    #39146771
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гаджимурадов РустамЯ только добавлю, что RootDirectory можно установить переменной окружения
(в FB, но и в RDB тоже, наверное, только название переменной другое будет).
Ошибся, не другое - в доке написано, что переменная называется так же - FIREBIRD. :)
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Red Database + FTS
    #39146942
Gregory K
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Роман, спасибо за ответ в поддержке

На текущий момент удалось заставить прочитать Jvm.conf путем подкладывания в папку проекта jaybird22.dll

Теперь при попытке выполнить полнотекстовый поиск приложение молча валится с созданием минидампа. Начало дампа выглядит так:

#
# A fatal error has been detected by the Java Runtime Environment:
#
# EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x59a42c5b, pid=3420, tid=2944
#
# JRE version: Java(TM) SE Runtime Environment (8.0_31-b13) (build 1.8.0_31-b13)
# Java VM: Java HotSpot(TM) Client VM (25.31-b07 interpreted mode windows-x86 )
# Problematic frame:
# V [jvm.dll+0xd2c5b]
#
# Failed to write core dump. Minidumps are not enabled by default on client versions of Windows
#
# If you would like to submit a bug report, please visit:
# http://bugreport.java.com/bugreport/crash.jsp
#



Сижу, курю тот же process monitor, пытаюсь понять что ещё ему нужно

В документации нюансы jvm в embedded найти не удалось
...
Рейтинг: 0 / 0
Red Database + FTS
    #39146976
Gregory K
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Заработало при следующих условиях:

ОС - Windows 8

Структура папок
-----------------------------

D:\soft\project\java_lib\* - все из исходной папки
D:\soft\project\intl\fbintl.conf
D:\soft\project\intl\fbintl.dll
D:\soft\project\plugins\fbtrace.dll
D:\soft\project\plugins\javaespudf.dll
D:\soft\project\plugins\wincrypt_plugin.dll
D:\soft\project\udf\fbudf.dll
D:\soft\project\udf\fbudf.sql
D:\soft\project\udf\ib_udf.dll
D:\soft\project\udf\ib_udf.sql

D:\soft\project\aliases.conf
D:\soft\project\directories.conf
D:\soft\project\fbrmclib.dll
D:\soft\project\fbtrace.conf
D:\soft\project\firebird.conf
D:\soft\project\firebird.msg
D:\soft\project\gds32.dll
D:\soft\project\ib_util.dll
D:\soft\project\icudt30.dll
D:\soft\project\icuin30.dll
D:\soft\project\icuuc30.dll
D:\soft\project\jaybird22.dll
D:\soft\project\jvm.conf
D:\soft\project\replication.conf
D:\soft\project\prog.exe
D:\soft\project\DATA.FDB

В aliases.conf прописан алиас БД
В jvm.conf первой незакомментированной строкой указан полный путь к JVM: C:\Program Files (x86)\Java\jre1.8.0_31\bin\client\jvm.dll
В firebird.conf параметр RootDirectory = D:\soft\project\
Переменные окружения не установлены

Попытка повторить на чистой XP SP3 пока не удалась, проект падает сразу при запуске.
...
Рейтинг: 0 / 0
Red Database + FTS
    #39147021
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
embedded так и лежит, зачем было проиводить его структуру?
и вообще я ничего неожиданного не увидел. Все лежит на своих местах (кроме ib_util.dll).

Gregory Kповторить на чистой XP SP3 пока не удалась, проект падает сразу при запуске.
нет рантайма msvc?
...
Рейтинг: 0 / 0
Red Database + FTS
    #39147031
Зимаргл
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я бы попробовал Java 7, с 8 сталкивался с несовместимостью байт кода (другой случай). Да и вопрос, как 8 тестят на ХР.
...
Рейтинг: 0 / 0
Red Database + FTS
    #39147034
Зимаргл
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ЗимарглЯ бы попробовал Java 7, с 8 сталкивался с несовместимостью байт кода (другой случай). Да и вопрос, как 8 тестят на ХР.Ес-но потребует перекомпиляция сфинкса для 7.
...
Рейтинг: 0 / 0
Red Database + FTS
    #39147054
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Зимаргл,

в RDB не сфинкс используется
...
Рейтинг: 0 / 0
Red Database + FTS
    #39147099
Gregory K
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
kdvembedded так и лежит, зачем было проиводить его структуру?
и вообще я ничего неожиданного не увидел. Все лежит на своих местах (кроме ib_util.dll).


Я лишь привёл работоспособный набор файлов и конфигураций. А ib_util.dll лежит в соответствии с мануалом от RDB.

В RDB embedded-версия в явном виде распространяется в составе редакции для разработчиков, хотя все библиотеки присутствуют и в открытой. Пришлось его руками выбирать, хоть это и не сложно.

Отличие от FB в наличии java компонентов, а в документации RDB об этом не сказано.

Gregory Kповторить на чистой XP SP3 пока не удалась, проект падает сразу при запуске.
нет рантайма msvc?
Да. Для чистой w7 все получилось лучше, но все равно пришлось подбросить в корень проекта msvcr100.dll. Причём на него ругнулась java, хотя в ее папке bin он лежит.
На XP разберусь потом.
...
Рейтинг: 0 / 0
Red Database + FTS
    #39147131
Gregory K
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Симонов Денис,

Раз уж вы тут :)

Наткнулся на кривоватое поведение FTS при поиске по plain-тексту в utf8

Ищет вроде корректно, но в возврате процедуры FTS$SEARCH в поле HIGHLIGHT найденные участки текста тегами <b></b> выделяются криво. Если требуется, могу выслать скрин. Также поле ROW_ID выглядит странно. Вместо чего-нибудь типа "134:245" выводится некий одинокий символ.

И планируете ли Lucene обновлять? На офсайте уже 5.х лежит, а у вас 2.х.
...
Рейтинг: 0 / 0
Red Database + FTS
    #39147134
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Gregory K,

Денис не из РедСофта, а вопрос надо адресовать туда.
...
Рейтинг: 0 / 0
Red Database + FTS
    #39147143
Gregory K
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
kdvGregory K,

Денис не из РедСофта, а вопрос надо адресовать туда.

Извиняюсь, попутал
вопрос для Романа Симакова
Он, как я понял, оттуда
...
Рейтинг: 0 / 0
Red Database + FTS
    #39147162
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Gregory K,

он да.
...
Рейтинг: 0 / 0
Red Database + FTS
    #39148259
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovЫ?..

ну например либо пытается другая программа, либо просто делается список файлов в папке и потом уже смотрится нет ли там jvm.conf
...
Рейтинг: 0 / 0
23 сообщений из 23, страница 1 из 1
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Red Database + FTS
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]