|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Доброго времени суток Имеется база данных размером около 500 мегабайт и около 2 млн записей. Есть текстовые поля в UTF8. Изначально планировал использовать FB, однако понадобился полнотекстовый поиск с морфологией. Поверхностное курение интернета показало в общем небогатый выбор вариантов, одним из которых был сфинкс. Потом я вспомнил про сабж и про заявленную поддержку FTS на Java. Установил, сконфигурил, построил индекс, все в общем работает, поиск идёт, умеет также искать похожие слова. Дальше захотелось embedded варианта. Всё было хорошо, пока не попытался подключить java для embedded. Дело в том, что jvm подключается через jvm.conf, который лежит в корневой папке сервера. А embedded сервер его игнорирует совершенно (я логично предположил, что находиться он должен рядом с dll) Посему прошу совета если кто-то уже сталкивался с этой проблемой. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.01.2016, 19:26 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Gregory Kя логично предположил, что находиться он должен рядом с dll Передвинь на одну папку выше. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
12.01.2016, 19:31 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovGregory Kя логично предположил, что находиться он должен рядом с dll Передвинь на одну папку выше. Не совсем понял Jvm.conf лежит рядом с exe-шником проекта и embedded-dll, ну и остальная обвязка по своим папкам. Эта папка является корневой для проекта и выше вроде ничего интересного нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.01.2016, 19:43 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Gregory KНе совсем понял Тогда ProcessMonitor в руки и смотреть до просветления. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
12.01.2016, 19:52 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Может я как-то спросил не правильно? Без уважения. Почему бы просто не сказать? Я глубоко приветствую исследовательский подход к решению проблемы, но задавая вопрос в большинстве случаев ожидаешь увидеть ответ, а не ребус. Чтож, и на том спасибо. Завтра буду мучить PM. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.01.2016, 20:02 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Gregory K> Может я как-то спросил не правильно? Да нормально спросил, на Диму не ориентируйся, он тут местный бармалей. :) Просто RedDB тут используют полчеловека. Да и вечер, подожди утречка - народ подтянется, может кто подскажет. Вот если бы ты FB+Sphinx юзал - тогда бы шансов получить ответ было больше. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
12.01.2016, 20:32 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Немного отпишусь. К сожалению process monitor показывает, что в отличие от полноценного rdb сервера, который считывает Jvm.conf и дольше собирает все необходимые java-компоненты, embedded сервер никаких попыток открыть Jvm.conf не проявляет. Правда лезет в ./intl и ищет по маске *.conf, но подсовывание туда Jvm.conf эффекта не возымело. Похоже на баг. Я в печали, хотя надежда, что я что-то делаю не так ещё остаётся. Попробую ещё сфинкс поковырять. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.01.2016, 07:16 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Григорий, я ответил на Ваш запрос на суппорт. Тут кратко отпишусь тоже. jvm.conf ищется в RootDirectory. Туда его и надо положить. Я бы предложил выставить переменную окружения FIREBIRD в папку с вашим приложением и по идее он должен его там искать. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.01.2016, 19:57 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Я только добавлю, что RootDirectory можно установить переменной окружения (в FB, но и в RDB тоже, наверное, только название переменной другое будет). Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
13.01.2016, 19:59 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Gregory Kembedded сервер никаких попыток открыть Jvm.conf не проявляет Roman Simakovjvm.conf ищется в RootDirectory. Ы?.. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
13.01.2016, 20:06 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Гаджимурадов РустамЯ только добавлю, что RootDirectory можно установить переменной окружения (в FB, но и в RDB тоже, наверное, только название переменной другое будет). Ошибся, не другое - в доке написано, что переменная называется так же - FIREBIRD. :) Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
13.01.2016, 20:14 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Роман, спасибо за ответ в поддержке На текущий момент удалось заставить прочитать Jvm.conf путем подкладывания в папку проекта jaybird22.dll Теперь при попытке выполнить полнотекстовый поиск приложение молча валится с созданием минидампа. Начало дампа выглядит так: # # A fatal error has been detected by the Java Runtime Environment: # # EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x59a42c5b, pid=3420, tid=2944 # # JRE version: Java(TM) SE Runtime Environment (8.0_31-b13) (build 1.8.0_31-b13) # Java VM: Java HotSpot(TM) Client VM (25.31-b07 interpreted mode windows-x86 ) # Problematic frame: # V [jvm.dll+0xd2c5b] # # Failed to write core dump. Minidumps are not enabled by default on client versions of Windows # # If you would like to submit a bug report, please visit: # http://bugreport.java.com/bugreport/crash.jsp # Сижу, курю тот же process monitor, пытаюсь понять что ещё ему нужно В документации нюансы jvm в embedded найти не удалось ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2016, 08:32 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Заработало при следующих условиях: ОС - Windows 8 Структура папок ----------------------------- D:\soft\project\java_lib\* - все из исходной папки D:\soft\project\intl\fbintl.conf D:\soft\project\intl\fbintl.dll D:\soft\project\plugins\fbtrace.dll D:\soft\project\plugins\javaespudf.dll D:\soft\project\plugins\wincrypt_plugin.dll D:\soft\project\udf\fbudf.dll D:\soft\project\udf\fbudf.sql D:\soft\project\udf\ib_udf.dll D:\soft\project\udf\ib_udf.sql D:\soft\project\aliases.conf D:\soft\project\directories.conf D:\soft\project\fbrmclib.dll D:\soft\project\fbtrace.conf D:\soft\project\firebird.conf D:\soft\project\firebird.msg D:\soft\project\gds32.dll D:\soft\project\ib_util.dll D:\soft\project\icudt30.dll D:\soft\project\icuin30.dll D:\soft\project\icuuc30.dll D:\soft\project\jaybird22.dll D:\soft\project\jvm.conf D:\soft\project\replication.conf D:\soft\project\prog.exe D:\soft\project\DATA.FDB В aliases.conf прописан алиас БД В jvm.conf первой незакомментированной строкой указан полный путь к JVM: C:\Program Files (x86)\Java\jre1.8.0_31\bin\client\jvm.dll В firebird.conf параметр RootDirectory = D:\soft\project\ Переменные окружения не установлены Попытка повторить на чистой XP SP3 пока не удалась, проект падает сразу при запуске. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2016, 09:40 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
embedded так и лежит, зачем было проиводить его структуру? и вообще я ничего неожиданного не увидел. Все лежит на своих местах (кроме ib_util.dll). Gregory Kповторить на чистой XP SP3 пока не удалась, проект падает сразу при запуске. нет рантайма msvc? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2016, 10:13 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Я бы попробовал Java 7, с 8 сталкивался с несовместимостью байт кода (другой случай). Да и вопрос, как 8 тестят на ХР. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2016, 10:28 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
ЗимарглЯ бы попробовал Java 7, с 8 сталкивался с несовместимостью байт кода (другой случай). Да и вопрос, как 8 тестят на ХР.Ес-но потребует перекомпиляция сфинкса для 7. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2016, 10:29 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Зимаргл, в RDB не сфинкс используется ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2016, 10:42 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
kdvembedded так и лежит, зачем было проиводить его структуру? и вообще я ничего неожиданного не увидел. Все лежит на своих местах (кроме ib_util.dll). Я лишь привёл работоспособный набор файлов и конфигураций. А ib_util.dll лежит в соответствии с мануалом от RDB. В RDB embedded-версия в явном виде распространяется в составе редакции для разработчиков, хотя все библиотеки присутствуют и в открытой. Пришлось его руками выбирать, хоть это и не сложно. Отличие от FB в наличии java компонентов, а в документации RDB об этом не сказано. Gregory Kповторить на чистой XP SP3 пока не удалась, проект падает сразу при запуске. нет рантайма msvc? Да. Для чистой w7 все получилось лучше, но все равно пришлось подбросить в корень проекта msvcr100.dll. Причём на него ругнулась java, хотя в ее папке bin он лежит. На XP разберусь потом. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2016, 11:25 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Симонов Денис, Раз уж вы тут :) Наткнулся на кривоватое поведение FTS при поиске по plain-тексту в utf8 Ищет вроде корректно, но в возврате процедуры FTS$SEARCH в поле HIGHLIGHT найденные участки текста тегами <b></b> выделяются криво. Если требуется, могу выслать скрин. Также поле ROW_ID выглядит странно. Вместо чего-нибудь типа "134:245" выводится некий одинокий символ. И планируете ли Lucene обновлять? На офсайте уже 5.х лежит, а у вас 2.х. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2016, 11:51 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Gregory K, Денис не из РедСофта, а вопрос надо адресовать туда. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2016, 11:57 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
kdvGregory K, Денис не из РедСофта, а вопрос надо адресовать туда. Извиняюсь, попутал вопрос для Романа Симакова Он, как я понял, оттуда ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2016, 12:04 |
|
Red Database + FTS
|
|||
---|---|---|---|
#18+
Gregory K, он да. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2016, 12:17 |
|
|
start [/forum/topic.php?fid=40&msg=39146942&tid=1562393]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
36ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
60ms |
get tp. blocked users: |
1ms |
others: | 14ms |
total: | 151ms |
0 / 0 |