Гость
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Red Database + FTS / 23 сообщений из 23, страница 1 из 1
12.01.2016, 19:26
    #39145851
Gregory K
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Доброго времени суток

Имеется база данных размером около 500 мегабайт и около 2 млн записей. Есть текстовые поля в UTF8. Изначально планировал использовать FB, однако понадобился полнотекстовый поиск с морфологией.

Поверхностное курение интернета показало в общем небогатый выбор вариантов, одним из которых был сфинкс.

Потом я вспомнил про сабж и про заявленную поддержку FTS на Java. Установил, сконфигурил, построил индекс, все в общем работает, поиск идёт, умеет также искать похожие слова.

Дальше захотелось embedded варианта.

Всё было хорошо, пока не попытался подключить java для embedded. Дело в том, что jvm подключается через jvm.conf, который лежит в корневой папке сервера. А embedded сервер его игнорирует совершенно (я логично предположил, что находиться он должен рядом с dll)

Посему прошу совета если кто-то уже сталкивался с этой проблемой.
...
Рейтинг: 0 / 0
12.01.2016, 19:31
    #39145854
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Gregory Kя логично предположил, что находиться он должен рядом с dll
Передвинь на одну папку выше.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
12.01.2016, 19:43
    #39145866
Gregory K
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Dimitry SibiryakovGregory Kя логично предположил, что находиться он должен рядом с dll
Передвинь на одну папку выше.


Не совсем понял

Jvm.conf лежит рядом с exe-шником проекта и embedded-dll, ну и остальная обвязка по своим папкам.
Эта папка является корневой для проекта и выше вроде ничего интересного нет.
...
Рейтинг: 0 / 0
12.01.2016, 19:52
    #39145872
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Gregory KНе совсем понял
Тогда ProcessMonitor в руки и смотреть до просветления.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
12.01.2016, 20:02
    #39145880
Gregory K
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Может я как-то спросил не правильно? Без уважения. Почему бы просто не сказать?

Я глубоко приветствую исследовательский подход к решению проблемы, но задавая вопрос в большинстве случаев ожидаешь увидеть ответ, а не ребус.

Чтож, и на том спасибо. Завтра буду мучить PM.
...
Рейтинг: 0 / 0
12.01.2016, 20:32
    #39145889
Гаджимурадов Рустам
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Gregory K> Может я как-то спросил не правильно?

Да нормально спросил, на Диму не ориентируйся, он тут местный бармалей. :)
Просто RedDB тут используют полчеловека. Да и вечер, подожди утречка -
народ подтянется, может кто подскажет. Вот если бы ты FB+Sphinx юзал -
тогда бы шансов получить ответ было больше.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
13.01.2016, 07:16
    #39146038
Gregory K
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Немного отпишусь.

К сожалению process monitor показывает, что в отличие от полноценного rdb сервера, который считывает Jvm.conf и дольше собирает все необходимые java-компоненты, embedded сервер никаких попыток открыть Jvm.conf не проявляет. Правда лезет в ./intl и ищет по маске *.conf, но подсовывание туда Jvm.conf эффекта не возымело.

Похоже на баг. Я в печали, хотя надежда, что я что-то делаю не так ещё остаётся.
Попробую ещё сфинкс поковырять.
...
Рейтинг: 0 / 0
13.01.2016, 19:57
    #39146761
Roman Simakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Григорий, я ответил на Ваш запрос на суппорт.

Тут кратко отпишусь тоже.
jvm.conf ищется в RootDirectory. Туда его и надо положить. Я бы предложил выставить переменную окружения FIREBIRD в папку с вашим приложением и по идее он должен его там искать.
...
Рейтинг: 0 / 0
13.01.2016, 19:59
    #39146762
Гаджимурадов Рустам
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Я только добавлю, что RootDirectory можно установить переменной окружения
(в FB, но и в RDB тоже, наверное, только название переменной другое будет).
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
13.01.2016, 20:06
    #39146768
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Gregory Kembedded сервер никаких попыток открыть Jvm.conf не проявляет
Roman Simakovjvm.conf ищется в RootDirectory.
Ы?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
13.01.2016, 20:14
    #39146771
Гаджимурадов Рустам
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Гаджимурадов РустамЯ только добавлю, что RootDirectory можно установить переменной окружения
(в FB, но и в RDB тоже, наверное, только название переменной другое будет).
Ошибся, не другое - в доке написано, что переменная называется так же - FIREBIRD. :)
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
14.01.2016, 08:32
    #39146942
Gregory K
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Роман, спасибо за ответ в поддержке

На текущий момент удалось заставить прочитать Jvm.conf путем подкладывания в папку проекта jaybird22.dll

Теперь при попытке выполнить полнотекстовый поиск приложение молча валится с созданием минидампа. Начало дампа выглядит так:

#
# A fatal error has been detected by the Java Runtime Environment:
#
# EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x59a42c5b, pid=3420, tid=2944
#
# JRE version: Java(TM) SE Runtime Environment (8.0_31-b13) (build 1.8.0_31-b13)
# Java VM: Java HotSpot(TM) Client VM (25.31-b07 interpreted mode windows-x86 )
# Problematic frame:
# V [jvm.dll+0xd2c5b]
#
# Failed to write core dump. Minidumps are not enabled by default on client versions of Windows
#
# If you would like to submit a bug report, please visit:
# http://bugreport.java.com/bugreport/crash.jsp
#



Сижу, курю тот же process monitor, пытаюсь понять что ещё ему нужно

В документации нюансы jvm в embedded найти не удалось
...
Рейтинг: 0 / 0
14.01.2016, 09:40
    #39146976
Gregory K
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Заработало при следующих условиях:

ОС - Windows 8

Структура папок
-----------------------------

D:\soft\project\java_lib\* - все из исходной папки
D:\soft\project\intl\fbintl.conf
D:\soft\project\intl\fbintl.dll
D:\soft\project\plugins\fbtrace.dll
D:\soft\project\plugins\javaespudf.dll
D:\soft\project\plugins\wincrypt_plugin.dll
D:\soft\project\udf\fbudf.dll
D:\soft\project\udf\fbudf.sql
D:\soft\project\udf\ib_udf.dll
D:\soft\project\udf\ib_udf.sql

D:\soft\project\aliases.conf
D:\soft\project\directories.conf
D:\soft\project\fbrmclib.dll
D:\soft\project\fbtrace.conf
D:\soft\project\firebird.conf
D:\soft\project\firebird.msg
D:\soft\project\gds32.dll
D:\soft\project\ib_util.dll
D:\soft\project\icudt30.dll
D:\soft\project\icuin30.dll
D:\soft\project\icuuc30.dll
D:\soft\project\jaybird22.dll
D:\soft\project\jvm.conf
D:\soft\project\replication.conf
D:\soft\project\prog.exe
D:\soft\project\DATA.FDB

В aliases.conf прописан алиас БД
В jvm.conf первой незакомментированной строкой указан полный путь к JVM: C:\Program Files (x86)\Java\jre1.8.0_31\bin\client\jvm.dll
В firebird.conf параметр RootDirectory = D:\soft\project\
Переменные окружения не установлены

Попытка повторить на чистой XP SP3 пока не удалась, проект падает сразу при запуске.
...
Рейтинг: 0 / 0
14.01.2016, 10:13
    #39147021
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
embedded так и лежит, зачем было проиводить его структуру?
и вообще я ничего неожиданного не увидел. Все лежит на своих местах (кроме ib_util.dll).

Gregory Kповторить на чистой XP SP3 пока не удалась, проект падает сразу при запуске.
нет рантайма msvc?
...
Рейтинг: 0 / 0
14.01.2016, 10:28
    #39147031
Зимаргл
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Я бы попробовал Java 7, с 8 сталкивался с несовместимостью байт кода (другой случай). Да и вопрос, как 8 тестят на ХР.
...
Рейтинг: 0 / 0
14.01.2016, 10:29
    #39147034
Зимаргл
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
ЗимарглЯ бы попробовал Java 7, с 8 сталкивался с несовместимостью байт кода (другой случай). Да и вопрос, как 8 тестят на ХР.Ес-но потребует перекомпиляция сфинкса для 7.
...
Рейтинг: 0 / 0
14.01.2016, 10:42
    #39147054
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Зимаргл,

в RDB не сфинкс используется
...
Рейтинг: 0 / 0
14.01.2016, 11:25
    #39147099
Gregory K
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
kdvembedded так и лежит, зачем было проиводить его структуру?
и вообще я ничего неожиданного не увидел. Все лежит на своих местах (кроме ib_util.dll).


Я лишь привёл работоспособный набор файлов и конфигураций. А ib_util.dll лежит в соответствии с мануалом от RDB.

В RDB embedded-версия в явном виде распространяется в составе редакции для разработчиков, хотя все библиотеки присутствуют и в открытой. Пришлось его руками выбирать, хоть это и не сложно.

Отличие от FB в наличии java компонентов, а в документации RDB об этом не сказано.

Gregory Kповторить на чистой XP SP3 пока не удалась, проект падает сразу при запуске.
нет рантайма msvc?
Да. Для чистой w7 все получилось лучше, но все равно пришлось подбросить в корень проекта msvcr100.dll. Причём на него ругнулась java, хотя в ее папке bin он лежит.
На XP разберусь потом.
...
Рейтинг: 0 / 0
14.01.2016, 11:51
    #39147131
Gregory K
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Симонов Денис,

Раз уж вы тут :)

Наткнулся на кривоватое поведение FTS при поиске по plain-тексту в utf8

Ищет вроде корректно, но в возврате процедуры FTS$SEARCH в поле HIGHLIGHT найденные участки текста тегами <b></b> выделяются криво. Если требуется, могу выслать скрин. Также поле ROW_ID выглядит странно. Вместо чего-нибудь типа "134:245" выводится некий одинокий символ.

И планируете ли Lucene обновлять? На офсайте уже 5.х лежит, а у вас 2.х.
...
Рейтинг: 0 / 0
14.01.2016, 11:57
    #39147134
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Gregory K,

Денис не из РедСофта, а вопрос надо адресовать туда.
...
Рейтинг: 0 / 0
14.01.2016, 12:04
    #39147143
Gregory K
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
kdvGregory K,

Денис не из РедСофта, а вопрос надо адресовать туда.

Извиняюсь, попутал
вопрос для Романа Симакова
Он, как я понял, оттуда
...
Рейтинг: 0 / 0
14.01.2016, 12:17
    #39147162
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Gregory K,

он да.
...
Рейтинг: 0 / 0
15.01.2016, 14:24
    #39148259
Arioch
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Red Database + FTS
Dimitry SibiryakovЫ?..

ну например либо пытается другая программа, либо просто делается список файлов в папке и потом уже смотрится нет ли там jvm.conf
...
Рейтинг: 0 / 0
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Red Database + FTS / 23 сообщений из 23, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]