|
|
|
Solr/Lucene: dataimport from SQL DB, master/detail
|
|||
|---|---|---|---|
|
#18+
Не могу никак втолкнуть данные в Solr из реляционной базы данных. В базе таблица и несколько подчинённых таблиц, master/detail. Прописал это я всё в data-config.xml как полагается. Импорт работает, всё как бы ОК, но из головной таблицы данные в SOLR есть. из дочерних таблиц данных как будто нет вообще. Любые запросы на эти поля дают пустой результат, фасеты на эти поля не формируются, в логах поле когда пишется, у него term-ов = 0, в Schema Browser тоже всё пусто -- нет гистограмм, всё пусто. Как импортировать под-entity? Может нужно как-то их отдельно импортировать ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2012, 11:09:39 |
|
||
|
Solr/Lucene: dataimport from SQL DB, master/detail
|
|||
|---|---|---|---|
|
#18+
По идее, в Lucene инвертированный индекс и таблиц там нет. Lucene можно рассматривать как документоориентированную БД, но аккуратно. У вас на одну сущность должен быть один документ, которые содержит все связанные поля. http://wiki.apache.org/solr/DataImportHandler#Full_Import_Example - вы так делали? Посмотрите, что реально хранится в индексе с помощью http://code.google.com/p/luke/ Возможно, стеммеры поудаляли все данные или еще что. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2012, 11:19:58 |
|
||
|
Solr/Lucene: dataimport from SQL DB, master/detail
|
|||
|---|---|---|---|
|
#18+
On 08/08/2012 12:19 PM, Leonidv wrote: > По идее, в Lucene инвертированный индекс и таблиц там нет. Lucene можно > рассматривать как документоориентированную БД, но аккуратно. Это понятно всё. Я импортирую данные из RDBMS, где таблицы есть. У вас на одну > сущность должен быть один документ, которые содержит все связанные поля. > http://wiki.apache.org/solr/DataImportHandler#Full_Import_Example - вы так делали? Да, так и делаю. только один документ и несколько сущностей в нём. Главные и подсущности. > Посмотрите, что реально хранится в индексе с помощью > http://code.google.com/p/luke/ Возможно, стеммеры поудаляли все данные или еще что. Там 5 разных полей с разными типами. Одно из них -- String, т.е. без обработки. НИ ПО ОДНОМУ ИЗ НИХ НЕТ ДАННЫХ. К тому же я менял их типы, без эффекта. Я уже точно знаю при этом, что запросы для получения данных подсущностей выполняются (видно со стороны сервера, и по статистике выполненных запросов). Но данных нет. За ссылку на luke спасибо. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2012, 12:47:53 |
|
||
|
Solr/Lucene: dataimport from SQL DB, master/detail
|
|||
|---|---|---|---|
|
#18+
> Посмотрите, что реально хранится в индексе с помощью > http://code.google.com/p/luke/ Возможно, стеммеры поудаляли все данные или еще что. Посмотрел. Там вообще нет этих полей, которые в дочерних entiti. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2012, 14:47:01 |
|
||
|
Solr/Lucene: dataimport from SQL DB, master/detail
|
|||
|---|---|---|---|
|
#18+
MasterZiv, Возможно будет проще самому написать сохранялку. По коду будет чуть больше, чем data-confg.xml :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2012, 18:54:54 |
|
||
|
Solr/Lucene: dataimport from SQL DB, master/detail
|
|||
|---|---|---|---|
|
#18+
On 08/08/2012 07:54 PM, Leonidv wrote: > Возможно будет проще самому написать сохранялку. По коду будет чуть больше, чем > data-confg.xml :) Не понял. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2012, 19:52:02 |
|
||
|
Solr/Lucene: dataimport from SQL DB, master/detail
|
|||
|---|---|---|---|
|
#18+
> Возможно будет проще самому написать сохранялку. По коду будет чуть больше, чем > data-confg.xml :) Я не думаю, что будет проще. По моему ощущению я что-то очень простое и тупое упускаю из виду. А sub-entity должны сами создаваться ? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2012, 19:59:42 |
|
||
|
Solr/Lucene: dataimport from SQL DB, master/detail
|
|||
|---|---|---|---|
|
#18+
MasterZiv... Как импортировать под-entity? Может нужно как-то их отдельно импортировать ? Рассмотрите вариант использования Hibernate Search , который умеет работь с Entity - вот пример . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2012, 00:45:32 |
|
||
|
Solr/Lucene: dataimport from SQL DB, master/detail
|
|||
|---|---|---|---|
|
#18+
On 08/09/2012 01:45 AM, dmitriyche wrote: > Рассмотрите вариант использования Hibernate Search > который умеет работь с Entity - Нет. И это не то совсем entity, абсолютно другое. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2012, 12:43:27 |
|
||
|
Solr/Lucene: dataimport from SQL DB, master/detail
|
|||
|---|---|---|---|
|
#18+
Проблема была в том, что связи entity-subentity в запросах должны устанавливаться по имени поля в запросе (атрибут column), а не по имени самого поля (атрибут name). При этом SOLR/Lucene DataImportHandler не выдают никаких ошибок, предупреждений. (Это понятно, потому что в master-detail дочерняя сущность не всегда обязана быть заполненной). Код: xml 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.08.2012, 09:30:57 |
|
||
|
Solr/Lucene: dataimport from SQL DB, master/detail
|
|||
|---|---|---|---|
|
#18+
MasterZiv, Спасибо! А еще как оказалось играет роль регистр! т.е. нельзя column и name называть одинаково для упрощенки типа Код: xml 1. [/SRC] надо именно Код: xml 1. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.03.2013, 21:42:36 |
|
||
|
|

start [/forum/topic.php?fid=59&msg=37908361&tid=2129647]: |
0ms |
get settings: |
19ms |
get forum list: |
27ms |
check forum access: |
7ms |
check topic access: |
7ms |
track hit: |
76ms |
get topic data: |
24ms |
get forum data: |
6ms |
get page messages: |
100ms |
get tp. blocked users: |
2ms |
| others: | 344ms |
| total: | 612ms |

| 0 / 0 |
