powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Дробные числа с запятой в to_tsvector
5 сообщений из 5, страница 1 из 1
Дробные числа с запятой в to_tsvector
    #39647356
gruender
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Приветствую.

Встала задача при парсинге в tsvector считать дробные числа с запятой собственно дробным числом, а не как в дефолтном парсере - двумя числами с разделителем в виде запятой. Сейчас select to_tsvector('2.5') выдает '2.5':1, а для select to_tsvector('2,5'); ответ будет '2':1 '5':2

ts_debug (SELECT alias, token, dictionary, lexemes FROM ts_debug('2,5')) выдает такую информацию для дробного числа с точкой:

alias = float, token = 2.5, dictionary = simple, lexemes = {2.5}.

Насколько я понимаю, надо подключить словарь, который сможет вернуть 2,5 как полноценный токен. В идеале, наверное, как float, но в принципе будет достаточно, если это будет текстовый токен.

В интернете при подключении словарей для tsvector обсуждают то, как слова на русском токенезировать, а вот как дробные числа обрабатывать, я не нашел.

Кто-нибудь сталкивался с такой задачей?
...
Рейтинг: 0 / 0
Дробные числа с запятой в to_tsvector
    #39647597
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gruender,

этим токенайзер занимается, ещё до всяких словарей.
см
Код: sql
1.
select * from ts_parse('default','1.1 1,2 3,45 anyword некоторое слово')
...
Рейтинг: 0 / 0
Дробные числа с запятой в to_tsvector
    #39647937
gruender
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
qwwq,

Да, действительно, дефолтный парсер так работает. И похоже, что у него нет настроек?
...
Рейтинг: 0 / 0
Дробные числа с запятой в to_tsvector
    #39647954
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gruender,

как минимум 2 пути --
1. написать свой экземпляр парсера . видимо на С.
2. подавать на вход сущ-му парсеру модифиц (и нет) строку translate .... ',.', '.,'
+ вероятно сравнивая 2 выхлопа итоговых тсвекторов строить 3--й -- свой.

1-й лаконичнее. во всех смыслах. но не для всех. 2-й не требует работы на уровне С.
...
Рейтинг: 0 / 0
Дробные числа с запятой в to_tsvector
    #39648149
gruender
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
qwwq,

Спасибо, понятно. На написание своего парсера ресурсов по времени нет, видимо пойдем по второму пути.
...
Рейтинг: 0 / 0
5 сообщений из 5, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Дробные числа с запятой в to_tsvector
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]