powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / tsearch2 и кодировка
12 сообщений из 12, страница 1 из 1
tsearch2 и кодировка
    #35304507
Версия базы 8.3.1, кодировка — utf-8, кластер создан в нужной локали, и всё работает как надо. Пробую работать с tsearch2.

В конфиге “default_text_search_config = 'pg_catalog.russian'”, в /usr/local/share/postgresql/tsearch_data лежат russian.dict, russian.affix и пр. — всё в utf-8.

получаю следующую ошибку:

SELECT to_tsvector('russian', 'вася');
ERROR: invalid byte sequence for encoding "UTF8": 0xd1

Это НЕ проблема с кодировкой моего терминала, поскольку при этом 'english' работает как надо:

SELECT to_tsvector('english', 'вася');
to_tsvector
-------------
'вася':1

В чём может быть дело?
...
Рейтинг: 0 / 0
tsearch2 и кодировка
    #35304601
Нашёл обсуждение такой же проблемы в этом форуме: http://www.sql.ru/forum/actualthread.aspx?tid=533085. Вообще кто-нибудь смог завести tsearch2 под freebsd на utf-8?

Насколько я смог локализовать ошибку, она вылезает только из сишных процедур модуля tsearch2. И проблема явно именно в tsearch2, потому что вся остальная база на utf-8 давно и прекрасно работает.
...
Рейтинг: 0 / 0
tsearch2 и кодировка
    #35304858
Dan Black
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Небольшой оффтоп, но для личного интереса.
Почему Вы используете PostgreSQL под FreeBSD? (слуйчайно так получилось, давно работаете под этой ОС, ограничения ТЗ, другой вариант?)
Код: plaintext
1.
----------------------------
 Verba volent, scripta manent 
...
Рейтинг: 0 / 0
tsearch2 и кодировка
    #35307370
g100m
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Да, есть такая проблема.
И именно с 8.1.3 и именно на FreeBSD 6.2
Как вариант - мигрировать на 6.3 с ней, вроде бы, таких проблем нет

Непонятно почему, но разработчики говорят что перенос tsearch в ядро постгреса происходил именно на этой версии OS :)
...
Рейтинг: 0 / 0
tsearch2 и кодировка
    #35307373
g100m
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dan BlackНебольшой оффтоп, но для личного интереса.
Почему Вы используете PostgreSQL под FreeBSD? (слуйчайно так получилось, давно работаете под этой ОС, ограничения ТЗ, другой вариант?)


На малых проектах под БД выделять собственный сервер достаточно накладно, а вот линукс в качесве web-сервера мало кто использует...
...
Рейтинг: 0 / 0
tsearch2 и кодировка
    #35307480
Dan Black
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
g100mа вот линукс в качесве web-сервера мало кто использует...могу узнать, откуда такая статистика?
...
Рейтинг: 0 / 0
tsearch2 и кодировка
    #35307672
g100m
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dan Black g100mа вот линукс в качесве web-сервера мало кто использует...могу узнать, откуда такая статистика?
Это не холивар )

Из тех, с кем предпочитаю работать.
Шаговая доступность, вменяемость профессионала
...
Рейтинг: 0 / 0
tsearch2 и кодировка
    #35307753
g100mДа, есть такая проблема.
И именно с 8.1.3 и именно на FreeBSD 6.2
Как вариант - мигрировать на 6.3 с ней, вроде бы, таких проблем нет

Непонятно почему, но разработчики говорят что перенос tsearch в ядро постгреса происходил именно на этой версии OS :)
А можно ссылку на какую-то подтверждённую информацию об этой проблеме с 6.2?

Я сейчас переписываюсь с Фёдором Сигаевым, проблема слегка локализовалась, но пока не решилась. Но он что-то не упоминал о каких-то траблах именно с 6.2. Обновиться-то не сложно…

g100mНебольшой оффтоп, но для личного интереса.
Это достаточно большой оффтоп.
...
Рейтинг: 0 / 0
tsearch2 и кодировка
    #35318707
Noldor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
А другие функции с русским нормально работают с utf8?
У меня похожие проблемы во freebsd. http://sql.ru/forum/actualthread.aspx?tid=551148
...
Рейтинг: 0 / 0
tsearch2 и кодировка
    #35333457
DAISER
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Давид МзареулянЯ сейчас переписываюсь с Фёдором Сигаевым, проблема слегка локализовалась, но пока не решилась. Но он что-то не упоминал о каких-то траблах именно с 6.2. Обновиться-то не сложно…
А что тут решать? В FreeBSD 6.2 кривая локаль ru_RU.UTF-8. Можно, как я понял, почитав www.lexa.ru, собственную локаль сделать, но, имхо, оно того не стоит. До 6.3 фрю обновлять не стал, перебрался на Debian 4.0 r2. Всё ништяк работает.
...
Рейтинг: 0 / 0
tsearch2 и кодировка
    #35333551
DAISER Давид МзареулянЯ сейчас переписываюсь с Фёдором Сигаевым, проблема слегка локализовалась, но пока не решилась. Но он что-то не упоминал о каких-то траблах именно с 6.2. Обновиться-то не сложно…
А что тут решать? В FreeBSD 6.2 кривая локаль ru_RU.UTF-8. Можно, как я понял, почитав www.lexa.ru, собственную локаль сделать, но, имхо, оно того не стоит. До 6.3 фрю обновлять не стал, перебрался на Debian 4.0 r2. Всё ништяк работает.
Вы смешали в одну кучу совершенно разные вещи. Во-первых, локаль «кривая» не на 6.2, а на всех версиях, включая семёрку. Во-вторых, в данном конкретном случае локаль совершенно не при чём.

В данном конкретном случае проблема вылезает при использовании файла стоп-слов, причём только (!) когда в этом файле встречается русская буква «х» (в этом есть какой-то глубокий символизм). К сожалению, на этом наша переписка с Фёдором пока заглохла…
...
Рейтинг: 0 / 0
tsearch2 и кодировка
    #35333833
DAISER
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Давид МзареулянВ данном конкретном случае проблема вылезает при использовании файла стоп-слов, причём только (!) когда в этом файле встречается русская буква «х» (в этом есть какой-то глубокий символизм). К сожалению, на этом наша переписка с Фёдором пока заглохла…
Буквы, прошу прощения, "х" у меня не было :-). Но и с другими буквами не работало. В дебри действительно не лазил.
...
Рейтинг: 0 / 0
12 сообщений из 12, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / tsearch2 и кодировка
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]