Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / tsearch2 и кодировка / 12 сообщений из 12, страница 1 из 1
10.05.2008, 17:38
    #35304507
tsearch2 и кодировка
Версия базы 8.3.1, кодировка — utf-8, кластер создан в нужной локали, и всё работает как надо. Пробую работать с tsearch2.

В конфиге “default_text_search_config = 'pg_catalog.russian'”, в /usr/local/share/postgresql/tsearch_data лежат russian.dict, russian.affix и пр. — всё в utf-8.

получаю следующую ошибку:

SELECT to_tsvector('russian', 'вася');
ERROR: invalid byte sequence for encoding "UTF8": 0xd1

Это НЕ проблема с кодировкой моего терминала, поскольку при этом 'english' работает как надо:

SELECT to_tsvector('english', 'вася');
to_tsvector
-------------
'вася':1

В чём может быть дело?
...
Рейтинг: 0 / 0
10.05.2008, 20:10
    #35304601
tsearch2 и кодировка
Нашёл обсуждение такой же проблемы в этом форуме: http://www.sql.ru/forum/actualthread.aspx?tid=533085. Вообще кто-нибудь смог завести tsearch2 под freebsd на utf-8?

Насколько я смог локализовать ошибку, она вылезает только из сишных процедур модуля tsearch2. И проблема явно именно в tsearch2, потому что вся остальная база на utf-8 давно и прекрасно работает.
...
Рейтинг: 0 / 0
11.05.2008, 02:37
    #35304858
Dan Black
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tsearch2 и кодировка
Небольшой оффтоп, но для личного интереса.
Почему Вы используете PostgreSQL под FreeBSD? (слуйчайно так получилось, давно работаете под этой ОС, ограничения ТЗ, другой вариант?)
Код: plaintext
1.
----------------------------
 Verba volent, scripta manent 
...
Рейтинг: 0 / 0
12.05.2008, 18:34
    #35307370
g100m
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tsearch2 и кодировка
Да, есть такая проблема.
И именно с 8.1.3 и именно на FreeBSD 6.2
Как вариант - мигрировать на 6.3 с ней, вроде бы, таких проблем нет

Непонятно почему, но разработчики говорят что перенос tsearch в ядро постгреса происходил именно на этой версии OS :)
...
Рейтинг: 0 / 0
12.05.2008, 18:35
    #35307373
g100m
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tsearch2 и кодировка
Dan BlackНебольшой оффтоп, но для личного интереса.
Почему Вы используете PostgreSQL под FreeBSD? (слуйчайно так получилось, давно работаете под этой ОС, ограничения ТЗ, другой вариант?)


На малых проектах под БД выделять собственный сервер достаточно накладно, а вот линукс в качесве web-сервера мало кто использует...
...
Рейтинг: 0 / 0
12.05.2008, 19:18
    #35307480
Dan Black
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tsearch2 и кодировка
g100mа вот линукс в качесве web-сервера мало кто использует...могу узнать, откуда такая статистика?
...
Рейтинг: 0 / 0
12.05.2008, 22:32
    #35307672
g100m
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tsearch2 и кодировка
Dan Black g100mа вот линукс в качесве web-сервера мало кто использует...могу узнать, откуда такая статистика?
Это не холивар )

Из тех, с кем предпочитаю работать.
Шаговая доступность, вменяемость профессионала
...
Рейтинг: 0 / 0
12.05.2008, 23:53
    #35307753
tsearch2 и кодировка
g100mДа, есть такая проблема.
И именно с 8.1.3 и именно на FreeBSD 6.2
Как вариант - мигрировать на 6.3 с ней, вроде бы, таких проблем нет

Непонятно почему, но разработчики говорят что перенос tsearch в ядро постгреса происходил именно на этой версии OS :)
А можно ссылку на какую-то подтверждённую информацию об этой проблеме с 6.2?

Я сейчас переписываюсь с Фёдором Сигаевым, проблема слегка локализовалась, но пока не решилась. Но он что-то не упоминал о каких-то траблах именно с 6.2. Обновиться-то не сложно…

g100mНебольшой оффтоп, но для личного интереса.
Это достаточно большой оффтоп.
...
Рейтинг: 0 / 0
17.05.2008, 13:55
    #35318707
Noldor
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tsearch2 и кодировка
А другие функции с русским нормально работают с utf8?
У меня похожие проблемы во freebsd. http://sql.ru/forum/actualthread.aspx?tid=551148
...
Рейтинг: 0 / 0
25.05.2008, 09:49
    #35333457
DAISER
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tsearch2 и кодировка
Давид МзареулянЯ сейчас переписываюсь с Фёдором Сигаевым, проблема слегка локализовалась, но пока не решилась. Но он что-то не упоминал о каких-то траблах именно с 6.2. Обновиться-то не сложно…
А что тут решать? В FreeBSD 6.2 кривая локаль ru_RU.UTF-8. Можно, как я понял, почитав www.lexa.ru, собственную локаль сделать, но, имхо, оно того не стоит. До 6.3 фрю обновлять не стал, перебрался на Debian 4.0 r2. Всё ништяк работает.
...
Рейтинг: 0 / 0
25.05.2008, 12:48
    #35333551
tsearch2 и кодировка
DAISER Давид МзареулянЯ сейчас переписываюсь с Фёдором Сигаевым, проблема слегка локализовалась, но пока не решилась. Но он что-то не упоминал о каких-то траблах именно с 6.2. Обновиться-то не сложно…
А что тут решать? В FreeBSD 6.2 кривая локаль ru_RU.UTF-8. Можно, как я понял, почитав www.lexa.ru, собственную локаль сделать, но, имхо, оно того не стоит. До 6.3 фрю обновлять не стал, перебрался на Debian 4.0 r2. Всё ништяк работает.
Вы смешали в одну кучу совершенно разные вещи. Во-первых, локаль «кривая» не на 6.2, а на всех версиях, включая семёрку. Во-вторых, в данном конкретном случае локаль совершенно не при чём.

В данном конкретном случае проблема вылезает при использовании файла стоп-слов, причём только (!) когда в этом файле встречается русская буква «х» (в этом есть какой-то глубокий символизм). К сожалению, на этом наша переписка с Фёдором пока заглохла…
...
Рейтинг: 0 / 0
25.05.2008, 17:49
    #35333833
DAISER
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tsearch2 и кодировка
Давид МзареулянВ данном конкретном случае проблема вылезает при использовании файла стоп-слов, причём только (!) когда в этом файле встречается русская буква «х» (в этом есть какой-то глубокий символизм). К сожалению, на этом наша переписка с Фёдором пока заглохла…
Буквы, прошу прощения, "х" у меня не было :-). Но и с другими буквами не работало. В дебри действительно не лазил.
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / tsearch2 и кодировка / 12 сообщений из 12, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]