azsxПрограмма парсит страницы интернет и складывает их в поле text в utf-8. Чтобы не было ошибок типа такая последовательность байтов недопустима в utf-8 я предварительно специальным модулем убираю проблемные места.
Сейчас надо написать нормальный поиск по полю. Я хочу разбить поле text по словам и записать слова в другую таблицу, соответственно также в кодировке utf-8. Вопросы:
Правильно ли хранить всё это именно в utf-8? Может надо было изначально создать БД в utf-16 (или utf-32)?
Есть ли какой то способ ваще забить на кодировки при этом сохранив полноценный поиск.
зы
сегодня около 6 миллионов строк, около 80 гб данных в таблице.

postgresql не умеет utf16/utf32
и совершенно непонятно чем вам utf16/utf32 помогут (ну кроме вероятного увеличения размера базы в 2 или 4 ре раза).
и чем вас utf8 не устраивает?

>>Есть ли какой то способ ваще забить на кодировки при этом сохранив полноценный поиск.
так не бывает... так как лексика и морфология от используемого языка зависят.

--
Maxim Boguk
www.postgresql-consulting.ru

azsxавтори чем вас utf8 не устраивает?
меня не устраивает utf-8 так как при сохранении некоторых страниц, например, японских или арабских выходит ошибка "не могу сохранить так как используется неверная последовательность UTF-8". Ну или что-то подобное.
Как же тогда решают проблему остальные?

значит это не валидный utf там.... и ни utf16 ни utf32 вам не помогут.
И возможно у вас вообще на входе не utf там.
В utf8 помещаются все теже символы что и в utf16/32.

--
Maxim Boguk
www.postgresql-consulting.ru

azsxтогда я совсем запутался. Бывает какая нибудь кодировка, которая решает проблему с шрифтами арабов, азиатов и европейцов сразу?

utf8 решает (он прекрасно представляет любые символы) при условии что у вас именно входные данные в UTF8 а не в shift-js или что там еще у японцев с корейцами напридумано.
А если вам произвольный бинарный мусор хранить надо то bytea но как вы это на слова будете делить и text search прикручивать - я не знаю.

--
Maxim Boguk
www.postgresql-consulting.ru

azsxMaxim Boguk вот и получается, что во всем мире чо только не напридумывали, в том числ японцы. А я хочу по этой каше кодировок сделать поиск. Как - не знаю.

так вам надо входные данные в utf8 конвертировать, и уже сконвертированный результат сохранять в базе.
даже у русского языка минимум 3 активно используемые кодировки есть (если не 4ре).
По другому - никак.


--
Maxim Boguk
www.postgresql-consulting.ru

azsxочень сложно мне будет, под паскаль всякие конверторы с японской кодировки искать. Но я попробую.
Спрошу, чтобы отдельно темы не создавать, верно я понимаю, что если у меня данные записаны в text но я не знаю какой язык используется и чаще всего язык не один в записи, а несколько - то значит ловить с полнотекстового поиска встроенного в postgresql мне абсолютно нечего так как прежде всего при создании поля tsvector мне обязательно требуется указать язык для которого я создаю (индекс).

в каком то смысле да... FTS работает по какому то конкретному языку.
Но можно иметь несколько FTS индексов по разным языкам, но вот иметь FTS на postgres который бы на многоязычных документах нормально работал - по моему нереально.

--
Maxim Boguk
www.postgresql-consulting.ru