powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Лог postresql занял все место на диске.
8 сообщений из 8, страница 1 из 1
Лог postresql занял все место на диске.
    #39805682
devopsworker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Здравствуйте, подскажите пожалуйста, установлен postgresql11, в данный момент имею проблему, лог распух на 100 gb и занимает все место на диске. В лог падает следующая ошибка:

2019_04_22_09 (textid, fulltext, tsv) select textid::text, fulltext::text, tsv::tsvector from cte on conflict do nothing
2019-04-22 12:16:46.980 MSK [5665] etl_user@main ERROR: string is too long for tsvector (1048598 bytes, max 1048575 bytes)
2019-04-22 12:16:46.980 MSK [5665] etl_user@main STATEMENT: with cte as (select unnest(array[$tt$https:||rg.ru|2016|03|24|ombudsman-doklad-dok.html$tt$]) as textid, unnest(array[$tt$Достоинство Личности является важнейшим ценностным основанием и критерием, определяющим требования к выстраиванию отношений между государством и человеком. Сердцевину конституционных положений о безопасности составляют защита прав и.т.д

Подскажите пожалуйста что можно сделать в данном случае что бы решить проблему?
...
Рейтинг: 0 / 0
Лог postresql занял все место на диске.
    #39805726
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Лично я не понимаю, что может быть не понятного в сообщении об ошибке:

devopsworkerstring is too long for tsvector (1048598 bytes, max 1048575 bytes)


Документация12.11. Limitations
The current limitations of PostgreSQL's text search features are:

The length of each lexeme must be less than 2K bytes

The length of a tsvector (lexemes + positions) must be less than 1 megabyte

The number of lexemes must be less than 264

Position values in tsvector must be greater than 0 and no more than 16,383

No more than 256 positions per lexeme

The number of nodes (lexemes + operators) in a tsquery must be less than 32,768
....
...
Рейтинг: 0 / 0
Лог postresql занял все место на диске.
    #39805727
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
только переустановка виндовс.
...
Рейтинг: 0 / 0
Лог postresql занял все место на диске.
    #39805733
devopsworker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Leonid Kudryavtsev,

Ну как бы я понимаю что в ошибке превышен лимит tsvector? я спрашивал что можно сделать, потому что таких документов которые превышают этот limit много, есть ли какие то пути обхода данной ситуации?
...
Рейтинг: 0 / 0
Лог postresql занял все место на диске.
    #39805741
devopsworker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mefman,

Желаю успехов ...
...
Рейтинг: 0 / 0
Лог postresql занял все место на диске.
    #39805820
Alexius
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
devopsworker,

может выкинуть из индекса все длинные строки (или обрезать как-то) ? кто этот канцелярит по ссылке из примера в здравом уме читать будет.

если все же надо искать в больших документах, то их или придется разбивать или скорей всего что лучше - использовать специализированные решения под поиск, а не искать в базе.

есть конечно еще вариант пропатчить базу и увеличить лимиты MAXSTRLEN/MAXSTRPOS, размер структуры WordEntry и фиг знает что еще, но врядли это разумный вариант.
...
Рейтинг: 0 / 0
Лог postresql занял все место на диске.
    #39805824
devopsworker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Понял, спасибо.
...
Рейтинг: 0 / 0
Лог postresql занял все место на диске.
    #39806010
jan2ary
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
devopsworker,

Постгрес внутренне несогласен с написанным, не может он такое принять.
...
Рейтинг: 0 / 0
8 сообщений из 8, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Лог postresql занял все место на диске.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]