Добрый день коллеги.
Имеется табличка. 200 Гб. Непартицированная. Что-то типа.
1.
2.
3.
4.
5.
6.
7.
create table msg_log(
id VARCHAR2(36) primary key,
dt TIMESTAMP(6) not null,
msg CLOB not null
...
...
);
Есть еще куча других полей но в данном контексте они не суть важны.
Необходимо оптимизировать поиск вида.
SELECT * FROM msg_log WHERE dt BETWEEN :d1 AND :d2 AND msg LIKE '%'||:text||'%';
Msg внутри себя хранит текст формата FIX (
https://ru.wikipedia.org/wiki/Financial_Information_eXchange).
Например. С той-же вики
1.
8=FIX.4.2 | 9=178 | 35=D | 34=123123 | 49=BROKER11 | 56=PHLX | 52=20071123-05:30:00.000 | 11=ATOMNOCCC9990900 | 55=MSFT | 167=FUT | 54=1 | 38=15 | 40=2 | 44=15 | 59=0 | 10=128 |
Теоретически кастомер может лупить в поле текст все что угодно. Но предположительно он будет искать
ордеры за вчерашний день d1=trunc(sysdate - 1), и по определенному номеру заявки 11=ATOMNOCCC9990900.
Не исключено что он может просто поискать всё по подстроке "%8=FIX.4.2 | 9=178%". Тоесть для сверки чего-либо.
Query работает 1 минуту в типичном юзкейсе. По SLA - должно быть несколько секунд. Ну там 2-3.
Oracle 11g R2.
Oracle Text - не установлен.
В рамках мозгового штурма мы рассматривали самые разные варианты вплоть до ElasticSearch, и выноса
этой таблички в уровень NoSQL. Но пока нет четкого понимания размеров (сколько), цены апдейта,
и лага между обновлением лога и текстового индекса.
Ничего с PROD копи-пастить не могу. Сорян. Ограничен NDA. Буду отвечать на словах. Надеюсь на ваше понимание.
Рад выслушать ваши советы и узнать как сделать подобный поиск у вас.
