Есть табличка с показаниями датчиков (самих датчиков около 20 тыс )
counter_id - идентификатор датчика
val - значение
val_date - дата значения
Значений в табличке сотни миллионов уже
В табличку постоянно валятся новые показания, табличка секционирована по месяцу даты и по данному полю индекс (локальный).
Ранее надо было всегда вытаскивать таблицу значений за определённый календарный день и такая схема прекрасно работала.
А сейчас вдруг появилась необходимость, если для для какого-то датчика в запрошенном дне НЕ было значения, то отражать последнее по дате значение. Вот что-то я на "последнее по дате" заткнулся немного при таком размере таблицы.
Если бы всегда нужны были данные на текущий день - можно было бы где-то хранить дату последнего показания для каждого счётчика, а тут получается, что могут запросить данные за любой день и если для какого-то счётчика дата попадает в "дырку" надо именно для этого счётчика искать когда же было последнее показание.
Т.е. было просто:
1.
SELECT * FROM counter_val WHERE val_date >= to_date('01.01.2020') and val_date < to_date('02.01.2020')
1.
2.
3.
4.
SELECT STATEMENT
PARTITION RANGE SINGLE
TABLE ACCESS BY LOCAL INDEX ROWID
INDEX RANGE SCAN
А теперь мне для начала для каждого счётчика нужно получить последнюю дату (меньшую или равную указанной), в которой есть значение
1.
2.
SELECT counter_id , max(val_date) FROM counter_val WHERE val_date < to_date('02.01.2020')
GROUP BY counter_id
1.
2.
3.
4.
SELECT STATEMENT
HASH GROUP BY
PARTITION RANGE ITERATOR
TABLE ACCESS FULL
Фуллскан полюбому? на трёхстах миллионах значений уже за две минуты переваливает :(
Никакой путной структуры для хранения таких данных "с дырками" нет, чтобы можно было на любую дату быстро вытащить последнее значение?
Пытаться насильно заполнять "дырки" последним значением ?
Обидно то, что "дырки" небольшие и я заведомо знаю, что если в каком-то дне нет показания, то за последние три-четыре дня точно оно есть.... но базе этого не объяснить.
--------------------------------------------------------------
Запомните, товарищи офицеры, чтобы ничего не делать, надо уметь делать все.
