Добрый день

Вопрос по конструированию запросов.
Есть база источника данных, из нее запрашиваются значения по параметрам.
Значения лежат в одной таблице, в ней есть ключи какому параметру принадлежит значение, а так же метка времени, за которое это значение было.
Цикл опроса работает следующим образом:
В источник делается запрос с указанием ключей соответствующих параметров и меткой времени, с какой возвращать значения.
После разбора ответа метка времени делается равной самому старому из последних значений пришедших параметров.

У этого метода есть минус:
Когда прекращают обновляться значению по одному или нескольким параметрам-прекращает сдвигаться метка времени запроса.
Таким образом ответ с каждой итерацией растет, приходят значения которые нам уже не нужны, потому что мы их прочитали и вообще общая производительность падает.

Вроде понятно изложил. Кто может подсказать как оптимизировать алгоритм чтобы бороться с подобными ситуациями?
Первое что приходит на ум - делать запрос по каждому из параметров. Но это мало производительно при большом объеме получаемых параметров.

Добрый день, извиняюсь что долго не отвечал, уезжал на внедрение.

Думал что объяснить "на пальцах будет понятнее".


tanglir совершенно верно разобрался в алгоритме

По каждому параметру хранится метка времени его последнего значения. Среди этих меток времени выбирается самая старая и она
присваивается mytimestamp.

Затем делается запрос, образно говоря



Приходит ответ. Пришедшие значения укладываются в базу, обновляются метки времени, цикл запускается заново.

В идеальной ситуации, когда период чтения равен периоду появления одного значения по каждому параметру, в один цикл приходит одно значение по каждому параметру.

Такой механизм нужен чтобы обрабатывать нестандартные ситуации. Например сбор только запустили и необходимо собрать данные с определенной метки времени, или был сбой связи с источником и продолжительное время не было возможности получать данные. Данные необходимо иметь в нашей базе 1:1, то есть пропускать значения нельзя , поэтому Ivan Durak , брать только последние значения нельзя. Или, как вариант, городить логику и обрабатывать пропуски отдельным потоком.

Но в момент когда по одному из параметров прекращают приходить значения, получается что прекращает сдвигаться общий mytimestamp. Понятно дело что при каждом цикле опроса данных с mytimestamp до now становится по остальным параметрам все больше и больше.

LSV , а вы бесплатно не консультируете? поэтому 60% ваших сообщений на этом форуме в разделе Просто треп? ;)

нет, не 1:1
Для чего мы тогда делаем выборку по условиям?
Расскажите мне как настроить репликацию из interbase или m$sql в oracle, например?

Хотелось бы вернуться к исходному вопросу.
Есть запрос, есть описанная проблема в частном случае при работе этого запроса.
Может ли кто то подсказать, может пофантазировать даже, пути решения данной проблемы?

Dimitry Sibiryakov,

кстати, чтобы отсечь разговоры в этом направлении, поиск по первому же продукту
https://www.ibphoenix.com/shop/category/2
необходимо на 40 баз получать в среднем по 3 источника

фанаты репликаторов могут на досуге заняться подсчетом