Уважаемые форумчане, здравствуйте!
Нужен ваш совет.

Алгоритм определения изменений схемы данных.
Введение:
В крупной системе, реализующей минросервисную архитектуру часто возникает необходимость синхронизации горячих данных между различными компонентами (исполняемыми модулями). Как правило единой точкой правды для всех компонентов является СУБД, а именно какая либо схема или набор объектов СУБД. Но частые обращения к этим объектам, в особенности запросы содержащие агрегатные или аналитические функции, негативно влияют на производительность СУБД в целом. Поэтому для разных ситуаций разрабатывают различные тактики определения разности состояний тех или иных объектов СУБД для синхронизации с приложением.
Что нужно сделать:
Спроектировать алгоритм (фунцию) определяющую есть ли изменения в СУБД или нет начиная с какого-либо времени или идентификатора.
Вариации:

• Вычисление изменение всей схемы целиком.
  
• Вычисление изменений заданных объектов (таблиц, колонок).
  
• Вычисление, реализованное только на JAVA без использования системных объектов СУБД.
  
• (повышенной сложности) Вычисление, реализованное только на SQL на СУБД Postgres.
  
• Вычисление допускает введение дополнительных сущностей в схему данных, либо рекомендации к проектированию схемы.
  

Критерии оценки:
Код должен быть покрыт нагрузочными тестами, приведены оценки планов запроса.

Написано относительно сложно, суть, как я понимаю, необходимо написать на java какую-нибудь простую реализацию: класс, который будет отслеживать изменения данных.

Я гуглил-гуглил и так и этак. Кто-то предлагает на основе анализа журнала транзакций, использовать механизм триггеров. Вроде бы в MS Sql Server и в postgresql есть какие-то встроенные инструменты для этого, кто то предлагал делать это посредством контрольных сумм, в то же время чего-то простого доступного мне найти не удалось. Может быть есть возможность подсказать?

PetroNotC Sharp ,
получилась так, что прошлая тема превратилась в тему про кэш и это правильно, как по мне. Надо было с самого начала разделить эти вопросы.

На счет этого вопроса, моего уровня знаний недостаточно, чтобы понять его минусы и "абсурд", который обсуждают форумчане. Как сказал уважаемый skyANA "Автор хочет устроиться на работу".

Как я нагуглился, несмотря на удобные современные функции, интерфейсы для работы с БД, могут быть ситуации (вмешательство админа БД, взлом SQL-injection, прямые изменения в БД что еще). Получается, что одного журнала событий прикладной системы недостаточно — необходим аудит изменения данных на уровне базы, который будет дополнительным инструментом для обеспечения безопасности и исключения ошибок при эксплуатации системы. Основным критерием для выбора механизма, обеспечивающего мониторинг, является минимальное влияние внедряемого решения на производительность системы.

Я так понимаю, выдавшие задание предлагают "порассуждать" (реализовать несложный алгоритм) на эту тему. Вопрос, как это сделать

PetroNotC Sharp,

на джуна. задачу по кэшу из прошлого топика и эту по БД, мне дали как ТЗ на джуна

Смотрите, а вот это не то, что мне нужно?
https://jdbc.postgresql.org/documentation/91/listennotify.html

skyANA,
устраиваюсь в один из банков

"Проясните, в каком виде должны быть представлены результаты этого вашего мониторинга изменений в базах данных."

Мне сложно рассуждать на эту тему, потому что я не знаю в каком виде это бывает в реальности. Могу предположить, что при INSERT или UPDATE метод должен возвращать true. В задании же указано: "Спроектировать алгоритм (фунцию) определяющую есть ли изменения в СУБД или нет начиная с какого-либо времени или идентификатора."
Может при каждом INSERT или UPDATE надо передавать что-то еще, чтобы потом понять "с какого-либо времени или идентификатора" какие то триггеры. А может быть было бы не плохо, если бы метод возвращал не просто true false, а конкретные изменения

PetroNotC Sharp,
"...репликацию, ddl, dml..."
Термины не знакомы. Насколько я понимаю триггеры как раз таки относятся к dml.

Получается я могу сделать так
CREATE TRIGGER IF NOT EXISTS "" AFTER INSERT ON "" BEGIN INSERT INTO (new_...
как-то так.

То есть у меня появляется вторая таблица с изменениями

PetroNotC Sharp,
нет времени. вчера было собеседование. на большинство вопросов по java core я ответил и как по мне, все прошло неплохо. Не знаю, конечно, какое мнение у той стороны, ответ будет недели через 1.5 и они будут учитывать задание. первую задачу с кэшем я уже отправил. может быть успею что-то состряпать по второй, чтобы было хоть что-то. думаю, это может сыграть роль. маленький плюсик. если кто-то вообще ничего не сделает, а у меня хоть какие-то наработки будут

сделаю так, создам две таблицы. основную и с изменениями. никак постгре, возьму sqlite инмемори да и все. это же просто сферический конь в вакууме. jdbctemplate "самодельный".
и пропишу триггеры для основных операций изменений таблицы.
ну и как-то надо завернуть это все в метод, получения изменений.
думаю как-то так

Да. опять же нет времени разбираться прямо сейчас с постгри, я ней никогда не работал. возьму sQLITE
Для эксперимента создам простейшую таблицу. house adress price metro что то типа того и пропишу простейшие методы. insert update delete.

затем создам второй сервис TriggerService или что то типа того, где будут прописаны триггеры для каждой операции и попробую в какую -нибудь коллекцию получить изменения таблицы при выполнении операций с ней. Формально ТЗ будет выполнено? "Спроектировать алгоритм (фунцию) определяющую есть ли изменения в СУБД или нет начиная с какого-либо времени или идентификатора". Вот только как быть со временем или идентификатором?

skyANA, я вижу ваши советы на счет уточнения. Я понимаю. Большое спасибо за них.
Просто дело в том, что задание выдали аж перед новым годом и я несколько подзабил на них, потому что со всех сторон слышал, что это слишком сложные задания на джуна, а тут на собеседовании спросили, мол, прислал ли хотя бы одну из двух. и я решил активизироваться. А сейчас уже как-то даже неудобно спрашивать спустя месяц. Поэтому попробую сделать какую-то простую реализацию. Учебную, так сказать