Есть внешний источник данных с низкой производительностью.
Чтобы с ним работать, опрашиваю его раз в час и результаты кеширую в локальной таблице.
Количество строк в источнике данных исчисляется тысячами, в дальней перспективе возможны десятки тысяч.
С новыми или измененными данными особых сложностей нет, но есть вопрос, как работать с аннулированными (удаленными) записями.
Можно добавить в локальную таблицу поле CHANGED, обновлять его при добавлении/обновлении, а затем удалять все записи, у которых CHANGED старше определенного порога (то есть которые не обновлялись или не добавлялись). Обычно именно так и делаю.
Можно полностью очищать локальную таблицу, а затем грузить все заново — но предполагаю, что это не очень хороший способ.
Можно грузить сырые данные во временную таблицу, использовать ее для обновления локальной таблицы, а затем с помощью full outer join получить список неактуальных данных, который можно удалить.
Недавно использовал последний способ (нужна была дополнительная обработка неактуальных данных) — и он оказался на удивление производительным.
Это мне с данными повезло? Или это и в самим деле хороший способ для БД?
По сравнению с первым способом я вижу преимущество в том, что не нужно на каждой синхронизации обновлять поле CHANGED большинства записей.