Собственно, хочу спросить: какие варианты реализации кто предложит, может сами что применяете...

Абстрагируемся от средств разработки и конкретных СУБД.

Задача тривиальная.
Разрабатываемое приложение должно:
- с заданной периодичностью подключаться к БД
- запрашивать данные по определенному sql-запросу
- выполнять некоторые "танцы с бубном" по полученным данными
- отключаться

"танцы с бубном" - не конкретизируем, ну к примеру поле А + поле Б - результат сохранить в файл на диск.
Процесс требует оптимизации, то есть первая итерация обрабатывает все записи, последующие итерации - только те записи, которые изменились с предыдущей итерации.

Самое интересное:
Базу данных трогать нельзя!
Т.е. нельзя добавлять служебные поля ("обработано/не обработано"), нет гарантии, что в выборке будет некое поле "дата изменений" и пр.

Есть только следующие изветсные параметры:
- текст sql-запроса
- перечень ключевых полей, однозначно определяющих запись.

Вопрос - какие варианты?

Придется каким-то образом на клиенте кэшировать полученные данные, при следующем получении данных сравнивать и для изменившихся вызывать "танцы с бубном"...
Как именно это лучше делать?



---------
Когда все способы испробованы, а результата все нет, - прочтите наконец инструкцию!

Siemargl
а)Если можно, добавить в БД отдельную таблицу 1:1 (ключ, обработано)

Нельзя.

Siemargl
б)Хранить у себя список обработанных

Это даже не обсуждается. Хранить придется по-любому. Но не только список обработанных, а все полученные данные, так как уже обработанные могут снова измениться в БД и их надо будет еще раз обрабатывать.

shorewall
Собственно способов ровно два: бинарное дерево или хэш-таблица.

К этому я и склоняюсь. Затрудняюсь только с выбором хэш-функции. Нужна с максимальным быстродействием. Кроме того хочется общее хэш-занчение по всем полям записи, а не по каждому в отдельности.

А каким образом для данной проблемы применимы бин.деревья?

shorewall
Хранение уже обработанных данных в простом отсортированном виде в динамическом массиве не подойдет потому-что добавление туда данных будет дорогим.

Думаю использовать табличку на клиенте, может MemoryTable... Хранить все-равно придется соответсвия ключ/хэш-значение.