Задача:
данные с устройств записываются в sql server каждые 5 сек. Эти данные могу быть с одинаковыми значениями идти.
Хотелось бы отправлять эти данные в поток kafka, обрабатывать их и ложить в Mongodb уже данные без одинаковых значений
SQL Пример:

авторDate Value
07.02.2018 12:11:10 13.12
07.02.2018 12:11:15 13.12
07.02.2018 12:11:20 13.12
07.02.2018 12:11:25 16.28
07.02.2018 12:11:25 16.28
07.02.2018 12:11:25 16.28

=>
MongoDB:
07.02.2018 12:11:10 13.12
07.02.2018 12:11:25 16.28

Подскажите в какую сторону копать?

Дедушкакакова допустимая задержка между актуальностью данных в сиквеле и монге?

для начала почитайте про сопряжение сиквела и кафки подходит ли вам.
Да подходит, сейчас уже это работает и очень хорошо.
Задержка не более 3 сек.
Мне бы понять каким способом делать агрегацию, возможно с помощью спарка в отдельную таблицу sql и её уже посылать в поток, либо есть какие-то возможности у кафки, кто что знает?

Критикможет просто индекс создать в сиквеле?
с опцией: IGNORE_DUP_KEY = ON
в SQL хотят, чтобы хранилась вся картина.
И там не совсем одинаковые значения.
там дробные значения
5.565
5.567
5.568

и такие вот значения можно было бы схлопнуть.

Дедушка,

Но у меня уже кафка стримс стоит, которая копирует тупо данные из одной базы в другую.
Теперь как настроить стрим на аггрегацию, так как я предложили или есть более изящный способ?