ВЕЗУНЧИКДень добрый дорогие разработчики. В очередной раз стоит великая задача создания шустрого и рабочего ИТ сервиса. Перейдем сразу к возникшей проблеме:
Имеются два хранилища данных: некая БД Биллинговой системы (система X) и БД системы осуществления лицензионного доступа к платному контенту типа Verimatrix (система Y).
При осуществлении клиентом покупки платного сервиса (например, покупка контента с мобильного приложения, интерактивной приставки или сайта), информация о покупке регистрируется в системе X и из системы X отправляется команда в систему Y на открытие доступа к соответствующей единице контента. Между системами X и У существуют промежуточные звенья (преобразователи команд, очереди и т.д.), которые могут привести к нарушению консистентности данных в рассматриваемых системах. Стоит задача: один раз в день выгружать из систем X и Y файлы одинаковой структуры (идентификатор клиента, список доступных сервисов) и производить сравнение данных файлов .

По сути стоит задача создания сервиса Z, обладающего следующими характиристиками:
1. сервис Z должен быть вынесен из систем X и Y ;
2. сервис Z должен принимать на вход файлы большого размера от каждой из систем X и Y, производить сравнение файлов и выводить результат расхождения ;
3. сервис Z должен уметь отправлять команды в очередь команд ;
4. сервис Z должен сигнализировать другие сервисы, если показатели расхождений выходят за рамки допустимых значений .

Может быть кто-то сталкивался с подобного рода задачами и поделится опытом и информацией по используемым инструментам? Буду рад получить консультации и немного порассуждать или получить ссылки на готовые инструменты, чтобы не изобретать велосипед.Добрый вечер, дорогой везунчик.
Сферические пункты 1,3,4 ни о чем.
Пункт 2 - зависит от допущений по поводу данных.
Если известно, что клиенты отсортированы (да еще и по строке на клиента), то эффективный алгоритм нахождения различий вполне под силу толковому школьнику-студенту.
Если подразумеваются файлы абсолютно произвольной структуры - то все известные мне файло-сравнилки загнутся на гигабайтных объемах.
Если интересно почему - читай про сложность алгоритма нахождения различий.

PS. Спрашивается, и при чем здесь Оракл...

ВЕЗУНЧИКДа согласен Oracle тут ни причем, случайно опубликовал вопрос не в той ветке форума, но дублирование вопроса в теме "Проектирование БД", не привело к желаемому результату ))).Осталось объяснить зачем для сравнения файлов БД.
Другое дело, что может данные вовсе нет необходимости выгружать и дешевле было бы сделать [двухстороннюю] репликацию.
Или, например, сравнив данные в двух системах на момент времени t ₀ , в дальнейшем сравнивать изменения а не весь слепок.
Создается впечатление, что у тебя нет самых базовых знаний, так что лучше почитай недельку про "синхронизацию данных" в СУБД, чтоб потом говорить более предметно.
ВЕЗУНЧИКПро Hadoop пишут, что он за секунды грузит 10 Gb данных и манипуляции над Tb данных выполняет за секунды. А есть какие-нибудь подводные камни в использовании Hadoop?Нужен мозг.