Идет прием выгрузки данных. xml.
Каждый день приходит три млн записей.
Из них реально новых примерно 50тыс., то есть реально полезной инфы 1-2%.
Между тем грузятся 10-ки Гб (вместе с записями идут доки).

Вопрос насколько это нормальная практика выгружать полностью всю историю условно объекта, все его текущее состояние, вместо того, чтобы выгружать только дельту порядка 1%?
Ведь эти 3млн, надо мало того, что скачивать, загружать, потом еще смерджить с сотнями млн записей в базах-приемниках.

andreymxне нормально наверное
Тоже так щитаю. Например, есть платежи клиента за месяц. Зачем каждый день выгружать все платежи за месяц вместо того, чтобы выгрузить только дельту, т.е. за прошлый день. При чем выгрузка идет и по связанных сущностей тоже.
CrazyCatказалось бы, причем тут оракл?
Конечно можно отнести к любой СУБД, но взял просто т.к. рабтаю с ним немного.
У меня пока объяснение одно - чтобы было за что деньги брать, одно дело когда выгружается каждый день сотня метров и другое дело десятки Гб )
Но действительно, это или в форум БД или вообще в ПТ.

CrazyCatможет. а все же по теме то какой вопрос?
Это и есть вопрос: насколько это нормальная практика делать массовые выгрузки не дельты, а всех связанных данных.
То есть условно в БД есть договор с клиентом, на поставку чего-либо по этому договору прошло уже куча накладных, счетов и т.д.,
но условно с каждой новой накладной выргужаются все его прежние накладные, счета и т.д. и ладно бы просто 5млн записей, так еще доки выгружаются в виде pdf-ок (отсюда и объемы), так ладно бы еще pdf-ки доков выгружались отдельно, чтобы можно было их просто не брать например, но они как нарочно прошиты внутрь файлов с записями :)
veep_in_officeнеплохая таки задачка по оптимизации. 98% процентов ресурсов тратится в пустую. В итоге это приведет к удорожанию железа. Лучше заплатить денег "кому надо" сейчас за оптимизацию
Чем потом в 10 раз больше на новые железки.
Ну соптимизировать-то ничего сложного только никому это не надо, кроме ТС (но повлиять не могу на поставщика данных), т.к. кажется, что это не нормально, потому и решил уточнить, а то может чего не понимаю.
К удорожанию железа это особо не приведет - только диски докупать придется периодически.
А может и мне это выгодно: одно дело обработать сотню метров файлов, другое - десятки гигов в отведенное время смержить с сотнями гигов :) важная сложная задача аднака )))