на собесе только такое не ляпни, засмеют.
в хадупах пишут в темп фолдер, а потом атомарной командой ренеймят фолдер. т.е. все совершенно консистентно и зачастую более консистентно чем танцы с exchange partition какие приходится устраивать в реляционках. на сколько я помню в оракле exchange partition это ddl обрывающий транзакцию.

если тебе нужно 100 строк добавить то ты промахнулся форумом. я из старых, что только тут такой молодняк добрых лет 15 троллит.
итак, если ты думаешь, что серьезные хранилища на рсубд заливают данные в единой транзакции то тебя на собесе ждет сюрприз и волчий билет.

это могло бы быть разумной просьбой, если бы у тебя был бы хоть какой-то опыт, но ты приперся сюда с уровнем ниже джуна с представлением, что в хранилища заливают данные в рамках единой транзакции и с вбросом "БигДаты явно не для строгой отчетности". прости, но ты сюда приперся и я чувствую обязанным тебя подтянуть хотя бы на уровень джуна.

джун, вещать о зоопарке в хадупах в эпоху, когда майкрософт нахлабучила файлики mssql на тот же самый хадуп, вкрячив сбоку тот же самый спарк и проталкивает это как вершину тяжелой аналитики azure synapse/sql server big data edition - это мощно. снова совет не ляпнуть на собесе.
на хадупах сейчас три серьезные либы вокргу parquet формата Hudi, Iceberg, Delta от датабликса. опенсоурсную Delta от датабрикса мы уже год-полтора пользуем на cloudera, как сторидж для спарка он неплох, но ни hive ни impala этот формат не понимают и интегрировать нереально. но главное - ни одна из этих трех, включая датабрикс не обеспечивает атомарности далее одной таблицы, т.е. все так же как в реальной жизни на легаси рдбмс - acid на запись в одну таблицу. в эпоху стриминга и массивно-параллельности это и нафиг никому не надо, в том числе и деньги считать. что на легаси рдбмс, что у датабрикс облаке.