Коллеги, подскажите, какие есть варианты передачи данных из Kafka в HDFS?
Есть ли типовое решение, "которое все используют"?

По мере погружения в экосистему Hadoop моя задача начинает приобретать некоторые очертания.

Вобщем, есть множество JSON-файлов (очень простых по структуре - по сути, это просто кортежи в JSON-обертке, маленькие по размеру - несколько килобайт). Эти файлы забираются по API из другой системы (еще вариант - другая система может отправлять их в Kafk'у).

Сохранять все нужно в HDFS в структуре, доступной в Hive, допустим в Avro.

Рассматриваю сейчас такие варианты: NiFi и Kafka Connector.

Но никак не могу понять на какой стадии и какой из компонентов системы должен преобразовать JSON-файлы в Avro-файлы?
Причем, если я правильно, понимаю, в HDFS должно храниться не множество мелких Avro-файликов (каждый из которых сделан из JSON-файла), а один большой Avro-файл (созданный и постоянно пополняющийся данными из новых JSON-файлов)?
Т.е. где происходит то самое преобразование нескольких мелких json-ов в один большой Avro-файл (доступный из Hive)?

Совсем запутался ((

"raw zone" и "gold zone" (не сталкивался еще с этими терминами, использовал stage-area, наверное по смыслу тоже самое) должны быть на HDFS?
Т.е. гнать мелкие JSON-файлы прямо в HDFS, а затем их обрабатывать/упаковывать/т.п. и класть опять в HDFS, после чего удалять JSON-ы?