Вообщем есть ftp папка

туда кидаются csv выгрузки в разном формате. (более 100 в день)
Их надо поименовать и положить в hdfs
При этом, если такой файлик уже есть это нужно дописать, если нет то создать, а следующие дописывать

Для 1 файла, я это проделал руками через консоль, но сотни обработать вручную нереально


Какой инструмент подойдет для данной задачи?

Спасибо

ASCRUS,

Спасибо.
Я сейчас так и делаю:
1.Захожу в командную строку. копирую файл и дописываю дату
2. потом захожу в hdfs, сотрю если файл есть делаю аппенд, если нет. то просто переношу.

но для каждого файла приходится это делать вручную.
Я думал есть какой то ETL ?

haXbat,
Апну темку )
Теперь запускать по расписанию в cron не нужно.
В ambari появилась такая штука как Workflow Manager

Workflow Manager integrates with the Hortonworks Data Platform (HDP) and supports Hadoop jobs for Hive, Sqoop, Pig, MapReduce, Spark, and more. In addition, it can be used to perform Java, Linux shell, distcp, SSH, email, and other operations.