Добрый день!

Есть мапы, качающие файлы из вненего источника.
Соответственно мапа знает точно, сколько процентов она выполнила.
А как это сообщить? Чтобы Complete было нужное число процентов?
context.progress() не то...

--
Алексей.

Alexey TominЕсть мапы, качающие файлы из вненего источника.
Соответственно мапа знает точно, сколько процентов она выполнила.
А как это сообщить? Чтобы Complete было нужное число процентов?
context.progress() не то...


Собственно откуда вообще проблема...

Перед запускос m/r создаются файлы-маркеры, в которых лежит только URL файла.
Мапа реально читает эту одну строку и грузит файл. Файл грузится от 30 минут до 3 часов.
Т.к. с точки зрения hadoop'а это всё одна едсинственная строка файла- он сразу ставит для map'ы complete в 100%. Выглядит это не очень.
Сейчас я пишу в status реальный прогресс, но это не очень красиво.

PS: вообще, наверное, не очень правильно использовать для этой задачи m/r? Писал не я, но я допиливаю код (были недоработки).