Обращаемся по REST API к сервису. Сервис кладёт нам в папку hdfs файл и присылает полный путь с именем к нему. Всё OK. Нормально читаем. При этом, для следующего запроса, получаем новый путь к новому файлу и новый файл в папку, ровно как и в первый раз. Но при запуске метода мы новый файл не видим по данному пути. Ставили задержку в 10 минут до вызова метода. Не помогает. Сам файл в папке появляется. Смотрели в hdfs во время задержки - файл есть. При перезапуске приложения, если вручную путь подставить - файл виден и читается. Может сталкивались? Есть подозрения на кэширование какое-то. Как быть?

import org.apache.hadoop.fs.*;

private static String readLineFromFile(String path) {

Path inFile = new Path(path);
try {
FileSystem fs = FileSystem.get(conf);
// Hadoop DFS Path - Input file

// open and read from file
FSDataInputStream in = fs.open(inFile); // взрыв тут
InputStreamReader isReader = new InputStreamReader(in);
//Creating a BufferedReader object
BufferedReader reader = new BufferedReader(isReader);
String str = reader.readLine();
if (str.isEmpty())
{
throw new RuntimeException("Error read from file. Data is null.");
}
return str;

} catch (IOException e) {
throw new RuntimeException("Error read from file. Path to file: " + inFile.toUri().toString());
}

}

Дедушка,

файл точно есть. Успевает прийти. При повторном запуске читается. Сейчас проверяю чем отличается путь в респонсе во второй раз. Пока версия одна - респонсы на два разных реквеста.

Заработало. Почему? Не понятно. В коде ничего не изменилось. Вероятно, кто-то где-то что-то подкрутил снаружи.