ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Camel иногда теряет последние байты файла при перемещении
10 сообщений из 10, страница 1 из 1
Camel иногда теряет последние байты файла при перемещении
    #39555654
questioner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
questioner
Гость
Суть кода в том, что читаем файлы из одного места, анализируем их и кладём в другое место

Этот роут слушает sftp и другой роут
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
//sftp
from(String.format("sftp://%s@%s:%d/%s?password=%s&delete=true",
        sftpConfiguration.getUsername(),
        sftpConfiguration.getHost(),
        sftpConfiguration.getPort(),
        sftpConfiguration.getSourcePath(),
        sftpConfiguration.getPassword()))
    .from("seda:file_upload")
    .process(new Processor() {
        @Override
        public void process(Exchange exchange) {
            try {
                isCsv = CSV.equals(new 
                Tika().detect(exchange.getIn().getBody(InputStream.class), fileName));
            } catch (IOException e) {
                ....
                return;
            }
            final List<Map<String, Object>> parsedLines = misCsvParser.parse(exchange.getIn().getBody(InputStream.class), fileName);
            ...
        }
    }).to("seda:parsed_csv");

    from("seda:parsed_csv")
        .to(String.format("sftp://%s@%s:%d/%s?password=%s",
                    sftpConfiguration.getUsername(),
                    sftpConfiguration.getHost(),
                    sftpConfiguration.getPort(),
                    sftpConfiguration.getDestPathRejected(),
                    sftpConfiguration.getPassword()));



с sftp всё понятно, а на другой стороне
Код: java
1.
.from("seda:file_upload")



Код: java
1.
producerTemplate.sendBodyAndHeaders("seda:file_upload", multipartFile.getBytes(), headers)



Так вот выяснилось, что если кладёшь в sftp папку файл размером 20MB, то в другое место может прилететь файл 6MB. Это же справедливо и для файлов полученных из второго from роута. Это поведение воспроизводится только на тестовом окружении и не воспроизводится на локальных машинах.

Есть идеи, что тут не так?
...
Рейтинг: 0 / 0
19.11.2017, 12:42
| Ответить | Цитировать | Написать  
Camel иногда теряет последние байты файла при перемещении
    #39555719
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Андрей Панфилов
Участник
questioner
Код: java
1.
2.
3.
4.
5.
6.
7.
                Tika().detect(exchange.getIn().getBody(InputStream.class), fileName));
            } catch (IOException e) {
                ....
                return;
            }
            final List<Map<String, Object>> parsedLines = misCsvParser.parse(exchange.getIn().getBody(InputStream.class), fileName);


Есть идеи, что тут не так?Вам какбы никто не гарантирует, что exchange.getIn().getBody(InputStream.class) можно несколько раз вызывать: http://camel.apache.org/stream-caching.html
...
Рейтинг: 0 / 0
19.11.2017, 16:03
| Ответить | Цитировать | Написать  
Camel иногда теряет последние байты файла при перемещении
    #39555738
questioner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
questioner
Гость
Андрей Панфилов,

Спасибо за ответ. Попробую явно отключить кеширование.

Но что-то мне кажется дело не в этом потому, что setBody/setIn и тд я нигде в коде не делаю.

У меня java DSL как Вы видите.

Код: java
1.
.noStreamCaching()

нужно после каждого from писать?
...
Рейтинг: 0 / 0
19.11.2017, 17:07
| Ответить | Цитировать | Написать  
Camel иногда теряет последние байты файла при перемещении
    #39555740
questioner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
questioner
Гость
Андрей Панфилов,

или Вы имеете ввиду, про что-то типа

https://stackoverflow.com/a/925036/2674303
...
Рейтинг: 0 / 0
19.11.2017, 17:12
| Ответить | Цитировать | Написать  
Camel иногда теряет последние байты файла при перемещении
    #39555780
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Андрей Панфилов
Участник
questionerУ меня java DSL как Вы видите.

Код: java
1.
.noStreamCaching()

Ну там же все написано - можно сразу в контексте, во-вторых, нужно не выключать (оно выключено по-умолчанию), а наоборот.
...
Рейтинг: 0 / 0
19.11.2017, 19:13
| Ответить | Цитировать | Написать  
Camel иногда теряет последние байты файла при перемещении
    #39555848
questioner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
questioner
Гость
Андрей ПанфиловquestionerУ меня java DSL как Вы видите.

Код: java
1.
.noStreamCaching()

Ну там же все написано - можно сразу в контексте, во-вторых, нужно не выключать (оно выключено по-умолчанию), а наоборот.

Спасибо, более детально почитаю. Меня собственное смутило, что я ничего не трогал а по умолчанию ведь и так выключено.

а мой поинт насчёт того, что я

автор setBody/setIn и тд я нигде в коде не делаю.

не релевантен?
...
Рейтинг: 0 / 0
19.11.2017, 23:33
| Ответить | Цитировать | Написать  
Camel иногда теряет последние байты файла при перемещении
    #39556122
questioner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
questioner
Гость
попробовал рассовать
Код: java
1.
 .streamCaching()

везде подярд
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
//sftp
from(String.format("sftp://%s@%s:%d/%s?password=%s&delete=true",
        sftpConfiguration.getUsername(),
        sftpConfiguration.getHost(),
        sftpConfiguration.getPort(),
        sftpConfiguration.getSourcePath(),
        sftpConfiguration.getPassword())).streamCaching()  //<---- here
    .from("seda:file_upload").streamCaching()  //<---- here
    .process(new Processor() {
        @Override
        public void process(Exchange exchange) {
            try {
                isCsv = CSV.equals(new 
                Tika().detect(exchange.getIn().getBody(InputStream.class), fileName));
            } catch (IOException e) {
                ....
                return;
            }
            final List<Map<String, Object>> parsedLines = misCsvParser.parse(exchange.getIn().getBody(InputStream.class), fileName);
            ...
        }
    }).to("seda:parsed_csv").streamCaching();  //<---- here

    from("seda:parsed_csv")
        .to(String.format("sftp://%s@%s:%d/%s?password=%s",
                    sftpConfiguration.getUsername(),
                    sftpConfiguration.getHost(),
                    sftpConfiguration.getPort(),
                    sftpConfiguration.getDestPathRejected(),
                    sftpConfiguration.getPassword()));
...
Рейтинг: 0 / 0
20.11.2017, 13:13
| Ответить | Цитировать | Написать  
Camel иногда теряет последние байты файла при перемещении
    #39556123
questioner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
questioner
Гость
не помогло
...
Рейтинг: 0 / 0
20.11.2017, 13:13
| Ответить | Цитировать | Написать  
Camel иногда теряет последние байты файла при перемещении
    #39556194
questioner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
questioner
Гость
я даже больше скажу - вот так не работает

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
from(String.format("sftp://%s@%s:%d/%s?password=%s&delete=true",
                sftpConfiguration.getUsername(),
                sftpConfiguration.getHost(),
                sftpConfiguration.getPort(),
                "test",
                sftpConfiguration.getPassword()))
                .to("seda:test_source");

        from("seda:test_source")
                .to(String.format("sftp://%s@%s:%d/%s?password=%s",
                        sftpConfiguration.getUsername(),
                        sftpConfiguration.getHost(),
                        sftpConfiguration.getPort(),
                        "test_dest",
                        sftpConfiguration.getPassword()));
...
Рейтинг: 0 / 0
20.11.2017, 14:33
| Ответить | Цитировать | Написать  
Camel иногда теряет последние байты файла при перемещении
    #39556438
questioner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
questioner
Гость
Помогло добавить в урл
Код: java
1.
&readLock=changed
...
Рейтинг: 0 / 0
20.11.2017, 22:56
| Ответить | Цитировать | Написать  
10 сообщений из 10, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Camel иногда теряет последние байты файла при перемещении
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/moderation_log.php?user_name=%D0%BF%D0%BE%D0%BC%D0%BE%D0%B3%D0%B8%D1%82%D0%B5+%D1%81+ASE+%D0%BF%D0%BE%D0%B4+%D0%BB%D0%B8%D0%BD%D1%83%D1%85]:
 0ms
get settings:
 11ms
get forum list:
 14ms
get settings:
 11ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 50ms
get topic data:
 14ms
get forum data:
 3ms
get page messages:
 53ms
get tp. blocked users:
 2ms
others: 662ms
total:  843ms
созд. / загр.: 843ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]