ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / доступ к файлу
25 сообщений из 90, страница 3 из 4
  3  все
доступ к файлу
    #39487114
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Музаффарпридется брать файлов меньше 2КБ :) и файлы не более чем 1МБ (если я не ошибаюсь)
второго я не совсем понял при чем тут хтмл файл?

Это в качестве примера я взял. Почти любой файловый формат имеющий спецификацию
позволяет определять свою валидность. К примеру. Бинарные форматы указывают свой размер
в заголовке (прямо или косвенно).

Бинарные или символьные потоковые форматы (xml, json) имеют ярко выраженные
старт-стопные последовательности по которым можно точно сказать
что файл финализирован.

и не легче ли просто ждать скажем 1секунд перед началом парсинга и после появлении файла как предлагал Блазкович?
Можно ждать 1 или 2 секунды. Эту цифро подобрать экспериментально исходя из оптимального
времени "готовности" файла. Вообще таймаут - это нормальное состояние например в сетевых
протоколах. Единственный момент - не делать sleep(..) внутри потока. А как-то по другому
возвращать в пул неработающих потоков. Например как предложил Блажкович.
...
Рейтинг: 0 / 0
12.07.2017, 08:16
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487118
Музаффар
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Музаффар
Участник
mayton,

мы просто так исходя из содержимого не можем конкретно сказать что файл закончился или ещё туда пишутся данные, т.к. разные файлы точнее разные содержания.

да со слипом все так посоветовали, хотя самым легким вариантом был :)

вот с шедулером не могу разобраться что к чему...
...
Рейтинг: 0 / 0
12.07.2017, 08:24
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487126
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Музаффарmayton,

мы просто так исходя из содержимого не можем конкретно сказать что файл закончился или ещё туда пишутся данные, т.к. разные файлы точнее разные содержания.

Это твои файловые форматы Spravka02,93... ?
...
Рейтинг: 0 / 0
12.07.2017, 08:49
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487151
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
Музаффар,
Задача подсистемы выдать событие конца записи файла. Я бы валидацию делал ИС.
Один доп.поток справится.
...
Рейтинг: 0 / 0
12.07.2017, 09:18
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487159
Музаффар
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Музаффар
Участник
mayton,

это шаблоны справок для парсинга

а так получаю такого рода файлы наименования тоже специфическая 01022400.00Х (расширения начинается с 000 по FFF)
...
Рейтинг: 0 / 0
12.07.2017, 09:24
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487652
Фотография Usman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Usman
Участник
Музаффар,

Openfiles - Queries or displays open files. Also queries, displays, or disconnects files opened by network users.
...
Рейтинг: 0 / 0
12.07.2017, 15:43
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487735
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
Usman Openfiles - Queries or displays open files. Also queries, displays, or disconnects files opened by network users.
...
Рейтинг: 0 / 0
12.07.2017, 16:58
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487747
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
Если всё происходит "на винде", то перемещать (since 1.7) файлы из исходного каталога в промежуточный.
Самый хороший вариант - научить перемещать готовые к обработке файлы их поставщика.
...
Рейтинг: 0 / 0
12.07.2017, 17:14
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487758
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Basil A. SidorovЕсли всё происходит "на винде", то перемещать (since 1.7) файлы из исходного каталога в промежуточный.
Самый хороший вариант - научить перемещать готовые к обработке файлы их поставщика.
ну читать же надо тс ....
чтоб переместить надо чтоб файл был свободен. а когда писался поставщик винда была в зачатке....
...
Рейтинг: 0 / 0
12.07.2017, 17:32
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487761
Фотография Usman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Usman
Участник
ReadDirectoryChangesW function

и отслеживать с такими параметрами:

- FILE_NOTIFY_CHANGE_SIZE
- FILE_NOTIFY_CHANGE_LAST_WRITE

периодически вызываем функцию и выЩЩитываем разницу (размер/время)...
и по истечении определенного интервала можно сделать вывод, что в файл уже никто не пишет.

реализовать можно при помощи JNA
...
Рейтинг: 0 / 0
12.07.2017, 17:33
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487803
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
вадяну читать же надо тс ....Именно.
Топикстартеру требуется начинать обработку файла тогда, когда поставщик закончил запись в него.
Если добавить промежуточное перемещение, то (в случае Windows) файлы, попавшие в этот промежуточный католог - гарантированно готовы к обработке.
...
Рейтинг: 0 / 0
12.07.2017, 18:40
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487808
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
Usmanреализовать можно при помощи JNA При помощи JNA (или даже без его помощи) можно просто открывать файл с опцией, дающей ошибку, если файл уже открыт на запись. Гораздо проще обработать ошибку, чем рожать (негарантированную) эвристику.
Но, опять-таки, в юниксах с файловыми блокировками не очень хорошо: чтобы работало, правила должны соблюдать все участники.
...
Рейтинг: 0 / 0
12.07.2017, 18:45
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487846
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Basil A. SidorovИменно.
Топикстартеру требуется начинать обработку файла тогда, когда поставщик закончил запись в него.
Если добавить промежуточное перемещение, то (в случае Windows) файлы, попавшие в этот промежуточный католог - гарантированно готовы к обработке.
ты читал что делал mayton ? он копировал файл. копировал средствами windows. не писал "поставщиком" , а копировал созданный файл.

Basil A. SidorovПри помощи JNA (или даже без его помощи) можно просто открывать файл с опцией, дающей ошибку, если файл уже открыт на запись. Гораздо проще обработать ошибку, чем рожать (негарантированную) эвристику.что и делает 20625966 .
...
Рейтинг: 0 / 0
12.07.2017, 20:04
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487847
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
Basil A. Sidorov,
Конечно, чем проще тем лучше.
Раз в 5 минут идет поток и перекидывает файлы в папку /My/....
Те что смог, они ушли на обработку.
Железобетонный энтерпрайз.
...
Рейтинг: 0 / 0
12.07.2017, 20:06
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487851
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Petro123Конечно, чем проще тем лучше.
Раз в 5 минут идет поток и перекидывает файлы в папку /My/....
Те что смог, они ушли на обработку.
Железобетонный энтерпрайз.прослушиваем папку /My/...., нарываемся на файл, который копируется и возвращаемся к началу топика....
...
Рейтинг: 0 / 0
12.07.2017, 20:12
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487862
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
вадя,
Ты не в курсе что переписывание мгновенное?
...
Рейтинг: 0 / 0
12.07.2017, 20:28
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487870
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Petro123вадя,
Ты не в курсе что переписывание мгновенное?как-то не приходилось с этим сталкиваться ...
перенос - да, когда из одной папки в другую - только в mfs переписывается....
но сначала надо дождаться когда файл освободится, потом перенести - гораздо проще и быстрее так обработать 20625966
Petro123Раз в 5 минут ии кто будет ждать 5 минут? когда проще и быстрее обработать эксепшен при обращении к файлу?
...
Рейтинг: 0 / 0
12.07.2017, 20:44
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487874
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
вадя,
А когда обращатся, если он еще пишется?
Быстрота нужна при ловле блох.
А в Ынтырпрайзе - надежность и простота.
...
Рейтинг: 0 / 0
12.07.2017, 20:48
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487876
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Petro123А когда обращатся, если он еще пишется?
Быстрота нужна при ловле блох.
А в Ынтырпрайзе - надежность и простота.когда пишется - происходит эсепшен. его и обрабатываешь в цикле.
этих циклов примерно 5-8. файлы маленькие. делать "универсальное" для произвольного размера - нет смысла - файлы маленькие, мах 10к.... стабильно до 1к.
чем предложенный вариант не прост и не надёжен? (единственно - добавить счётчик циклов, для выхода из цикла)
...
Рейтинг: 0 / 0
12.07.2017, 20:57
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487877
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Petro123Быстрота нужна при ловле блох.юзер запросил данные и сидит курит 5 минут.....21 век б...ь
...
Рейтинг: 0 / 0
12.07.2017, 20:58
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487878
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
вадя,
Тем что у тебя 8 циклов, а с константой 2 мин или 5 будет 2 прохода.
А вообще, мне пофигу. Делай.
...
Рейтинг: 0 / 0
12.07.2017, 21:00
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487882
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Petro123Тем что у тебя 8 циклов, а с константой 2 мин или 5 будет 2 прохода.
А вообще, мне пофигу. Делай.8 циклов 100мс, или 2 прохода за 5 минут - есть разница?
...
Рейтинг: 0 / 0
12.07.2017, 21:04
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487883
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Petro123А вообще, мне пофигу.супер аргумент профи.
...
Рейтинг: 0 / 0
12.07.2017, 21:05
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487913
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
В этом шаблоне есть уникальная стоп-последовательность типа смайлика.


Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
BЦ УTИ     93 06.06 12-31 BЦ 73
HAЛИЧИE ПOEЗДOB HAXOДЯЩИXCЯ HA CT. ЧYKYP 

HOMEP    ИHДEKC    COCT ДATA  BPEMЯ ПAPK  BAГ УДЛ БPУTT
3422 7200  92 7236 ФOPM 06.06 00-03 00/00  60  66  5095 
3502 7200  93 7230 ФOPM 06.06 00-40 00/00  51  56  4702 
3602 7200  94 7224 ФOPM 06.06 01-11 00/00  52  58  2835 
2310 6980 718 7200 ПPИБ 06.06 09-38 00/00  57  70  4205 
2004 7200  95 7258 ПPИЦ 06.06 11-19 00/00  55  58  2335 
3630 7200  96 7235 ФOPM 06.06 07-54 00/00  53  57  3897 
3641 7200  97 7222 ФOPM 06.06 08-58 00/00  50  58  4015 
3504 7200  99 7407 OTЦ  06.06 11-16 00/00  52  55  4364 
1256 7076  15 7200 ПPИБ 06.06 05-19 00/00  53  57  1822 

(:0497 BЦ УTИ  1173029 06 06 12 31 001:
Ю1 0000 212 001 000 0:)
...
Рейтинг: 0 / 0
12.07.2017, 22:56
| Ответить | Цитировать | Написать  
доступ к файлу
    #39487942
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
вадяты читал что делал mayton ? он копировал файлРазницу между "скопировать" и "переместить" совсем не понимаем?
Если вы не в курсе возможности копировать открытые на запись файлы, то уж опция ATOMIC_MOVE функции NIO-пакета должна была навести хоть на какие-то мысли?
...
Рейтинг: 0 / 0
13.07.2017, 02:37
| Ответить | Цитировать | Написать  
25 сообщений из 90, страница 3 из 4
  3  все
Форумы / Java [игнор отключен] [закрыт для гостей] / доступ к файлу
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=39487883&tid=2122763]:
 0ms
get settings:
 8ms
get forum list:
 16ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 58ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 80ms
get tp. blocked users:
 2ms
others: 223ms
total:  405ms
созд. / загр.: 405ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]