ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Оптимизация удаления большого количества файлов
13 сообщений из 13, страница 1 из 1
Оптимизация удаления большого количества файлов
    #39100901
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Добрый день коллеги.

Данный вопрос не в разработку. А больше в конфигурирование.
Обратил внимание на то что при сборке особо крупных проектов
сценариями ant, maven немалую часть времени (до нескольких
минут) занимает операция clean которая просто чистит целевые
каталоги бинарников.

Задумался. Какая файловая система и какая ОС больше всего
подходит под данную задачу.

И какие технические hints, tricks можно придумать чтобы
убрать из фазы сборки эти несколько минут?
...
Рейтинг: 0 / 0
11.11.2015, 16:13
| Ответить | Цитировать | Написать  
Оптимизация удаления большого количества файлов
    #39101036
scf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
scf
Участник
можно попробовать чистить проект не мавеном, а системой контроля версий
git clean -fdx в том же гите
...
Рейтинг: 0 / 0
11.11.2015, 17:43
| Ответить | Цитировать | Написать  
Оптимизация удаления большого количества файлов
    #39101041
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Если есть достаточно дискового места, то можно не чистить целевой каталог сразу, а переименовать его, создать новый под старым именем, запустить что нужно в новом каталоге, а потом или параллельно запустить удаление старого. И пусть оно длится сколько угодно.
...
Рейтинг: 0 / 0
11.11.2015, 17:51
| Ответить | Цитировать | Написать  
Оптимизация удаления большого количества файлов
    #39101084
no56892
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
no56892
Участник
Купить ССД, боюсь спросить сколько у вас занимает сборка?)
...
Рейтинг: 0 / 0
11.11.2015, 18:46
| Ответить | Цитировать | Написать  
Оптимизация удаления большого количества файлов
    #39101138
wst
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wst
Участник
Последний встреченный пример такой радости - Qt, там чем дождаться make clean для creator-а быстрее грохнуть все rm-ом, даже ssd не сильно спасает. Однако да, SSD+рукопашный rm -fr * спасают независимо от файловой системы (во всяком случае ext4 или ntfs-3g).
...
Рейтинг: 0 / 0
11.11.2015, 20:06
| Ответить | Цитировать | Написать  
Оптимизация удаления большого количества файлов
    #39101140
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
no56892Купить ССД, боюсь спросить сколько у вас занимает сборка?)
Нам не купят ССД на все сервера сборки и на рабочие ноутбуки.
Интересует софтварное решение вопроса.
...
Рейтинг: 0 / 0
11.11.2015, 20:10
| Ответить | Цитировать | Написать  
Оптимизация удаления большого количества файлов
    #39101194
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Насчёт переименования folder - хороший кейс. Но придётся менять поведения многочисленных
скриптов. Это гемор. Поэтому хотелось-бы просто найти файловую систему где
удаление folder считается лёгкой операцией.

При этом физически удаляется или логически - вобщемто пофиг.
...
Рейтинг: 0 / 0
11.11.2015, 21:48
| Ответить | Цитировать | Написать  
Оптимизация удаления большого количества файлов
    #39101206
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
maytonНасчёт переименования folder - хороший кейс. Но придётся менять поведения многочисленных
скриптов. Это гемор.А что, это удаление происходит во многих местах?
Массовая замена бывает...
...
Рейтинг: 0 / 0
11.11.2015, 22:22
| Ответить | Цитировать | Написать  
Оптимизация удаления большого количества файлов
    #39101305
kolobok0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kolobok0
Участник
mayton..Нам не купят..Интересует софтварное решение вопроса.

делал так.
для оптимизации отработки джэнкинса, подымал в озу диск(брал какой-то распространённый - не суть), и все промежуточные и финальные выхлопы на него. ключики компиляции - разрешаем параллельную сборку по файлам и по проектам (если нет противопоказаний в самих проектах). скорость повышается в несколько раз, по сравнению с самыми мощными рабочими станциями.
всё это жило под виртуалкой. размер диска надо подобрать в зависимости от существующей железячной памяти. и не всегда в меньшую сторону(!) это лучше.

(круглый)
...
Рейтинг: 0 / 0
12.11.2015, 01:11
| Ответить | Цитировать | Написать  
Оптимизация удаления большого количества файлов
    #39101406
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
maytonхотелось-бы просто найти файловую систему где
удаление folder считается лёгкой операцией.
Файлы удаляются по одному. Удаление каждого файла требует изменений как в записи каталога, так и в таблице распределения дискового пространства. Для ФС с директивной записью это требует два перемещения головок по диску. И это не изменить. А ФС с лифтовой записью, кроме Novell TFS, я что-то не припоминаю... так что ускорение можно получить разве что за счёт использования накопителя, не имеющего штрафов на seek - это SSD или RamDisk.
...
Рейтинг: 0 / 0
12.11.2015, 09:13
| Ответить | Цитировать | Написать  
Оптимизация удаления большого количества файлов
    #39101417
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
maytonНасчёт переименования folder - хороший кейс. Но придётся менять поведения многочисленных
скриптов. Это гемор. Поэтому хотелось-бы просто найти файловую систему где
удаление folder считается лёгкой операцией.

При этом физически удаляется или логически - вобщемто пофиг.
Затести FAT32
...
Рейтинг: 0 / 0
12.11.2015, 09:24
| Ответить | Цитировать | Написать  
Оптимизация удаления большого количества файлов
    #39101645
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Dima TЗатести FAT32
Проси чего угодно только не это
...
Рейтинг: 0 / 0
12.11.2015, 12:30
| Ответить | Цитировать | Написать  
Оптимизация удаления большого количества файлов
    #39101652
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
AkinaФайлы удаляются по одному. Удаление каждого файла требует изменений как в записи каталога, так и в таблице распределения дискового пространства. Для ФС с директивной записью это требует два перемещения головок по диску. И это не изменить. А ФС с лифтовой записью, кроме Novell TFS, я что-то не припоминаю... так что ускорение можно получить разве что за счёт использования накопителя, не имеющего штрафов на seek - это SSD или RamDisk.
Да я щас переделаю maven скрипты чтоб вызывался скриптик ОС либо rd {path} /s /q либо rm -fr.
Если будет удачно - опубликую решение.
...
Рейтинг: 0 / 0
12.11.2015, 12:33
| Ответить | Цитировать | Написать  
13 сообщений из 13, страница 1 из 1
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Оптимизация удаления большого количества файлов
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=16&fpage=33&tid=1340880]:
 0ms
get settings:
 6ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 40ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 43ms
get tp. blocked users:
 1ms
others: 212ms
total:  331ms
созд. / загр.: 331ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]