Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Оптимизация удаления большого количества файлов / 13 сообщений из 13, страница 1 из 1
11.11.2015, 16:13
    #39100901
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация удаления большого количества файлов
Добрый день коллеги.

Данный вопрос не в разработку. А больше в конфигурирование.
Обратил внимание на то что при сборке особо крупных проектов
сценариями ant, maven немалую часть времени (до нескольких
минут) занимает операция clean которая просто чистит целевые
каталоги бинарников.

Задумался. Какая файловая система и какая ОС больше всего
подходит под данную задачу.

И какие технические hints, tricks можно придумать чтобы
убрать из фазы сборки эти несколько минут?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.11.2015, 17:43
    #39101036
scf
scf
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация удаления большого количества файлов
можно попробовать чистить проект не мавеном, а системой контроля версий
git clean -fdx в том же гите
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.11.2015, 17:51
    #39101041
miksoft
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация удаления большого количества файлов
Если есть достаточно дискового места, то можно не чистить целевой каталог сразу, а переименовать его, создать новый под старым именем, запустить что нужно в новом каталоге, а потом или параллельно запустить удаление старого. И пусть оно длится сколько угодно.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.11.2015, 18:46
    #39101084
no56892
no56892
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация удаления большого количества файлов
Купить ССД, боюсь спросить сколько у вас занимает сборка?)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.11.2015, 20:06
    #39101138
wst
wst
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация удаления большого количества файлов
Последний встреченный пример такой радости - Qt, там чем дождаться make clean для creator-а быстрее грохнуть все rm-ом, даже ssd не сильно спасает. Однако да, SSD+рукопашный rm -fr * спасают независимо от файловой системы (во всяком случае ext4 или ntfs-3g).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.11.2015, 20:10
    #39101140
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация удаления большого количества файлов
no56892Купить ССД, боюсь спросить сколько у вас занимает сборка?)
Нам не купят ССД на все сервера сборки и на рабочие ноутбуки.
Интересует софтварное решение вопроса.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.11.2015, 21:48
    #39101194
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация удаления большого количества файлов
Насчёт переименования folder - хороший кейс. Но придётся менять поведения многочисленных
скриптов. Это гемор. Поэтому хотелось-бы просто найти файловую систему где
удаление folder считается лёгкой операцией.

При этом физически удаляется или логически - вобщемто пофиг.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.11.2015, 22:22
    #39101206
miksoft
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация удаления большого количества файлов
maytonНасчёт переименования folder - хороший кейс. Но придётся менять поведения многочисленных
скриптов. Это гемор.А что, это удаление происходит во многих местах?
Массовая замена бывает...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.11.2015, 01:11
    #39101305
kolobok0
kolobok0
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация удаления большого количества файлов
mayton..Нам не купят..Интересует софтварное решение вопроса.

делал так.
для оптимизации отработки джэнкинса, подымал в озу диск(брал какой-то распространённый - не суть), и все промежуточные и финальные выхлопы на него. ключики компиляции - разрешаем параллельную сборку по файлам и по проектам (если нет противопоказаний в самих проектах). скорость повышается в несколько раз, по сравнению с самыми мощными рабочими станциями.
всё это жило под виртуалкой. размер диска надо подобрать в зависимости от существующей железячной памяти. и не всегда в меньшую сторону(!) это лучше.

(круглый)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.11.2015, 09:13
    #39101406
Akina
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация удаления большого количества файлов
maytonхотелось-бы просто найти файловую систему где
удаление folder считается лёгкой операцией.
Файлы удаляются по одному. Удаление каждого файла требует изменений как в записи каталога, так и в таблице распределения дискового пространства. Для ФС с директивной записью это требует два перемещения головок по диску. И это не изменить. А ФС с лифтовой записью, кроме Novell TFS, я что-то не припоминаю... так что ускорение можно получить разве что за счёт использования накопителя, не имеющего штрафов на seek - это SSD или RamDisk.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.11.2015, 09:24
    #39101417
Dima T
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация удаления большого количества файлов
maytonНасчёт переименования folder - хороший кейс. Но придётся менять поведения многочисленных
скриптов. Это гемор. Поэтому хотелось-бы просто найти файловую систему где
удаление folder считается лёгкой операцией.

При этом физически удаляется или логически - вобщемто пофиг.
Затести FAT32
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.11.2015, 12:30
    #39101645
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация удаления большого количества файлов
Dima TЗатести FAT32
Проси чего угодно только не это
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.11.2015, 12:33
    #39101652
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация удаления большого количества файлов
AkinaФайлы удаляются по одному. Удаление каждого файла требует изменений как в записи каталога, так и в таблице распределения дискового пространства. Для ФС с директивной записью это требует два перемещения головок по диску. И это не изменить. А ФС с лифтовой записью, кроме Novell TFS, я что-то не припоминаю... так что ускорение можно получить разве что за счёт использования накопителя, не имеющего штрафов на seek - это SSD или RamDisk.
Да я щас переделаю maven скрипты чтоб вызывался скриптик ОС либо rd {path} /s /q либо rm -fr.
Если будет удачно - опубликую решение.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Оптимизация удаления большого количества файлов / 13 сообщений из 13, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 521ms
Закрыть
start [/forum/topic.php?fid=16&mobile=1&tid=1340880]:
 0ms
get settings:
 12ms
get forum list:
 19ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 170ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 61ms
get tp. blocked users:
 1ms
others: 238ms
total:  521ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]