vlsafИспользовать try-catch не хочется, т.к. на создание исключения тратится время.

Если у вас удаление файлов - то на обертку в исключение потратится намного меньше времени, чем на само удаление.
Кроме того - обертывать в try-catch внешние операции - очень даже надо, представьте, что файл будет удаляться на сетевом диске - и сеть раз! и упала.

Так что не тот случай для экономии. Оборачивайте.