Если это файловая система, то продолжительность операции связана с индивидуальной отработкой каждого файла, что для каждого файла трогает директорию и освобождает блоки ранее занятые каждым файлом.

Удалить все сразу и начисто можно форматированием, если директория целиком живет на одной файловой системе.
Так делает OpenBSD для /usr/obj, где создается полно файлов которые нужно удалить все сразу и быстро.

Или использовать трюк, которым пользуется корзинка: переименовать файлы вбок (мгновенная операция), и запустить фоновый процесс удаления данных. Папка зразу опустеет, а свободное место постепенно освободится за следующие 30 минут. Можно работать, если все 50 ТБ пространства не требуются сразу.

вместо rm -r * :

mkdir ../deleteme
mv * ../deleteme/
rm -r ../deleteme