На файловой системе NTFS можно использовать команду cacls
Пишите cacls /? в командной строке для справки

Если коротко, то блокировка файла (никому ничего нельзя)

ECHO y| cacls <файл> /D Все

Разблокировка (всем все можно)

ECHO y| cacls <файл> /P Все:F

Если винда английская, то вместо Все надо писать All

И еще: это не блокировка, а отбор прав на работу с файлом, а затем их возвращение.
Чтобы кто-то мог все же редактировать файл надо не запрещать доступ, а отбирать права у всех и выдавать одному.
Можно работать с правами через winapi.

Не влезая глубоко в работу windows xthtp цштфзш добиться осмысленных сообщений о причине отсутствия доступа к файлу вам не удастся.

И самое последнее: специально для этих целей (групповой работы с документами) умные люди писали документооборотные, архивные и версионные системы, путь, который вы выбрали самый кривой и геморройный. Рано или поздно при развитии системы выяснится, что он ведет в никуда.

авторЭти файлы открываются для чтения и записи из проприетарной программы и имеют собсвенный формат хранения данных. О какой системе контроля версий можно вести речь?

Ну Вы бы изучили сначала принципы работы версионной системы, а потом уже выносили бы вердикт...
Понятия checkin-checkout Вам о чем-нибудь говорят? И если да, то о чем конкретно?

Выгружайте свои файлы в рабочий каталог им возвращайте в центральную базу данных на здоровье, в чем проблема-то?

Дело не в стратегии. А в том, что у себя на локальной машине пользователь может физически делать с файлом, что хочет, но он в базу его вернуть не сможет, если в базе не стоит пометка, что этот пользователь заблокировал этот файл для изменения. Не надо цепляться за физическое открытие с файлового сервера в родном приложении, отгружайте пользователям копию.

При этом в ваших руках или отдавать копию заблокированного файла другим пользователям, но с предупреждением, или не отдавать блокированный файл даже для просмотра.