Ну вообщето организационно ставить задачу тем кто такое дает что если будет не в том формате то пусть идут лесом :)

Как вариант можешь узнать размер файла и поделить на к-во символов.
Если текст.обычный то к-во символов =(почти равно) размеру. Если больше 5% считай тогда что там UTF.

Ну или еще попробовать читать как бинарный и проверять первые символы, формат UTF-8 спецсимволы вроде что ставит сначала специфические.