В общем, принцип простой. У тебя должны быть подготовленны частотные таблицы для каждого из ожидаемых языков и кодировок.
При открытии файла подсчитываешь сколько раз в нем встречается каждый из байтов, потом сравниваешь полученую частотную таблицу со своими таблицами. Соотвественно - чем больше по объему исходный файл, тем больше шансов правильного определения языка/кодировки.
Так же, можешь хранить у себя словари наиболее вероятных слов. Если в обрабатываемом тексте есть одно или несколько слов из известного списка - значит и язык мы уже знаем. В комбинации с частотными таблицами можно получить очень неплохую вероятность угадывания.