В лучшем случае тебе придется анализировать набор символов, получающихся при той или иной кодировке. Но...
Для этого должна быть уверенность, что никто не захочет впихнуть в текстовый файл какие-нибудь "особые символы"...
А если уверен, что в файле будут только русские буквы (например), то нет проблем: в цикле пробегаешься по паре символов, по разному их кодируешь и смотришь, лежит ли он в диапазоне допустимых символов, если получилось несколько возможных вариантов (!! а вдруг? :) ), то берется следующий символ, и снова пробегаешься, но только количество возможных вариантов уже меньше и т.д. пока не останется один вариант, либо не пройдешь все символы.
Но это все очень капризно, прикол в одном символе, и не пройдет ни один вариант.
Хотя, на любителя, можно пробегать все символы, считать для каждой таблицы вероятность...