Василий 2

- корректный UTF-8. И что с ним дальше делать?
Можно определить некоторые случаи, когда текст НЕ в UTF-8. Но это лишь подмножество из возможного количества вариантов

что делать? обрабатывать.

Да, это лишь подмножества.
Корректные тексты вообще - лишь подмножества из всех возможных сочетаний байтов.

Да, кстати, если ещё не сталкивались.
У великолепнейшего класса TEncoding есть ещё одна фишка - он НЕ возвращает ошибок.
Т.е. при скармливании тому же TEncoding.UTF8 некорректного текста - он вернёт не ошибку, а пустую строку.

Особенно это было весело, когда нужно было древний проект (Delphi 5, данные хранились в БД в виде DFM, названия этих потомков TComponent были в windows-1251 (формально так нельзя, но никто не проверял и не запрещал)) перевести на новые юникодные Delphi (где это формально можно, но в UTF-8).

Пришлось создавать собственный "двойной" TEncoding и патчить в памяти то ли TComponent, то ли TReader, то ли оба

Докесть модуль LConvEncoding с волшебной функцией GuessEncoding

есть с древнейших времён TCode от Alex Boiko

но она работает только с русским языком и совсем не работает с остальными

опять, блин, только лишь подмножество.....

Gator,

там всё остальное русское :-)

попробуй.

вообще, статистика накапливается на больших массивах слов, два слова это всё равно голодный паёк для статистики