*Может это и искусственная ситуация, но правильно ли я понимаю, что по по первым символам определяется кодировка пролога, а кодировка самого xml - по encoding?Нет. По первым символам можно определить класс кодировок. А потом на основании этого класса можно начинать читать пролог. И если пролог найден, то доуточнить кодировку.

Если пролог отсутствует, то кодировка XML - UTF-8

Если кодировка XML в (отсутствующем) прологе, не совпадает с предолагаемым классом кодировок, то парсинг прекращается с ошибкой
*кодировка самого xml - по encoding?это как?
*Сделал файл с прологом в кодировке UTF-16 (с BOM = 0xFF 0xFE и без него) и содержимым в windows-1251:Что за бред? Содержимое одного XML-файла не может біть в разных кодировках

*Но тогда почему анализатор не ругается на encoding?Почему он должен ругаться?

*По идее наличие BOM и указание байтовой кодировки windows-1251 противоречат друг другуИменно!
*Но xerces-с похоже выполняет переключение.Есть такой абзац
авторF.2 Priorities in the Presence of External Encoding Information

The second possible case occurs when the XML entity is accompanied by encoding information, as in some file systems and some network protocols. When multiple sources of information are available, their relative priority and the preferred method of handling conflict should be specified as part of the higher-level protocol used to deliver XML . In particular, please refer to [IETF RFC 3023] or its successor, which defines the text/xml and application/xml MIME types and provides some useful guidance. In the interests of interoperability, however, the following rule is recommended.