Казахский язык и ОС400

(Английскую версию см. http://entwurf.narod.ru/standard/Kazakh4OS400en.html)

Предметом настоящей статьи является поиск путей представления символов казахского языка в операционной системе ОС400. Казалось бы нет особой необходимости заниматься данным вопросом, ведь есть принятый стандарт, ведущие производители давно приняли определенную стратегию и все вопросы со временем сами собой разрешатся.

Проблема поддержки национальных языков в странах СНГ возникла сразу с повышением внимания новообразованных государств к делопроизводству на государственном языке. Так уж сложилось, что в период Союза, основным языком во многих республиках был русский. Некоторые вошли в состав Единой Европы, ввели свои стандарты и зарегистрировали их в ISO, тем самым взвалив все проблемы на поставщиков программного обеспечения. Другие ввели латиницу, и вроде как сняли все проблемы. Казахстан тоже рассмотрел вопрос использования латиницы, и после того, как специальная комиссия оценила затраты и время перехода, изучения опыта других стран, той же Турции, отложила этот вопрос до лучших времен. Таким образом, мы остались в пространстве кириллицы, и должны придерживаться существующего стандарта РК 1048-2002, за неимением ничего лучшего. Судя по всему это было временное решение, которое было призвано решить текущие проблемы с наведением порядка во множестве всевозможных кодировок разного типа (ASCII, ANSI, UNICODE). С положением дел в этой области в то время можно познакомится здесь: http://www.sci.kz/%7Esairan/kazcode/index.html.

Стандарт РК 1048-2002 определяет кодировки двух типов - UNICODE и ANSI. Первая, 16-битная, является стандартом, уже определенным и зарегистрированным в ISO, вторая, 8-битная, является локальной разработкой и не зарегистрирована в ISO. Это привело к своеобразной ситуации. Ведущие фирмы, типа Microsoft, IBM поддерживают UNICODE, и де-факто, не поддерживают казахский ANSI. Поддержка казахского осуществляется силами энтузиастов, предлагающих собственные драйвера, таблицы перекодировок, шрифты.

Нужно также отметить, на момент принятия стандарта, в 2002 году, мало где в странах СНГ были компьютеры AS400 от ИБМ, поэтому понятно, почему стандарт не принял во внимание необходимость согласования с кодировками EBCIDIC и приложениями под AS400.

Наша фирма в свое время приобрела AS400 с операционкой OS400 и целый ряд программ для нее. Все вроде ничего, но вот пришел момент, когда потребовалась поддержка национального языка. И здесь началось самое интересное. Оказывается, все наши приложения со стороны OS400 работают с однобайтной кириллицей, то есть со страницей 1025 EBCDIC.

Учитывая, что практически во всех компаниях, присутствуют в большом количестве персональные компьютеры, ИБМ предлагает пакет Client Access, который позволяет получать доступ и взаимодействовать с AS400 непосредственно с ПК. Ваш ПК превращается в терминал AS400 с помощью программы эмуляции терминала 5250 или 3270. На самом деле это уже приложение Windows (точнее Java приложение) и, к сожалению, этот пакет, как и многие другие, имеет собственную поддержку языков и казахский в их число не входит.

Таким образом, со стороны OS400, данные и программы использовали страницу EBCIDIC 1025 (кирилица), а со стороны Windows это была страница 1251 (кириллица Windows). При работе с интелектуального терминала происходит автоматическое преобразование EBCIDIC 1025 в Windows 1251 и обратно, и это касается всех видов общения с AS400, как-то: ODBC, ADO, JDBC, Data transfer to and from, File Data sharing и т.д..

Существующая кодировка казахского языка по существу является расширением кодировки русского языка, и было бы естесственным, попытаться использовать это путем замены применения некоторых кодов со стороны AS400 по собственному желанию. Такая попытка была осуществлена для стандарта ANSI РК 1048-2002. На ПК был заменена NLS 1251, на соответствующую стандарту (она входит в комплект драйвера KAZWIN версии 3.0), добавлена раскладка клавиатуры, набраны данные и отправлены на сторону AS400, указанные данные затем мы попытались увидеть в окне терминала, с помощью запроса. Оказалось, что пара букв (Өө), при отображении ANSI в EBCIDIC переходит в управляющие символы, и при их выводе последующие буквы окрашиваются в красный цвет и подчеркиваются, сами же буквы заменяются пробелами (см. Влияние управляющих символов по адресу: http://entwurf.narod.ru/standard/RK1048test.GIF, Кодировка СТ РК 1048-2002 по адресу: http://entwurf.narod.ru/standard/RK1048.gif).

Поиск путей разрешения проблемы был продолжен, и плодотворной оказалась идея, использованная при построении ANSI кодировки казахских букв в драйвере KAZWIN версии 2.5. В этой версии казахские буквы были расположены в местах расположения букв кириллицы, относящихся к другим языкам (например, сербскому, македонскому и т.д., Кодировка 1251к по адресу: http://entwurf.narod.ru/standard/cp1251k.GIF). Поскольку ИБМ поддерживает эти языки в EBCIDIC 1025 (кирилица), то при отображении, в любом случае эти буквы перейдут также в буквы. Действительно, такой эксперимент подтвердил нашу правоту, и для поддержки казахского осталось только задать таблицы сортировки, перевода в большие на стороне AS400, для чего есть соответствующий инструментарий. Таким образом, проблема решается чрезвычайно просто, установкой драйвера KAZWIN версии 2.5. на каждом ПК предприятия.

Следует отметить, что попутно проявляются другие преимущества такого подхода:

* Использование поддержки казахских букв как расширение кириллицы не только под Windows, но и под OS400 дает возможность использовать программы, разработанные для России, опыт эксплуатации рускоязычных продуктов, опыт их разработки, без каких либо изменений для поддержки казахского языка.
* Это также позволяет быть уверенным, в возможности использования самых последних разработок для России, выполненных не только фирмой ИБМ, но и другими фирмами, использующими ОС400.

К сожалению, использование страницы 1251к на одних ПК и стандарта РК 1048-2002 на других (пусть даже вне предприятия) чрезвычайно неудобно. В связи с вышеизложенным возникает идея коррекции стандарта РК и использования вышеуказанной страницы 1251к в качестве стандарта ANSI кодировки казахских букв вместо предложенного в стандарте РК 1048-2002 и регистрации его в ISO. Конечно, оно приведет к определенным затратам, но так ли уж они велики?

Затраты: Существующие материалы в ANSI кодировке требуют перекодировки, что несложно сделать, многие из них можно просто сохранить в кодировке UNICODE, а после смены страницы Windows сохранить опять в кодировке ANSI. В некоторых случаях возможно придется воспользоваться программами перекодировки, которые есть и могут быть легко написаны и предоставлены в открытое пользование. Возможно придется переписать отдельные продукты, использующие собственные алгоритмы сортировки, перевода малых букв в большие и обратно. Также может придется заменить растровые шрифты третьих поставщиков.

Нужно сказать, что ИБМ движется в направлении поддержки казахского языка в некотором своем направлении. Так создана страница EBCDIC 1166, многими приложениями поддерживается UNICODE, см. Поддержка казахского языка продуктами ИБМ по адресу http://www-306.ibm.com/software/globalization/scorecard/languages/Kazakh.jsp . К сожалению ANSI кодировка казахского не поддерживается и скорее всего не будет поддерживаться до регистрации стандарта в ISO.

Прямые и косвенные потери в случае сохранения стандарта РК1048-2002 в существующем виде:

* Невозможность использовать разработки для AS400, выполненные для России;
* Необходимость повторного специального заказа такого программного обеспечения;
* Необходимость отдельной поддержки этих программных продуктов;
* Неизбежное отставание от современного уровня и повышение цены как разработки, так и сопровождения, вследствие существенного меньшего рынка Республики Казахстан.
* Огромные затраты фирмы ИБМ и других разработчиков на поддержку казахского языка (Вышеприведенный список продуктов только фирмы ИБМ содержит порядка 400 наименований, не говоря об огромном количестве разработок других поставщиков).

Изложенные идеи могут быть использованы для организации поддержки других языков.

Если Вас заинтересовала эта публикация, просим прислать ваше мнение или отзыв по адресу: tradmir@mail.ru

Если у Вас возникли вопросы и вы согласны, не согласны с внесением изменений в стандарт, также пишите по указанному адресу.