Вступление
Как известно, начиная с 9-ой версии, в Sybase ASA появилась возможность использовать ее в качестве самостоятельного небольшого веб-сервера и создавать на WatcomSQL веб-сервисы с поддержкой RAW, HTML, XML, SOAP и DISH. Так же были добавлены системные процедуры и функции, позволяющие производить различные полезный операции при работе с вебом (например манипуляции с урлами, переменными форм и т.д.). Не сказать, что присутствуют все необходимые с точки зрения веб-программиста функции, но основной базис есть.
Предисловие
Еще с прошлого года я посматривал на веб-сервисы ASA, но особого применения им не находил, так как был занят и главное не было реального места в проекте, где их можно было бы использовать. Совсем недавно я столкнулся с проблемой генерации сложных по форме и заполнению форм строгой отчетности (отчеты по ЕСН, НДФЛ, кадры и т.д.). Такие отчеты невозможно нормально реализовать на бэндовых отчетниках, будь то Crystal Report, PB DataWindow или другой. Плюс такие отчеты желательно выгружать в редактируемый формат, чтобы перед печатью пользователь мог его изменить. Как следствие, обычно они реализуются как макет в MS Word и через COM/OLE заполняются нужными данными. Такой подход имеет много слабых сторон:
1. Тиражный продукт привязывается к чужому ПО и требует его инсталяции.
2. Макет и код его заполнения никак не связаны, поэтому изменяя макет, приходится потом переписывать код.
3. Код получается сложным, вперемешку с логикой получения данных с БД, бизнес-логикой заполнения макета и логикой работы с интерфейсом OLE.
4. Скорость работы получается достаточно низкой при использовании OLE/COM технологии для заполнения макета.
5. Нет возможности поддержки из за использования специализированных протоколов кросс-независимых отчетов, способных открываться и изменяться не только в MS Word, а например в Open Office (или же придеться все генерить через Ворд, сохранять и открывать в Open Office).
Думаю при желании недостатков подхода генерации через Word можно найти еще много. Соотвествующе я вспомнил об веб-сервисах ASA и с учетом того, что моя БД работает на ASA, решил попробовать покопать в сторону разработки отчетов на HTML.
Проблемы и решения
Первое что я хочу сказать, что я никогда не занимался веб-программированием, на примитивном уровне знаю HTML и уж еще меньше знаю об стилях, JavaScript и других сопуствующих технологиях.
Так как основным требованиям отчета является его возможность открытия в MS Word и Open Office, то первым делом было выясненно именно это. Как оказалось, если в стилях генерить соотвествующие тэги, то можно добиться соблюдений условий форматирования, отступов, размеров страницы, перевода страницы и даже характеристик документа как в Word, так и OpenOffice. Сами браузеры игнорируют большинство таких управляющих тэгов, однако было выявлено, что они так же при печати различают тэг перевода страницы.
Вторым шагом были рассмотрены и изучены принципы работы ASA как веб-сервера. Как и предполагалось, ничего там сложного не оказалось, сервер запускается с параметром "-xs http(port=80)" и по указанному порту начинает принимать http-запросы. Для организации сервисов возврата HTML-страничек предусмотренны веб-сервисы с типом RAW, в теле которых должен быть указан запрос, возвращающий данные. На веб-сервис можно указать уровень доступа к нему (по логину, анонимный) и режим защищенной работы. Для веб-сервисов в ASA автоматически существуют расширения, позволяющие во первых управлять уровнем вложенности урлов и работы с переменными, полученными с клиентской сессии, обращение к которым элегатно сделано в форме ":ИмяПеременной".
Лень, двигатель прогресса
Первое, что я сделал - это хранимую процедуру, которая через функцию List генерила по запросу на таблицу строки для каждой записи в виде
1.
2.
3.
SELECT
List('<TR><TD>' || Field1 || '</TD><TD>' || Field2 || '</TD></TR>',
Char( 13 ) || Char( 10 ))
FROM Table1;
Далее полученный результат я ручками вставил в HTML, где уже была обьявлена таблица и получил демку отчета, как это примерно выглядело. С точки зрения разработчика это выглядело мягко говоря не очень и не было ничуть не лучше, чем генерить отчеты, используя Word. Соотвествующе я решил попытать счастья и попробовать "поизобретать" свой велосипед.
Что получилось после одной недели изобретения велосипеда
Получилась технология построения динамических веб-страниц на основе макета HTML, с возможностью использования выборок на SQL, макросов и возможностью регулирования формирования потока контента на WatcomSQL, которой я присвоил кодовое название WebSQL. На текущий момент она поддерживает:
1. Секции - позволяют выделить определенный фрагмент HTML документа, описать на него запрос и при генерации страницы повторить его столько раз, сколько было возвращего записей с указанного запроса. Поддерживается неограниченный уровень вложенности секций. В запросе секции разрешается ссылаться на поля родительских секций (особенно полезно для связи) и формировать части запроса динамически (например разная сортировка в Order By).
2. Алиасы - позволяют ассоциировать поля с алиасами, использующимися в теле текста секции. Например если в секции указать алиас "F1" на поле "Field1", то везде в тексте вместо "F1" при ее построении на каждую запись запроса секции будет вставлено значение поля "Field1". Для алиасов определена локальная область видимости, то есть замена алиаса на поле будет производиться только в теле указанной секции и не действительна во вложенных секциях. Разрешается обьявлять алиасы на поля родительских секций, что позволяет использовать в теле секции значения полей родительских секций.
3. Локальные переменные и параметры ХП - позволяют определить для секции локальную переменную, указать для нее тип SQL и инициализационное значение (любое допустимое в WatcomSQL выражение). Имеют область видимости, где дочерние секции могут видят локальные переменные родителей, но имеют право создать собственные переменные, которые именами перекрывают переменные родительских секций. Для отображения значений переменных в теле секции необходимо так же ассоциировать их с алиасами.
4. Макрокоманды - позволяет в любом месте документа на WatcomSQL описать необходимую логику действий. Поддержка вставки внутри макета HTML операторов WatcomSQL дает всю мощь этого языка по управлению формированием динамической страницы и позволяет выполнять любую логику действий - от ветвления формирования документа, до поддержки аггрегированных действий на основе локальных переменных, определения собственной бизнес-логики, вызова ХП и т.д. Ограничений на использование в макрокомандах скриптов WatcomSQL нет.
5. Макросы - позволяют описать именованный блок текста, внутри которого разрешается ссылки на нумерованные параметры. Далее разрешается вызов макросов из любого места документа по его имени и с передачей параметров. Макросы позволяют создавать повторно используемые фрагменты текста, тэгов, параметров для тэгов, вызовов макрокоманд и любых других часто используемых фрагментов текстов. В теле макросов допускается вложение других макросов, что позволяет создавать эффективную иерархию повторно используемых решений. При обьявлении в секциях макросы имеют область видимости, где дочерним секциям разрешается использовать макросы, обьявленные в родительских секциях, но с правом переопределения макроса с существующим в родительской секции именем. Так же поддерживается библиотеки публичных макросов, в которых можно хранить общие и стандартные макросы, которые потом можно задействовать во множестве документов. Библиотеки являются именованными с поддержкой уровня вложенности модулей (например, "СтандартнаяБиблиотека.ПотокКонтента.Неформатированный"). Для библиотек и их иерархий модулей существуют аналогичные секциям правила области видимости макросов. Для использования в документе макросов публичных библиотек их необходимо обьявлять в секциях, указывая полный к ним путь. В теле секции возможно как обьявление использования всех макросов библиотеки (например "Библиотека.*"), так и перечисление конкретных используемых макросов (например "Библиотека.Модуль.Макрос1"). Для публичных макросов поддерживается возможность указания их алиаса при обьялении в теле секции, что позволяет обойти ограничение на уникальность имен макросов в теле секции или же перекрыть ранее обьявленный в родительской секции макрос с одной библиотеки макросом с таким же именем, но другой библиотеки.
Как это работает
WebSQL в полном смысле слова является компилятором макетов HTML в скрипт ХП на WatcomSQL. На вход ему нужен только текст макета. На выходе он создает в Вашей базе данных готовую хранимую процедуру на WatcomSQL, уже содержащую весь код генерации странички. Соотвествующе далее ASA компилирует ее в байт-код и далее к ней применимы все обычные правила по отношению к хранимым процедам в ASA (организация прав доступа пользователей, возможность скрытия исходного текста, работа в профайлере и дебаггере и т.д.). Еще одним плюсом компиляции является то, что в конечном приложении нет необходимости держать HTML макеты страниц и отчетов. Для организации возврата результата хранимой процедуры через веб теперь достаточно создать соотвествующий RAW веб-сервис, в теле которого поставить вызов этой процедуры c передачей в качестве параметров именнованных переменных, переданных клиентской сессией:
1.
2.
3.
4.
5.
6.
CREATE SERVICE "asademo/customers"
TYPE 'RAW'
AUTHORIZATION OFF
USER "WebUser"
AS
call sp_Customers(:SortNumber, :SortOrder);
Весь движок WebSQL полностью написан на WatcomSQL и оформлен в виде отдельной базы данных. Для его инсталяции достаточно запустить на сервере ASA базу данных WebSQL.db. Если ASA запущена с поддержкой протокол http, то возможно использование в качестве клиентского приложения собственные веб-сервисы WebSQL через браузер. Планируется сделать на веб-сервисах полный интерактивный сайт для просмотра и изменения его настроек компилятора, работой с библиотеками макросов, страницей интерактивной компиляции макета с указанного HTML файла в скрипт хранимой процедуры в указанный файл sql и помощи по командам, библиотекам макросов, входящих в комплект стандартной поставки и пошаговому обучению работы с ним.
Так же возможно подключение и использование WebSQL для своих баз данных. Для этого необходимо запустить скрипт "install.sql", который подключит WebSQL в качестве удаленного сервера, ассоциирует удаленного юзера с локальным, подключит нужные удаленные хранимые процедуры и создаст специальные процедуры, позволяющие прямо из родной базы данных вызывать компиляцию макетов с автоматическим их созданием в базе данных. Для очистки обьектов WebSQL в базе данных так же существует скрипт uninstall.sql.
Где еще можно использовать WebSQL
На самом деле, являясь макро-технологией, WebSQL можно использовать везде, где необходимо по макету строить текст. Тут все зависит от полета фантации - начиная с генераторов текстовых отчетов и заканчивая генератором SQL скриптов по указанным обьектам базы данных (причем вполне возможно в дальнейшем расширить функциональность компилятора до уровня поддержки множества диалектов и генерации скриптов хранимых процедур не только на WatcomSQL, но и для того же PL/SQL).
Перспективы развития
Сам движок сейчас уже есть, работает и отлажен (что странно, с учетом того, что всем вышеописанным я занимался ровно неделю). В качестве построителя форм строгой отчетности он полностью удовлетворяет требованиям и сейчас на нем уже во всю рисуются макеты отчетов. Так же никто не мешает использовать WebSQL и в качестве генератора сайтов. Обладая всей мощью WatcomSQL и поддерживая повторно-наследуемые решения, по моему мнению он полностью удовлетворяет условиям для генераторов веб-страниц по макетам. Остается дело за малым - создать достаточно большую и удобную библиотеку макросов на все случаи жизни, начиная от поддержки эффективной работы с таблицами (сортировка, фильтрация и т.д.) и заканчивая механизмами ввода и изменения информации, работы визардов и использования веб-браузера как активного клиента, с использованием наработок на JavaScript. Как итог, при построении веб-решений, разработчик будет больше внимания уделять проектированию базы данных и дизайну интерфейса, а так же при определении бизнес-логики как серверной, так и клиентской части будет использован единый язык WatcomSQL.
За неделю написания этой технологии времени на создание примеров и уж тем более сайта, конечно же у меня не было. Сейчас в публично в интернете выложена в качестве демки одна
страничка , макет которой я за 5 минут нарисовал в OpenOffice (он меньше тэгов по сравнению с Вордом генерит). Далее я еще потратил 10 минут на программирование этого макета, где помимо запроса на секцию, в которой HTML-таблица заполнялась записями с Customer, я организовал группировку по штатам (без вложенной секции, методов сортировки по штатам и отслеживания изменения штата), порядковый счетчик и 2 макроса для организации поддержки сортировки по колонкам HTML таблицы. Внизу странички есть ссылка на "чистый" HTML макет, на основании которого и была сгенерирована ХП, которая возвращает указанную страничку. Скорость генерации на моей домашней машине странички довольно высокая - время выполнения ХП составляет 20 мс.
Что дальше
Дальше я планирую все таки начать делать демо примеры, писать спецификацию и помощь, сделать и запустить собственный сайт. Сначала будет идти работа по русскоязычному направлению, чуть далее я планирую подготовившись сделать зеркало сайта и помощи на английском языке (когда библиотеки макросов уже будут обладать достаточной функциональностью). В этом топике если сообщество SQL.RU не против, я наверное буду выкладывать дальнейший ход работ над этой технологией, можно сказать в онлайне, что с одной стороны стимулирует меня в работе над ней, с другой стороны позволит Вам уважаемые коллеги покритиковать мои решения и всем (а то и поучить веб-основам программирования), у кого есть желание, протестировать ее на своих реальных базах данных. Для этого в скором времени я планирую написать спецификацию языка и подключить публично в интернете веб-сервис онлайн компиляции макетов HTML, что позволит Вам через интернет под свои БД порисовать макеты и по созданным ХП посмотреть, что из всего этого получается.
Насчет сотрудничества
С учетом того, что технология будет SHAREWARE, причем с патентом и закрытыми при продаже исходниками, мне будет сложно одному попытаться ее раскрутить в пределах СНГ и за рубежом. Я бы не отказался взять в партнеры человека, который дружит с веб-дизайном, Java-скриптами и другими разными веб-технологиями. В паре с ним мы бы составить тандем, где я продолжать бы
наворачивать движок и начинать рисовать прототипы баз данных под различные решения (форумы, аукционы, новостные каналы и т.д.), а он бы сделал сайт под WebSQL и наращивал стандартные библиотеки макросов лучшими наработками веб-программирования.
Так же, если действительно запуск состоиться, то приглашаю желающих стать дилерами по продажам в других странах как самого движка, так и реализации под ключ на нем готовых веб-решения под базы заказчика на ASA.
P.S. Гм, после такого большого официального документа, хотелось бы просто услышать мнение уважаемых коллег, насколько действительно все это перспективно и интересно в первом чтении - а вдруг меня просто переклинило и я пытаюсь делать и толкать продукт, который никому не будет нужен :)
