Часто бывает так, что данные в хранилище нужно загрузить из Excel, причем книги Excel имеют произвольную структуру, но утвержденную на предприятии.
Например, один лист может фактически содержать пять разных отчетов, разной структуры с шапками, колонками, ИТОГО и проч. Другой лист может содержать другие таблицы, которые подчитывают данные из других Excel файлов и т.д.
Потом периодически эти Excel таблицы обновляются. Либо в них добоваляются строчки в отчеты, либо новые листы, либо происходит апдейт, либо еще как-то.
Причем вы не имеете права вносить никаих изменений в структуру Excel таблиц.
С этой проблемой наверное многие сталкивались.
Вопрос, кто как производит периодическую загрузку из таких таблиц?
Самый простой вариант - написать программу, которая "знает" структуру конкретного листа, разбирает его и кладет данные в СУБД.
Но если Excel таблиц десятки и сотни, - это становится проблемой.
Может быть есть другие варианты?
Может есть средства метаописания структуры таких документов для последующей загрузки?
Кто что думает по этому поводу?

2 Alex_D

Это снимет проблему написания внешнего приложения, но по-моему написать разбрщик проще на VBA или другом средстве, котрое знакомо с OLE, чем на PL/SQL.

В общем проблема с большим количеством софта по разбору, а уж на чем он будет написан - на PL/SQL или VBA - не так важно.

Да и не уверен, что любую Excel таблицу можно закачать через HS.

2 Jimmy

Хорошая идея, правда не всегда работает, особенно в случаях когда нельзя вносить изменения в документы.
Еще часто бывает что сами юзера Excel вносят комментарии. Как быть в этом случае?

2 Владимир Иванов

Это конечно хороший подход, на предложение подключить к хранилищу еще один (из многих) источников, но, к сожалению сделанный, на Excel, вы говорите, да ну нафиг ваш Excel, давайте реинжиниринг бизнес проецессов проведем в нескольких подразделениях, которые понятия не имеют, что их данные загружаться будут в хранилище.
Тут несколько моментов бывает.
В больших компаниях, бюджеты у различных подразделений разные, (вам ли это не знать), и интересы разные. Часто бывает, что строится хранилище в интересах одного подразделения, а им нужна часть данных из другого. Бюджет проекта тоже локальный для заказывающего подразделения. И вот в этом случае, если им нужны чужие данные, то дать им на почитать свою табличку какие-нибудь "Финансы" может дадут, но переделывать что-то в своей работе не будут, так как им ни смысла ни интереса от этого нет.
То о чем вы говорите, работает в случае высокобюджетного проекта, который захватывает многие подразделения и в котором многие заинтересованы. Но такое бывает далеко не всегда.
Второй вариант - какое нибудь внешнее агентство, или даже забугороное подразделение компании поставляет данные в Excel, а вы хотите их загрузить себе - не будут они для вас переводить их в Access, какой им в этом интерес? Как ради вашего локального хранилища заставить HQ поменять формат данных?
Они и не подозревают о том, что вы существуете вообще.

Третий вариант- данные консолидируются со всей страны, региональные подразделения имеют одно рабочее место, и человека, который умеет вбить данные за неделю в Excel в заранее созданный шаблон и отправить дискету по почте, так как интернета там нет. Как изменить всю технологию ради одного мелкого проекта по построению ХД, переобучить, переоснастить? да еще Access таблица может на дискету не влезет.

Считайте это разговорами в пользу бедных, я же считаю, что иногда изменения будут очень дорогими, несопоставимо с тем, сколько стоит ваше ХД. Либо сделать это политически маловеротяно.
Я прекрасно понимаю, что лучше хранить данные в Access, чем в Excel, и что в длительной перспективе это приведет в тупик.

В любом случае, вопрос, который я задал - чисто технический, программистский, если хотите. Давайте просто исходить из того, что в силу каких то причин, нельзя отказываться от Excel, не важно почему.

2 Владимир Иванов

Ничего я не подтверждаю, я привел несколько абстрактных примеров, хотя и основанных на опыте. Все упирается в цену вопроса, если проект стоит допустим 20 000, а для того чтобы все было "красиво" нужно потратить плюс к этому дополнительно 100 000, никто на это не пойдет, да и ваши "профессионалы"-политики нахаляву редко работают.

А что если Excel используется не просто как форма ввода, но и как форма отчетности?
Лежит себе куча документов Excel, в которые данные собираются из других Excel по сети, каждый лист содержит кучу табличек, графиков трендов и проч. кухни. Проект по переносу этого в Access плавно перетекает в проект по перепостроению системы сбора данных и отчетности, что обычно гораздо дороже чем DWH.

И опять я не получил ответа на вопрос: с какого перепуга, например финансисты которых все устраивает, будут затевать проект по переводу своей системы сбора и обработки информации на новые технологические рельсы ради того, чтобы маркетологам было удобнее грузить данные в свое хранилище?
Ситуация: маркетологи смогли выбить из своего руководства 20000 и не больше для построения хранилища для себя, а тут приходят консультанты все в белом и говорят - это, ребятки, полная фигня и бесперспективщина, что вы тут делаете, - надо перестраивать всю систему, начиная с финансистов и кончая головным офисом в Лондоне, а если вы этого не хотите делать, то мы отказываемся что то делать, так как это противоречит нашим эстетическим воззрениям. Ищите студентов :)

Такое впечатление, Владимир, что вы никогда не внедряли локальных решений в больших бюрократизированных конторах.

Я понял вашу мысль.
Конечно, лучше быть богатым и здоровым, чем бедным и больным. Но жизнь - штука сложная, и такое происходит не всегда.
Вы приводите примеры, когда все страдают и вы их освобождаете от страданий.
Но иногда бывает что сложилась ситуация, когда более менее всех все устраивает никто особо не страдает, единственный у кого проблемы, это у внедренца, когда нужно связать данные из разных подразделений.

Я только рад за вас, что вы можете выбирать за какие проекты браться а от каких можно отказаться без потерь.

Но мы отклонились от темы вопроса. Видимо все-таки нет внятных средств для решения таких проблем.

Это вы не со мной не соглашаетесь, а со сложившимися ситуациями :)
По-вашему, я похож на мазохиста?
Проблема то озвученная тут в чем:
Есть сложившаяся инфраструктура (политическая, техническая, экономическая). Вам предлагается сделать частное решение.
У вас выбор либо браться за это, либо нет.

Не всегда правильно начинать обливать грязью все что сделано на предприятии и призывать все менять.
А если данные лежат на старом менйфрейме типа ЕС ЭВМ (или чуть поновее), тоже надо говорить, мол, вы сначала замените это старье, а потом работу предлагайте нам, крутым консалтерам?
Я понял, что г-н Иванов предпочитает отказаться от проекта, если красота решения у него вызывает сомнения. Хотя например если данные автоматом собираются в защищенную таблицу Excel из кучи других защищенных, в эту таблицу никто руками никогда не лезет, не думаю что эта таблица так уж ненадежна. Хотя конечно предпочтительнее использовать хотя бы тот же Access.
К слову, у нас на рынке представлено несколько компаний, которые предлагают свои решения, например бюджетирования, построенные на хитром наборе Excel таблиц. И без заказов не сидят.
А если из этой системы выгрузить данные, получается нужно послать к черту этих разработчиков, сказать вы сначала научитесь делать нормальные системы, а потом мы к ним цепляться будем?

Ладно, я уже понял, что я единственный, кто с такими ситуациями сталкивался, ну может быть Jimmy и Alex_D еще :)
Нормальные пацаны если видят Excel - даже близко к проекту не подходят. :)
Их право, если есть выбор. :)

2 Владимир Иванов

О. Это уже кое-что :) Сами не без греха оказывается. :)
Спасибо за идею насчет Infopath, его я не ковырял.

2 backfire

Да кто же спорит, жить всегда можно, если помнить о рисках :)

2 backfire

Мы же не застолом переговоров, чтоб распыляться в дипломатических реверансах. Поэтому можно смело называть вещи своими именами.

Сначала-то как раз стол переговоров возникает. Когда узнаешь что надо сделать.
Ну допустим, согласятся они, что все у них неправильно. Что дальше? Менять все равно ничего не будут. А обидеться могут. Особенно если отношения находятся в состоянии становления. Или сами от тебя откажутся или осадок останется, потом будешь объяснять что ничего личного не было :) А всего-то из за ерунды.
Критиковать можно, когда в этом есть смысл. А так, - только заказчика потенциального злить.