powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Система сбора форм отчетности
31 сообщений из 31, показаны все 2 страниц
Система сбора форм отчетности
    #37030881
5tanislav
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Здравствуйте!
Суть задачи следующая:
Есть организация, которая собирает с предприятий отчётность с помощью установленных форм.
Планируется все присылаемые данные хранить в базе данных (сейчас хранятся в файлах Excel). Какие средства можно использовать для выгрузки неких шаблонов для заполнения и их последующей загрузки в БД? Возможно существуют готовые решения подобных систем?

Спасибо.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37030945
Полковник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
5tanislav,

1-й вариант. Отставить сбор данных в excel, который потом грузить в базу.
2-й вариант. InfoParh + MS Sharepoint = некая система сбора данных, данные потом всеравно придется грузить в базу.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37031246
Фотография roden
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
5tanislav, наверняка на основании этих отчетов будут строиться и другие отчеты?
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37031411
5tanislav
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Полковник ,

На счёт сбора данных с помощью InfoPath я читал, но для этого обязателен установленный InfoPath и данные из него выгружаются в XML. Насколько сложно зарузить в базу данных файлы Excel или XML?


roden ,

Да, данные будут обрабатываться и уходить дальше.
Также планируется сделать возможность просмотра данных с применением фильтров.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37031751
5tanislav
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
А что если для предприятий сделать программку в MS Access? В неё достаточно просто можно будет загружать новые таблицы и выгружать данные.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37031836
Фотография Программист-Любитель
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Финансовы и др. отчетные форму имеют сложную структуру каждую. Если количество форм велико и они меняются со временем, то вам будет очень трудно разработать структуру данных, чтобы хранить содержание этих отчетных форм, я бы сказал невозможно.

Надо внимательнго смотреть и анализировать их по-существу.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37032163
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Давно делал (еще на VB6)
в программе пользователь создавал любое кол-во таблиц, с любым количеством строк и колонок
на основе этого описания генерировался XLS с именованными ячейками
их можно поправить - главное не побить имена ячеек
его отправляют по почте, заполняют, передают назад
из программы открываем файл и по именам запихиваем в БД (естественно с кодом подразделения, чьи это данные, датой, кодом таблицы)

в цифровая инфа хранится в одной таблице типа (tbl,row,col,podr,value,date)
легко анализировать, сравнивать
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37033022
5tanislav
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vill_agerДавно делал (еще на VB6)
в программе пользователь создавал любое кол-во таблиц, с любым количеством строк и колонок
на основе этого описания генерировался XLS с именованными ячейками
их можно поправить - главное не побить имена ячеек
его отправляют по почте, заполняют, передают назад
из программы открываем файл и по именам запихиваем в БД (естественно с кодом подразделения, чьи это данные, датой, кодом таблицы)

в цифровая инфа хранится в одной таблице типа (tbl,row,col,podr,value,date)
легко анализировать, сравнивать

Я как раз задумался над структурой таблиц. В упрощенном виде её можно представить так, как в приложенном изображении?
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37033203
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
5tanislavЯ как раз задумался над структурой таблиц. В упрощенном виде её можно представить так, как в приложенном изображении?
все так и было )
потом добавил в список таблиц дерево, для прятания устаревших данных
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37033379
5tanisla\/
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vill_agerвсе так и было )
потом добавил в список таблиц дерево, для прятания устаревших данных

Как можно отобразить по такой структуре данные в виде следующей таблицы?

Столбец1Столбец2Столбец3Строка1111213Строка2212223Строка3313233Строка4414243
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37034680
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
дерево только для списка таблиц, для удобства
если найду картинку - покажу позже
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37034685
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
забыл - есть еще система увязок, для контроля (в бух. балансе и т.п)
например:
стр1кол1+стр7кол1=стр8кол5+стр8кол2
и если не сходится - сообщение
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37034967
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
вот так это было
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37035310
Полковник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
5tanislav Полковник ,

На счёт сбора данных с помощью InfoPath я читал, но для этого обязателен установленный InfoPath и данные из него выгружаются в XML. Насколько сложно зарузить в базу данных файлы Excel или XML?


Грузить в базу не сложно, загрузка XML и Excel сейчас полностью автоматизирована тем же SSIS, который входит в поставку MS SQL Server начиная, помоему, с версии SE.

Вопрос в какую базу грузить, т.е. структуры самой базы. Если у вас куча неструктурированной иноформации, то будут проблемы, сначала нужно определится со структурой. К примеру финансовое хранилище данных - обязательны справочники - план счетов, календарь, справочник оргструктруры, справочник контрагентов (часто повторяет собственную структуру предприятия) и еще пара тройка специализированных справочников в зависимости от задачи. Когда имеете ясное понимание как должно лежать в базе данных и что вы будете делать с этой информацией потом, то собрать данные из Excel или Xml - дело техники.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37035502
5tanislav
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vill_agerвот так это было
Я думал у вас использовался какой-нибудь OLAP-компонент, чтобы можно было просматривать форму с заголовками строк и столбцов.

ПолковникВопрос в какую базу грузить, т.е. структуры самой базы. Если у вас куча неструктурированной иноформации, то будут проблемы, сначала нужно определится со структурой. К примеру финансовое хранилище данных - обязательны справочники - план счетов, календарь, справочник оргструктруры, справочник контрагентов (часто повторяет собственную структуру предприятия) и еще пара тройка специализированных справочников в зависимости от задачи. Когда имеете ясное понимание как должно лежать в базе данных и что вы будете делать с этой информацией потом, то собрать данные из Excel или Xml - дело техники.

Собирается статистическая информация о том сколько и какой продукции продано, по какой цене и т.д. Проблема в том, что форма содержит как заголовки столбцов, так и заголовки строк.
Вот, к примеру, одна из форм:

Поступило с начала годаНаличие (остаток) на отчетную датуДизельное топливоБензин

Подойдёт ли в данном случае структура таблиц, предложенная vill_ager и изображённая мной?
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37035557
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
5tanislavЯ думал у вас использовался какой-нибудь OLAP-компонент, чтобы можно было просматривать форму с заголовками строк и столбцов.

так и было
это же только главная форма
или вы хотите все скриншоты? )
я тогда использовал vflexgrid для работы с таблицами
а еще был OCX для Excel для вытягивания данных:
задаешь координаты (форма, строка, колонка, дата, подразделение)
а если подразделение=0 - то получаешь сумму по всем


авторСобирается статистическая информация о том сколько и какой продукции продано, по какой цене и т.д. Проблема в том, что форма содержит как заголовки столбцов, так и заголовки строк.

Подойдёт ли в данном случае структура таблиц, предложенная vill_ager и изображённая мной?
кажется в Вашем случае такая структура не подойдет
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37036060
Полковник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
5tanislav,

Вам нужно абстрагироваться от структуры входящей информации. Строить нужно звезду т.е. в центре у вас таблица, содержащая цифровые данные, по краям (вокруг нее) справочники.

Для начала нарисуйте матрицу измерений - небольшую таблицу, где строчки - ваши справочники (названия справочников) колонки - цифровые показатели или меры. Внутри поставьте плюс у пересечений справочника и цифрового показателя. Это будет ваша матрица, с ней нужно работать дальше.

Дальше описываете справочники - что в них должно быть, к примеру справочник товаров - какие колонки (характеристики товаров), справочник предприятия - какие характеристики, справочник календарь - навскидку характеристики - Год, квартал, месяц, день, день недели, день месяца (по порядку), день квартала (по порядку), день года (по порядку), признак праздника или выходного дня.

Дальше описываете таблицу фактов - середину вашей сзвезды - какие справочники с ней связаны (это мы знаем из нашей матрицы), по каким полям, какие поля в ней отвечают за цифровые показатели - меры.

Получаете некое описание, пусть на нескольких страничках - это логическая структура вашего Хранилища Данных, потом переводите ее в физическое понимание - до таблиц и полей. Получаем физическую структуру Хранилища Данных.

После этого сопоставляем ваше Хранилище Данных и ваши Источники Данных, описываем правила загрузки т.е. самой трансформации с какой колонки какого файла брать и куда класть, что и как нужно обрабатывать. После этого начинаем проектировать саму загрузку.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37040208
5tanislav
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vill_agerкажется в Вашем случае такая структура не подойдет
ПолковникВам нужно абстрагироваться от структуры входящей информации. Строить нужно звезду т.е. в центре у вас таблица, содержащая цифровые данные, по краям (вокруг нее) справочники.

Примерную структуру базы данных я уже имею. Только возникают очень большие трудности с созданием структуры таблиц, отвечающих за хранение показателей и значений форм, имеющих такую структуру:

Столбец1Столбец2Столбец3Строка1111213Строка2212223Строка3313233Строка4414243

Если структура, предложенная vill_ager не подходит, то как ещё можно хранить подобного рода данные? Не создавать ведь для каждой формы отдельную таблицу...
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37040297
Полковник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
5tanislav,

Матрицу нарисовали? У меня такое ощущение, что хранение данных вы ставите впереди (по приоритету) работы с этими данными по их анализу. Не важно сколько у вас там таблиц в итоге получится - на каждый цифровой показатель по таблице или одна таблица на несколько, важно то что потом когда потребуется анализ данных в т.ч. простое сравнение по периодам или по организациям вам это сделать по звезде будет легко и просто, а вот по странной структуре в которой вы пытаетесь сохранить часть структуры источника (какая колонка excel-я и какая строка) вы это делать запаритесь. У меня есть ХД в котором 780 таблиц, и ничего живет себе потихоньку.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37041483
Сисой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть готовое (но недешевое) решение, которое замечательно все это делает. 1С:Консолидация
Я уже использовал его на практике, мне понравилось. Одно из немногих стоящих решений у 1С.

Загрузка файлов
Конструирование выходных форм
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37041752
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
5tanislav,

Собирается статистическая информация о том сколько и какой продукции продано, по какой цене и т.д. Проблема в том, что форма содержит как заголовки столбцов, так и заголовки строк.

а если у Вас только продукция, то надо думать о глобальном справочнике продукции, ну и забивать физически таблицу под это дело - код продукции, цена, кол-во, код подразделения, дата

а работа с самой таблицей у меня выглядела так
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37041934
5tanislav
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ПолковникМатрицу нарисовали? У меня такое ощущение, что хранение данных вы ставите впереди (по приоритету) работы с этими данными по их анализу.
Да, матрицу пробовал рисовать, но на данный момент мне не известны все показатели, то есть я не знаю, какие формы отчётности будут занесены в систему.
Но, кажется, я Вашу мысль уловил: Вы считаете, что показатели не нужно привязывать к формам.

СисойЕсть готовое (но недешевое) решение, которое замечательно все это делает. 1С:Консолидация
Я уже использовал его на практике, мне понравилось. Одно из немногих стоящих решений у 1С.

Загрузка файлов
Конструирование выходных форм
Похоже, действительно хорошая система, но из прайс-листа непонятна окончательная её стоимость.

vill_agerа если у Вас только продукция, то надо думать о глобальном справочнике продукции, ну и забивать физически таблицу под это дело - код продукции, цена, кол-во, код подразделения, дата
На самом деле не только продукция. Вообще могут запрашиваться какие угодно данные, поэтому я и считаю, что нужно разработать какую-то гибкую структуру, чтобы просто было добавлять показатели новых форм.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37055827
Dako aka 3L33T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
5tanislavvill_agerДавно делал (еще на VB6)
в программе пользователь создавал любое кол-во таблиц, с любым количеством строк и колонок
на основе этого описания генерировался XLS с именованными ячейками
их можно поправить - главное не побить имена ячеек
его отправляют по почте, заполняют, передают назад
из программы открываем файл и по именам запихиваем в БД (естественно с кодом подразделения, чьи это данные, датой, кодом таблицы)

в цифровая инфа хранится в одной таблице типа (tbl,row,col,podr,value,date)
легко анализировать, сравнивать

Я как раз задумался над структурой таблиц. В упрощенном виде её можно представить так, как в приложенном изображении?

Можете ли выложить полную структуру базы данных по сбору и консолидации форм отчетности.
Хотим сами разработать такую систему, конечно это неэффективно когда имеется уже готовые разработки.
Просто уже давно назревает самому разработать универсальное средство, а ваш подход понравился.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37055974
Dako aka 3L33T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Прошу также посоветовать какие программные средства использовать.
Пока предварительно:
СУБД - Oracle
Инструмент разработки - delphi 5 или выше до 7 версии
Компоненты - Ehlib, Fastreport, FastCube, Odac или DOA.
Пока незнаю что лучше использовать Ehlib или Devexpress, также пока неясно какой инструмент использовать для языка правил (Форма1.строка20.столбец3=Форма1.строка10.столбец3+Форма2.строка11.столбец1) и инструмент экспорта с Excel. Может есть готовые компоненты для Delphi?
Подскажите пожалуйста набор средств для delphi для разработки информационной системы сбора,консолидации.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37057514
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dako aka 3L33TМожете ли выложить полную структуру базы данных по сбору и консолидации форм отчетности.
Хотим сами разработать такую систему, конечно это неэффективно когда имеется уже готовые разработки.
Просто уже давно назревает самому разработать универсальное средство, а ваш подход понравился.
вся структура уже выложена на картинках выше
только таблицы с увязками там не видно, но там все просто:
код формы, формула1, формула2
если формула1 состоит только из адреса ячейки - такая ячейка недоступна для ввода (вычисляемая)

инструменты: Visual Basic 6.0, VSFlexGrid (гриды и печать), данные - DBF
парсинг увязок (формул) - вручную
обмен с Excel (туда-обратно) - OLE

сейчас бы делал на python+QT+любая БД
можно воспользоваться парсером питоновским для обработки формул
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37057520
bigbro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dako aka 3L33TПрошу также посоветовать какие программные средства использовать.
Пока предварительно:
СУБД - Oracle
Инструмент разработки - delphi 5 или выше до 7 версии
Компоненты - Ehlib, Fastreport, FastCube, Odac или DOA.
Пока незнаю что лучше использовать Ehlib или Devexpress, также пока неясно какой инструмент использовать для языка правил (Форма1.строка20.столбец3=Форма1.строка10.столбец3+Форма2.строка11.столбец1) и инструмент экспорта с Excel. Может есть готовые компоненты для Delphi?
Подскажите пожалуйста набор средств для delphi для разработки информационной системы сбора,консолидации.
Девки платные же. Не смущает?
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37057757
AndrewVL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В отчетах может быть еще и такое - присылают форму, уже заполненную по вертикали и приписка - не нужное удалить, нужное добавить
как в таком случае быть?
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37058505
Dako aka 3L33T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AndrewVLВ отчетах может быть еще и такое - присылают форму, уже заполненную по вертикали и приписка - не нужное удалить, нужное добавить
как в таком случае быть?

Во первых необходимо разработать регламент и направить им шаблоны Excel в которых закрывается добавление новых полей, а предоставляется только редактирование определенных ячеек.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37058508
Dako aka 3L33T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bigbroDako aka 3L33TПрошу также посоветовать какие программные средства использовать.
Пока предварительно:
СУБД - Oracle
Инструмент разработки - delphi 5 или выше до 7 версии
Компоненты - Ehlib, Fastreport, FastCube, Odac или DOA.
Пока незнаю что лучше использовать Ehlib или Devexpress, также пока неясно какой инструмент использовать для языка правил (Форма1.строка20.столбец3=Форма1.строка10.столбец3+Форма2.строка11.столбец1) и инструмент экспорта с Excel. Может есть готовые компоненты для Delphi?
Подскажите пожалуйста набор средств для delphi для разработки информационной системы сбора,консолидации.
Девки платные же. Не смущает?

Так имеются уже купленные средства, необходимое докупим.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37059213
AndrewVL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dako aka 3L33TAndrewVLВ отчетах может быть еще и такое - присылают форму, уже заполненную по вертикали и приписка - не нужное удалить, нужное добавить
как в таком случае быть?

Во первых необходимо разработать регламент и направить им шаблоны Excel в которых закрывается добавление новых полей, а предоставляется только редактирование определенных ячеек.

так в том и суть, что в отчет необходимо добавлять записи.

например. такой отчет.
приобретено основных средств (перечислить)
1
2
3
приобретено матзапасов (перечислить)
1
2
3

и если тех 3- строк нехватает - надо добавлять новые
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37059831
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
AndrewVLтак в том и суть, что в отчет необходимо добавлять записи.

например. такой отчет.
приобретено основных средств (перечислить)
1
2
3
приобретено матзапасов (перечислить)
1
2
3

и если тех 3- строк нехватает - надо добавлять новые
мою систему применяют для сбора и обобщения (суммирования) цифр по филиалам (областям, отделам, и т.д.)
инфа с перечислением матзапасов и т.п. сюда не ляжет, да и нет смысла ее суммировать

хотя можно добавлять строки и данные вносить руками
или делать отдельную "таблицу" для таких данных (и вносить руками)
...
Рейтинг: 0 / 0
31 сообщений из 31, показаны все 2 страниц
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Система сбора форм отчетности
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]