powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Система сбора форм отчетности
25 сообщений из 31, страница 1 из 2
Система сбора форм отчетности
    #37030881
5tanislav
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Здравствуйте!
Суть задачи следующая:
Есть организация, которая собирает с предприятий отчётность с помощью установленных форм.
Планируется все присылаемые данные хранить в базе данных (сейчас хранятся в файлах Excel). Какие средства можно использовать для выгрузки неких шаблонов для заполнения и их последующей загрузки в БД? Возможно существуют готовые решения подобных систем?

Спасибо.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37030945
Полковник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
5tanislav,

1-й вариант. Отставить сбор данных в excel, который потом грузить в базу.
2-й вариант. InfoParh + MS Sharepoint = некая система сбора данных, данные потом всеравно придется грузить в базу.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37031246
Фотография roden
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
5tanislav, наверняка на основании этих отчетов будут строиться и другие отчеты?
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37031411
5tanislav
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Полковник ,

На счёт сбора данных с помощью InfoPath я читал, но для этого обязателен установленный InfoPath и данные из него выгружаются в XML. Насколько сложно зарузить в базу данных файлы Excel или XML?


roden ,

Да, данные будут обрабатываться и уходить дальше.
Также планируется сделать возможность просмотра данных с применением фильтров.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37031751
5tanislav
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
А что если для предприятий сделать программку в MS Access? В неё достаточно просто можно будет загружать новые таблицы и выгружать данные.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37031836
Фотография Программист-Любитель
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Финансовы и др. отчетные форму имеют сложную структуру каждую. Если количество форм велико и они меняются со временем, то вам будет очень трудно разработать структуру данных, чтобы хранить содержание этих отчетных форм, я бы сказал невозможно.

Надо внимательнго смотреть и анализировать их по-существу.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37032163
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Давно делал (еще на VB6)
в программе пользователь создавал любое кол-во таблиц, с любым количеством строк и колонок
на основе этого описания генерировался XLS с именованными ячейками
их можно поправить - главное не побить имена ячеек
его отправляют по почте, заполняют, передают назад
из программы открываем файл и по именам запихиваем в БД (естественно с кодом подразделения, чьи это данные, датой, кодом таблицы)

в цифровая инфа хранится в одной таблице типа (tbl,row,col,podr,value,date)
легко анализировать, сравнивать
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37033022
5tanislav
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vill_agerДавно делал (еще на VB6)
в программе пользователь создавал любое кол-во таблиц, с любым количеством строк и колонок
на основе этого описания генерировался XLS с именованными ячейками
их можно поправить - главное не побить имена ячеек
его отправляют по почте, заполняют, передают назад
из программы открываем файл и по именам запихиваем в БД (естественно с кодом подразделения, чьи это данные, датой, кодом таблицы)

в цифровая инфа хранится в одной таблице типа (tbl,row,col,podr,value,date)
легко анализировать, сравнивать

Я как раз задумался над структурой таблиц. В упрощенном виде её можно представить так, как в приложенном изображении?
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37033203
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
5tanislavЯ как раз задумался над структурой таблиц. В упрощенном виде её можно представить так, как в приложенном изображении?
все так и было )
потом добавил в список таблиц дерево, для прятания устаревших данных
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37033379
5tanisla\/
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vill_agerвсе так и было )
потом добавил в список таблиц дерево, для прятания устаревших данных

Как можно отобразить по такой структуре данные в виде следующей таблицы?

Столбец1Столбец2Столбец3Строка1111213Строка2212223Строка3313233Строка4414243
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37034680
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
дерево только для списка таблиц, для удобства
если найду картинку - покажу позже
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37034685
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
забыл - есть еще система увязок, для контроля (в бух. балансе и т.п)
например:
стр1кол1+стр7кол1=стр8кол5+стр8кол2
и если не сходится - сообщение
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37034967
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
вот так это было
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37035310
Полковник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
5tanislav Полковник ,

На счёт сбора данных с помощью InfoPath я читал, но для этого обязателен установленный InfoPath и данные из него выгружаются в XML. Насколько сложно зарузить в базу данных файлы Excel или XML?


Грузить в базу не сложно, загрузка XML и Excel сейчас полностью автоматизирована тем же SSIS, который входит в поставку MS SQL Server начиная, помоему, с версии SE.

Вопрос в какую базу грузить, т.е. структуры самой базы. Если у вас куча неструктурированной иноформации, то будут проблемы, сначала нужно определится со структурой. К примеру финансовое хранилище данных - обязательны справочники - план счетов, календарь, справочник оргструктруры, справочник контрагентов (часто повторяет собственную структуру предприятия) и еще пара тройка специализированных справочников в зависимости от задачи. Когда имеете ясное понимание как должно лежать в базе данных и что вы будете делать с этой информацией потом, то собрать данные из Excel или Xml - дело техники.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37035502
5tanislav
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vill_agerвот так это было
Я думал у вас использовался какой-нибудь OLAP-компонент, чтобы можно было просматривать форму с заголовками строк и столбцов.

ПолковникВопрос в какую базу грузить, т.е. структуры самой базы. Если у вас куча неструктурированной иноформации, то будут проблемы, сначала нужно определится со структурой. К примеру финансовое хранилище данных - обязательны справочники - план счетов, календарь, справочник оргструктруры, справочник контрагентов (часто повторяет собственную структуру предприятия) и еще пара тройка специализированных справочников в зависимости от задачи. Когда имеете ясное понимание как должно лежать в базе данных и что вы будете делать с этой информацией потом, то собрать данные из Excel или Xml - дело техники.

Собирается статистическая информация о том сколько и какой продукции продано, по какой цене и т.д. Проблема в том, что форма содержит как заголовки столбцов, так и заголовки строк.
Вот, к примеру, одна из форм:

Поступило с начала годаНаличие (остаток) на отчетную датуДизельное топливоБензин

Подойдёт ли в данном случае структура таблиц, предложенная vill_ager и изображённая мной?
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37035557
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
5tanislavЯ думал у вас использовался какой-нибудь OLAP-компонент, чтобы можно было просматривать форму с заголовками строк и столбцов.

так и было
это же только главная форма
или вы хотите все скриншоты? )
я тогда использовал vflexgrid для работы с таблицами
а еще был OCX для Excel для вытягивания данных:
задаешь координаты (форма, строка, колонка, дата, подразделение)
а если подразделение=0 - то получаешь сумму по всем


авторСобирается статистическая информация о том сколько и какой продукции продано, по какой цене и т.д. Проблема в том, что форма содержит как заголовки столбцов, так и заголовки строк.

Подойдёт ли в данном случае структура таблиц, предложенная vill_ager и изображённая мной?
кажется в Вашем случае такая структура не подойдет
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37036060
Полковник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
5tanislav,

Вам нужно абстрагироваться от структуры входящей информации. Строить нужно звезду т.е. в центре у вас таблица, содержащая цифровые данные, по краям (вокруг нее) справочники.

Для начала нарисуйте матрицу измерений - небольшую таблицу, где строчки - ваши справочники (названия справочников) колонки - цифровые показатели или меры. Внутри поставьте плюс у пересечений справочника и цифрового показателя. Это будет ваша матрица, с ней нужно работать дальше.

Дальше описываете справочники - что в них должно быть, к примеру справочник товаров - какие колонки (характеристики товаров), справочник предприятия - какие характеристики, справочник календарь - навскидку характеристики - Год, квартал, месяц, день, день недели, день месяца (по порядку), день квартала (по порядку), день года (по порядку), признак праздника или выходного дня.

Дальше описываете таблицу фактов - середину вашей сзвезды - какие справочники с ней связаны (это мы знаем из нашей матрицы), по каким полям, какие поля в ней отвечают за цифровые показатели - меры.

Получаете некое описание, пусть на нескольких страничках - это логическая структура вашего Хранилища Данных, потом переводите ее в физическое понимание - до таблиц и полей. Получаем физическую структуру Хранилища Данных.

После этого сопоставляем ваше Хранилище Данных и ваши Источники Данных, описываем правила загрузки т.е. самой трансформации с какой колонки какого файла брать и куда класть, что и как нужно обрабатывать. После этого начинаем проектировать саму загрузку.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37040208
5tanislav
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vill_agerкажется в Вашем случае такая структура не подойдет
ПолковникВам нужно абстрагироваться от структуры входящей информации. Строить нужно звезду т.е. в центре у вас таблица, содержащая цифровые данные, по краям (вокруг нее) справочники.

Примерную структуру базы данных я уже имею. Только возникают очень большие трудности с созданием структуры таблиц, отвечающих за хранение показателей и значений форм, имеющих такую структуру:

Столбец1Столбец2Столбец3Строка1111213Строка2212223Строка3313233Строка4414243

Если структура, предложенная vill_ager не подходит, то как ещё можно хранить подобного рода данные? Не создавать ведь для каждой формы отдельную таблицу...
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37040297
Полковник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
5tanislav,

Матрицу нарисовали? У меня такое ощущение, что хранение данных вы ставите впереди (по приоритету) работы с этими данными по их анализу. Не важно сколько у вас там таблиц в итоге получится - на каждый цифровой показатель по таблице или одна таблица на несколько, важно то что потом когда потребуется анализ данных в т.ч. простое сравнение по периодам или по организациям вам это сделать по звезде будет легко и просто, а вот по странной структуре в которой вы пытаетесь сохранить часть структуры источника (какая колонка excel-я и какая строка) вы это делать запаритесь. У меня есть ХД в котором 780 таблиц, и ничего живет себе потихоньку.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37041483
Сисой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть готовое (но недешевое) решение, которое замечательно все это делает. 1С:Консолидация
Я уже использовал его на практике, мне понравилось. Одно из немногих стоящих решений у 1С.

Загрузка файлов
Конструирование выходных форм
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37041752
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
5tanislav,

Собирается статистическая информация о том сколько и какой продукции продано, по какой цене и т.д. Проблема в том, что форма содержит как заголовки столбцов, так и заголовки строк.

а если у Вас только продукция, то надо думать о глобальном справочнике продукции, ну и забивать физически таблицу под это дело - код продукции, цена, кол-во, код подразделения, дата

а работа с самой таблицей у меня выглядела так
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37041934
5tanislav
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ПолковникМатрицу нарисовали? У меня такое ощущение, что хранение данных вы ставите впереди (по приоритету) работы с этими данными по их анализу.
Да, матрицу пробовал рисовать, но на данный момент мне не известны все показатели, то есть я не знаю, какие формы отчётности будут занесены в систему.
Но, кажется, я Вашу мысль уловил: Вы считаете, что показатели не нужно привязывать к формам.

СисойЕсть готовое (но недешевое) решение, которое замечательно все это делает. 1С:Консолидация
Я уже использовал его на практике, мне понравилось. Одно из немногих стоящих решений у 1С.

Загрузка файлов
Конструирование выходных форм
Похоже, действительно хорошая система, но из прайс-листа непонятна окончательная её стоимость.

vill_agerа если у Вас только продукция, то надо думать о глобальном справочнике продукции, ну и забивать физически таблицу под это дело - код продукции, цена, кол-во, код подразделения, дата
На самом деле не только продукция. Вообще могут запрашиваться какие угодно данные, поэтому я и считаю, что нужно разработать какую-то гибкую структуру, чтобы просто было добавлять показатели новых форм.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37055827
Dako aka 3L33T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
5tanislavvill_agerДавно делал (еще на VB6)
в программе пользователь создавал любое кол-во таблиц, с любым количеством строк и колонок
на основе этого описания генерировался XLS с именованными ячейками
их можно поправить - главное не побить имена ячеек
его отправляют по почте, заполняют, передают назад
из программы открываем файл и по именам запихиваем в БД (естественно с кодом подразделения, чьи это данные, датой, кодом таблицы)

в цифровая инфа хранится в одной таблице типа (tbl,row,col,podr,value,date)
легко анализировать, сравнивать

Я как раз задумался над структурой таблиц. В упрощенном виде её можно представить так, как в приложенном изображении?

Можете ли выложить полную структуру базы данных по сбору и консолидации форм отчетности.
Хотим сами разработать такую систему, конечно это неэффективно когда имеется уже готовые разработки.
Просто уже давно назревает самому разработать универсальное средство, а ваш подход понравился.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37055974
Dako aka 3L33T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Прошу также посоветовать какие программные средства использовать.
Пока предварительно:
СУБД - Oracle
Инструмент разработки - delphi 5 или выше до 7 версии
Компоненты - Ehlib, Fastreport, FastCube, Odac или DOA.
Пока незнаю что лучше использовать Ehlib или Devexpress, также пока неясно какой инструмент использовать для языка правил (Форма1.строка20.столбец3=Форма1.строка10.столбец3+Форма2.строка11.столбец1) и инструмент экспорта с Excel. Может есть готовые компоненты для Delphi?
Подскажите пожалуйста набор средств для delphi для разработки информационной системы сбора,консолидации.
...
Рейтинг: 0 / 0
Система сбора форм отчетности
    #37057514
vill_ager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dako aka 3L33TМожете ли выложить полную структуру базы данных по сбору и консолидации форм отчетности.
Хотим сами разработать такую систему, конечно это неэффективно когда имеется уже готовые разработки.
Просто уже давно назревает самому разработать универсальное средство, а ваш подход понравился.
вся структура уже выложена на картинках выше
только таблицы с увязками там не видно, но там все просто:
код формы, формула1, формула2
если формула1 состоит только из адреса ячейки - такая ячейка недоступна для ввода (вычисляемая)

инструменты: Visual Basic 6.0, VSFlexGrid (гриды и печать), данные - DBF
парсинг увязок (формул) - вручную
обмен с Excel (туда-обратно) - OLE

сейчас бы делал на python+QT+любая БД
можно воспользоваться парсером питоновским для обработки формул
...
Рейтинг: 0 / 0
25 сообщений из 31, страница 1 из 2
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Система сбора форм отчетности
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]