powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / ERP и учетные системы [игнор отключен] [закрыт для гостей] / прошу совета по выбору системы для следующей задачи
20 сообщений из 20, страница 1 из 1
прошу совета по выбору системы для следующей задачи
    #38114999
igor-st
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Руководство планирует запустить новый проект, при этом категорически не желает что бы для проекта использовался самописный софт, и требует реализовать проект на какой-нибудь уже готовой платформе.
Основные этапы проекта:

1. Загрузка в систему электронных данных в различных форматах и структурах о продажах неких товаров. Это файлы (xls, dbf, txt, и прочие), которые будут загружаться в систему оператором БД. Всего по оценкам это может быть до 1000 файлов в месяц. У каждого может быть своя структура и формат. В файлах должны присутствовать ряд обязательных полей (например Товар, цена, кол-во). Каждому файлу при загрузке его в систему должны присваиваться определенные реквизиты указывающие на принадлежность данных поставщику, торговой точке, адресу и т.д.

2. Все сохраненные файлы должны приводиться к единому формату и структуре. Это должно осуществляться как автоматически по уже имеющимся правилам преобразования файла, так и вручную Оператором БД. Т.е. система должна позволять накапливать правила конвертации файлов.

3. Далее должна осуществляться унификация различных написаний. Т.е. написание одного и того же товара несколькими способами должно быть приведено к единому. Для этого планируется, что в системе будут реализованы классификаторы и справочники товаров. Приведение к единому написанию должно осуществляться как автоматически (по уже накопленным в репозитории данным) так и в ручном режиме оператором баз данных. Всего ассортимент порядка 5000 наименований.

4. В результате система должна позволять получать различные отчеты и выгрузки по загруженным в нее данным.

Буду благодарен любому совету по этому вопросу.
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38115020
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
igor-st, то, что Вы описали - это MDM в чистом виде. Ну, с добавлением ETL немного. Из доступного / относительно бесплатного - смотрите Talend.

А теперь можно маааленький вопрос - а зачем? Следить за составом товарных позиций и ценами конкурентов?

С Уважением,
Георгий
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38115090
AntonU
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
igor-st,
Смотрите BI системы. Не скажу про все, но ряд из них позволяют на входе грузить в хранилище не обязательно четко структурированные данные (грубо говоря, просто текст). Правда, гарантии, что на выходе будут строиться отчеты на основе полностью нормализованных данных, нет.
Поэтому, в Вашем случае, я бы посоветовал использовать связку из системы, формирующей отчеты, и системы управления НСИ. Система управления НСИ даст следующие возможности:
- централизованное ведение НСИ;
- дальнейшее распространение НСИ в используемые информационные системы;
- исключение искажения и дублирования информации;
- настройка соответствия между мастер-справочником и локальными справочниками;
- централизованное обеспечение информационной безопасности.
Можно перечислять плюсы и дальше.
Также есть смысл провести нормализацию имеющего справочника – т.е. по определенной методологии и шаблонам исправить наименования на правильные. 5000 наименований – это мало, поэтому много времени и денег нормализация не отнимет (лучше отдать эту работу специалистам, имеющим опыт и соответствующие наработки).
Дальше надо будет настроить взаимосвязи между мастер-справочником и локальными справочниками – можно использовать наименования, лучше отдельный уникальный ключ.
Еще один важный момент – это добавление новых записей. Самый лучший вариант – это централизованное заведение в мастер-справочник, а потом распространение в локальные справочники. Если локальных систем много и у всех разные интерфейсы, то есть смысл, для целей интеграции, использовать интеграционную сервисную шину. Хотя, в Вашем случае, на мой взгляд, это будет излишне.
Если возникнут вопросы, пишите. Попытаюсь объяснить более подробно. Контакты в профиле.
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38115091
AntonU
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пока писал свой пост, про MDM уже сказали.
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38115161
chatm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
igor-st,

у акселота есть недурное решение 1С:MDM Управление нормативно-справочной информацией (НСИ)
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38115169
Программист 1с
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
chatmigor-st,

у акселота есть недурное решение 1С:MDM Управление нормативно-справочной информацией (НСИ) Завязал с ними. У них полное отсутствие консультантов - только программисты. Пригласил их - когда выбирали систему для склада. Только опозорили меня. НАФИГ.
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38115176
chatm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Программист 1с,

странно, а ко мне девушки-консультанты приезжали, даже что то мычали и изображали руками (когда презентацию руководство в принципе отказалось смотреть)
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38115353
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Руководство планирует запустить новый проект, при этом категорически не желает что бы для проекта использовался самописный софт, и требует реализовать проект на какой-нибудь уже готовой платформе .Ну так пригласите на презентацию умников по Динамиксам (по всем возможным), Сапёров, JDE, OEBS-ников. Под занавес можно подать 1С.
Заодно и поржёте вволю...
Похоже, руководство вообще не в теме, что ему нужно от ИТ (кроме волшебной кнопки "Сделать всё пучком").
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38115378
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
LSVРуководство планирует запустить новый проект, при этом категорически не желает что бы для проекта использовался самописный софт, и требует реализовать проект на какой-нибудь уже готовой платформе .Ну так пригласите на презентацию умников по Динамиксам (по всем возможным), Сапёров, JDE, OEBS-ников. Под занавес можно подать 1С.
Заодно и поржёте вволю...
С# - тоже платформа :)

Кстати, действительно, в перечисленных LSV системах данная функциональность присутствует (или допилена партнерами под дистрибуцию / фарму / ритейл - там это особенно востребовано)

С Уважением,
Георгий
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38115722
trdm_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
George Nordicigor-st, то, что Вы описали - это MDM в чистом виде. Ну, с добавлением ETL немного. Из доступного / относительно бесплатного - смотрите Talend.
А нормальной русской абревиатуры нет для этого дела?
Не люблю заграничных выпендрежистых названий.
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38115989
Фотография Garya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
George Nordicigor-st, то, что Вы описали - это MDM в чистом виде. Ну, с добавлением ETL немного.Я бы сказал, в большей степени ETL и немного MDM для приведения к единой НСИ. :)

Нечто подобное когда-то давно делал на MS BizTalk Server. Хотя, по большому счету, это что-то вроде стрельбы из пушки по воробьям, тем не менее, довольно удобно.

Каждый файл, имеющий собственную структуру полей и формат, можно подать на отдельный "канал". Для "канала" настроить отображение полей во внутренний XML, далее с помощью XSLT-преобразований (по одному на каждый канал) все форматы приводятся к единой структуре и единым НСИ . Ранее осуществленные привязки к единым НСИ могут произведены с помощью "функтоидов" в XSLT-преобразовании.

Хочу предупредить, что в подчеркнутой фразе - главная засада. Если периодическую загрузку данных из разных источников в разных форматах и преобразование в единый формат можно автоматизировать, то с выяснением, какие строки загруженных из разных источников таблиц соответствуют друг другу, возможно, придется разбираться вручную. Ну, если наименование одной и той же номенклатуры в разных источниках не совпадает буква-в-букву и не имеет единых артикулов или кодов производителя. А теперь представьте, что из десятка разных мест пришли свежие файлы, и в каждом из фалов имеются по 500 новых несоответствий ранее сопоставленной номенклатуре. Сколько времени понадобится на ручное сопоставление 5000 записей? :) Не забудьте, что такую процедуру придется выполнять при каждой новой загрузке, если в ней обнаружились новые записи, которых не было ранее. Понятно, что на подобную регулярную процедуру придется выделить человеческий ресурс, и не факт, что один.

George NordicА теперь можно маааленький вопрос - а зачем? Следить за составом товарных позиций и ценами конкурентов?Вопрос, надо полагать, риторический, поскольку ответ "ну разумеется" подразумевается. :)
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38117472
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
trdm_А нормальной русской абревиатуры нет для этого дела?"Управление Мастер-данными","Управление НСИ".
GaryaНечто подобное когда-то давно делал на MS BizTalk Server.Бр-р. Тяжелая штука, при изменении структуры входных данных - упирается, надо перекомпилировать оркестровку.. Намучался я с ним. После MS BT Talend гораздо лучше смотрится.
GaryaВопрос, надо полагать, риторический, поскольку ответ "ну разумеется" подразумевается. :):)
С Уважением,
Георгий
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38117551
igor-st
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
George Nordic
А теперь можно маааленький вопрос - а зачем? Следить за составом товарных позиций и ценами конкурентов?

С Уважением,
Георгий

Да, система нужна для создания аналитической отчетности, основанной на данных из различных систем.
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38117662
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
igor-stДа, система нужна для создания аналитической отчетности, основанной на данных из различных систем.А, ну, если аналитика, то отпишите мне на georgend@mail.ru

С Уважением,
Георгий
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38129838
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 igor-st:

Мне приходилось решать подобные задачи. Как-то даже проводился тендер, на этом форуме шла активная дискуссия, как же обрабатывать слабоструктурированные данные с минимальной трудоемкостью. Никто не смог ничего придумать. В итоге мне удалось победить в том тендере. Прошло много лет, но каких-либо других решений, насколько я знаю, в мире так и не появилось.
Для того чтобы быть уверенным, что моя подсистема справится с Вашей задачей, мне нужно получить от Вас примеры Ваших файлов.
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38147982
igor-st
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Jurii2 igor-st:

Мне приходилось решать подобные задачи. Как-то даже проводился тендер, на этом форуме шла активная дискуссия, как же обрабатывать слабоструктурированные данные с минимальной трудоемкостью. Никто не смог ничего придумать. В итоге мне удалось победить в том тендере. Прошло много лет, но каких-либо других решений, насколько я знаю, в мире так и не появилось.
Для того чтобы быть уверенным, что моя подсистема справится с Вашей задачей, мне нужно получить от Вас примеры Ваших файлов.
Jurii, файлы все-таки не слабоструктурированые. Все файлы содержат структурированные таблицы. Просто структур возможно будет много разных.
К примеру это XLS, dbf, csv содержащих обязательный для нас минимальный набор данных в столбцах.
Столбцов может быть сколько угодно в файле, и они могут как угодно называться, но нужных нам всего планируется 5-7 столбцов, которые нам нужно извлекать и заливать в единую БД.
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38147989
igor-st
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Jurii, а вы как представитель какой компании победили в том тендере? или как частное лицо?
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38148645
lookat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
igor-st,

Если у Оператора БД с английским более менее,
то могу посоветовать expressor desktop:

http://www.qlikview.com/ru/explore/experience/expressor-download

Простой в освоении ETL, в версии Studio бесплатен.
Функционал как раз под такого рода задачи.
Поставляется с wire драйверами ODBC фирмы Direct Software.

Удачи.
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38148692
soulsurfer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SAP BO Data Services с лицензией для Data Quality трансформаций + SAP Information Steward:

1+2) Data Services
3) Data quality преобразования Match + Information Steward для ведения своих словарей
4) Information Steward

PS Бюджет озвучьте :)
...
Рейтинг: 0 / 0
прошу совета по выбору системы для следующей задачи
    #38149771
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 igor-st:

Jurii, файлы все-таки не слабоструктурированые. Все файлы содержат структурированные таблицы.

Я правильно понимаю, что файлы Excel не содержат кросс-таблиц, а хранят данные так же, как и обычные реляционные таблицы DBF, CSV и т.п.?

К примеру это XLS, dbf, csv содержащих обязательный для нас минимальный набор данных в столбцах.

C XLS вопросов меньше. С форматами dbf и csv - у меня есть идеи, как обработать эти файлы моей подсистемой, но хотелось бы это протестировать на Ваших файлах, чтобы не тратить лишнее время.

Jurii, а вы как представитель какой компании победили в том тендере? или как частное лицо?

Я победил в тендере как представитель компании, которая прекратила существование более 5 лет назад. При этом разработка подсистемы производилась двумя частными лицами, сотрудничающими с этой компанией.
...
Рейтинг: 0 / 0
20 сообщений из 20, страница 1 из 1
Форумы / ERP и учетные системы [игнор отключен] [закрыт для гостей] / прошу совета по выбору системы для следующей задачи
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]