|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
Руководство планирует запустить новый проект, при этом категорически не желает что бы для проекта использовался самописный софт, и требует реализовать проект на какой-нибудь уже готовой платформе. Основные этапы проекта: 1. Загрузка в систему электронных данных в различных форматах и структурах о продажах неких товаров. Это файлы (xls, dbf, txt, и прочие), которые будут загружаться в систему оператором БД. Всего по оценкам это может быть до 1000 файлов в месяц. У каждого может быть своя структура и формат. В файлах должны присутствовать ряд обязательных полей (например Товар, цена, кол-во). Каждому файлу при загрузке его в систему должны присваиваться определенные реквизиты указывающие на принадлежность данных поставщику, торговой точке, адресу и т.д. 2. Все сохраненные файлы должны приводиться к единому формату и структуре. Это должно осуществляться как автоматически по уже имеющимся правилам преобразования файла, так и вручную Оператором БД. Т.е. система должна позволять накапливать правила конвертации файлов. 3. Далее должна осуществляться унификация различных написаний. Т.е. написание одного и того же товара несколькими способами должно быть приведено к единому. Для этого планируется, что в системе будут реализованы классификаторы и справочники товаров. Приведение к единому написанию должно осуществляться как автоматически (по уже накопленным в репозитории данным) так и в ручном режиме оператором баз данных. Всего ассортимент порядка 5000 наименований. 4. В результате система должна позволять получать различные отчеты и выгрузки по загруженным в нее данным. Буду благодарен любому совету по этому вопросу. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.01.2013, 11:25 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
igor-st, то, что Вы описали - это MDM в чистом виде. Ну, с добавлением ETL немного. Из доступного / относительно бесплатного - смотрите Talend. А теперь можно маааленький вопрос - а зачем? Следить за составом товарных позиций и ценами конкурентов? С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
18.01.2013, 11:37 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
igor-st, Смотрите BI системы. Не скажу про все, но ряд из них позволяют на входе грузить в хранилище не обязательно четко структурированные данные (грубо говоря, просто текст). Правда, гарантии, что на выходе будут строиться отчеты на основе полностью нормализованных данных, нет. Поэтому, в Вашем случае, я бы посоветовал использовать связку из системы, формирующей отчеты, и системы управления НСИ. Система управления НСИ даст следующие возможности: - централизованное ведение НСИ; - дальнейшее распространение НСИ в используемые информационные системы; - исключение искажения и дублирования информации; - настройка соответствия между мастер-справочником и локальными справочниками; - централизованное обеспечение информационной безопасности. Можно перечислять плюсы и дальше. Также есть смысл провести нормализацию имеющего справочника – т.е. по определенной методологии и шаблонам исправить наименования на правильные. 5000 наименований – это мало, поэтому много времени и денег нормализация не отнимет (лучше отдать эту работу специалистам, имеющим опыт и соответствующие наработки). Дальше надо будет настроить взаимосвязи между мастер-справочником и локальными справочниками – можно использовать наименования, лучше отдельный уникальный ключ. Еще один важный момент – это добавление новых записей. Самый лучший вариант – это централизованное заведение в мастер-справочник, а потом распространение в локальные справочники. Если локальных систем много и у всех разные интерфейсы, то есть смысл, для целей интеграции, использовать интеграционную сервисную шину. Хотя, в Вашем случае, на мой взгляд, это будет излишне. Если возникнут вопросы, пишите. Попытаюсь объяснить более подробно. Контакты в профиле. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.01.2013, 12:08 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
Пока писал свой пост, про MDM уже сказали. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.01.2013, 12:09 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
18.01.2013, 12:48 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
chatmigor-st, у акселота есть недурное решение 1С:MDM Управление нормативно-справочной информацией (НСИ) Завязал с ними. У них полное отсутствие консультантов - только программисты. Пригласил их - когда выбирали систему для склада. Только опозорили меня. НАФИГ. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.01.2013, 12:51 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
Программист 1с, странно, а ко мне девушки-консультанты приезжали, даже что то мычали и изображали руками (когда презентацию руководство в принципе отказалось смотреть) ... |
|||
:
Нравится:
Не нравится:
|
|||
18.01.2013, 12:53 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
Руководство планирует запустить новый проект, при этом категорически не желает что бы для проекта использовался самописный софт, и требует реализовать проект на какой-нибудь уже готовой платформе .Ну так пригласите на презентацию умников по Динамиксам (по всем возможным), Сапёров, JDE, OEBS-ников. Под занавес можно подать 1С. Заодно и поржёте вволю... Похоже, руководство вообще не в теме, что ему нужно от ИТ (кроме волшебной кнопки "Сделать всё пучком"). ... |
|||
:
Нравится:
Не нравится:
|
|||
18.01.2013, 13:44 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
LSVРуководство планирует запустить новый проект, при этом категорически не желает что бы для проекта использовался самописный софт, и требует реализовать проект на какой-нибудь уже готовой платформе .Ну так пригласите на презентацию умников по Динамиксам (по всем возможным), Сапёров, JDE, OEBS-ников. Под занавес можно подать 1С. Заодно и поржёте вволю... С# - тоже платформа :) Кстати, действительно, в перечисленных LSV системах данная функциональность присутствует (или допилена партнерами под дистрибуцию / фарму / ритейл - там это особенно востребовано) С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
18.01.2013, 13:55 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
George Nordicigor-st, то, что Вы описали - это MDM в чистом виде. Ну, с добавлением ETL немного. Из доступного / относительно бесплатного - смотрите Talend. А нормальной русской абревиатуры нет для этого дела? Не люблю заграничных выпендрежистых названий. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.01.2013, 16:44 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
George Nordicigor-st, то, что Вы описали - это MDM в чистом виде. Ну, с добавлением ETL немного.Я бы сказал, в большей степени ETL и немного MDM для приведения к единой НСИ. :) Нечто подобное когда-то давно делал на MS BizTalk Server. Хотя, по большому счету, это что-то вроде стрельбы из пушки по воробьям, тем не менее, довольно удобно. Каждый файл, имеющий собственную структуру полей и формат, можно подать на отдельный "канал". Для "канала" настроить отображение полей во внутренний XML, далее с помощью XSLT-преобразований (по одному на каждый канал) все форматы приводятся к единой структуре и единым НСИ . Ранее осуществленные привязки к единым НСИ могут произведены с помощью "функтоидов" в XSLT-преобразовании. Хочу предупредить, что в подчеркнутой фразе - главная засада. Если периодическую загрузку данных из разных источников в разных форматах и преобразование в единый формат можно автоматизировать, то с выяснением, какие строки загруженных из разных источников таблиц соответствуют друг другу, возможно, придется разбираться вручную. Ну, если наименование одной и той же номенклатуры в разных источниках не совпадает буква-в-букву и не имеет единых артикулов или кодов производителя. А теперь представьте, что из десятка разных мест пришли свежие файлы, и в каждом из фалов имеются по 500 новых несоответствий ранее сопоставленной номенклатуре. Сколько времени понадобится на ручное сопоставление 5000 записей? :) Не забудьте, что такую процедуру придется выполнять при каждой новой загрузке, если в ней обнаружились новые записи, которых не было ранее. Понятно, что на подобную регулярную процедуру придется выделить человеческий ресурс, и не факт, что один. George NordicА теперь можно маааленький вопрос - а зачем? Следить за составом товарных позиций и ценами конкурентов?Вопрос, надо полагать, риторический, поскольку ответ "ну разумеется" подразумевается. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
18.01.2013, 20:43 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
trdm_А нормальной русской абревиатуры нет для этого дела?"Управление Мастер-данными","Управление НСИ". GaryaНечто подобное когда-то давно делал на MS BizTalk Server.Бр-р. Тяжелая штука, при изменении структуры входных данных - упирается, надо перекомпилировать оркестровку.. Намучался я с ним. После MS BT Talend гораздо лучше смотрится. GaryaВопрос, надо полагать, риторический, поскольку ответ "ну разумеется" подразумевается. :):) С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
21.01.2013, 10:40 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
George Nordic А теперь можно маааленький вопрос - а зачем? Следить за составом товарных позиций и ценами конкурентов? С Уважением, Георгий Да, система нужна для создания аналитической отчетности, основанной на данных из различных систем. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.01.2013, 11:15 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
igor-stДа, система нужна для создания аналитической отчетности, основанной на данных из различных систем.А, ну, если аналитика, то отпишите мне на georgend@mail.ru С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
21.01.2013, 11:53 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
2 igor-st: Мне приходилось решать подобные задачи. Как-то даже проводился тендер, на этом форуме шла активная дискуссия, как же обрабатывать слабоструктурированные данные с минимальной трудоемкостью. Никто не смог ничего придумать. В итоге мне удалось победить в том тендере. Прошло много лет, но каких-либо других решений, насколько я знаю, в мире так и не появилось. Для того чтобы быть уверенным, что моя подсистема справится с Вашей задачей, мне нужно получить от Вас примеры Ваших файлов. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.01.2013, 23:30 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
Jurii2 igor-st: Мне приходилось решать подобные задачи. Как-то даже проводился тендер, на этом форуме шла активная дискуссия, как же обрабатывать слабоструктурированные данные с минимальной трудоемкостью. Никто не смог ничего придумать. В итоге мне удалось победить в том тендере. Прошло много лет, но каких-либо других решений, насколько я знаю, в мире так и не появилось. Для того чтобы быть уверенным, что моя подсистема справится с Вашей задачей, мне нужно получить от Вас примеры Ваших файлов. Jurii, файлы все-таки не слабоструктурированые. Все файлы содержат структурированные таблицы. Просто структур возможно будет много разных. К примеру это XLS, dbf, csv содержащих обязательный для нас минимальный набор данных в столбцах. Столбцов может быть сколько угодно в файле, и они могут как угодно называться, но нужных нам всего планируется 5-7 столбцов, которые нам нужно извлекать и заливать в единую БД. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.02.2013, 15:42 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
Jurii, а вы как представитель какой компании победили в том тендере? или как частное лицо? ... |
|||
:
Нравится:
Не нравится:
|
|||
12.02.2013, 15:44 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
igor-st, Если у Оператора БД с английским более менее, то могу посоветовать expressor desktop: http://www.qlikview.com/ru/explore/experience/expressor-download Простой в освоении ETL, в версии Studio бесплатен. Функционал как раз под такого рода задачи. Поставляется с wire драйверами ODBC фирмы Direct Software. Удачи. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.02.2013, 22:56 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
SAP BO Data Services с лицензией для Data Quality трансформаций + SAP Information Steward: 1+2) Data Services 3) Data quality преобразования Match + Information Steward для ведения своих словарей 4) Information Steward PS Бюджет озвучьте :) ... |
|||
:
Нравится:
Не нравится:
|
|||
13.02.2013, 00:12 |
|
прошу совета по выбору системы для следующей задачи
|
|||
---|---|---|---|
#18+
2 igor-st: Jurii, файлы все-таки не слабоструктурированые. Все файлы содержат структурированные таблицы. Я правильно понимаю, что файлы Excel не содержат кросс-таблиц, а хранят данные так же, как и обычные реляционные таблицы DBF, CSV и т.п.? К примеру это XLS, dbf, csv содержащих обязательный для нас минимальный набор данных в столбцах. C XLS вопросов меньше. С форматами dbf и csv - у меня есть идеи, как обработать эти файлы моей подсистемой, но хотелось бы это протестировать на Ваших файлах, чтобы не тратить лишнее время. Jurii, а вы как представитель какой компании победили в том тендере? или как частное лицо? Я победил в тендере как представитель компании, которая прекратила существование более 5 лет назад. При этом разработка подсистемы производилась двумя частными лицами, сотрудничающими с этой компанией. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.02.2013, 15:55 |
|
|
start [/forum/topic.php?fid=29&msg=38149771&tid=1526048]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
205ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
61ms |
get tp. blocked users: |
2ms |
others: | 240ms |
total: | 556ms |
0 / 0 |