ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / КУЧА разных данных
11 сообщений из 11, страница 1 из 1
КУЧА разных данных
    #39831434
нуб987
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нуб987
Участник
простите за заголовок, не знаю, как еще это компактно описать.
Суть: от дистрибьюторов приходят данные продаж в совершенно разных форматах. По этим данным затем необходимо построить ОЛАП-куб.
Например, привычные нам факты:
Client Product Date Amount SummaИванов Помидоры 2019.01.02 100 50Петров Огурцы 2019.02.03 200 30Сидоров Капуста 2019.03.04 150 80

у дистрибьюторов могут выглядеть так:
Client Product 2019.01.01 2019.01.02 2019.01.03 ... 2019.02.01 2019.02.02 2019.02.03 ... 2019.03.04 Amount Иванов Помидоры 100 Summa Иванов Помидоры 50 Amount Петров Огурцы 200 Summa Петров Огурцы 30 Amount Сидоров Капуста 150 Summa Сидоров Капуста 80

И это еще далеко не самый трешовый вариант.
К тому же наименования полей могут быть в совершенно свободном стиле. Состав и их порядок, естественно, тоже.
Размер таблиц - сотни мегабайт текстовых данных (сотни тысяч строк, десятки полей)

Подскажите, придумало ли человечество машинную обработку таких данных? Чтобы на выходе получить нормально заполненную т.фактов для анализа.
Или необходимо сначала руками приводить все в человеческий вид?

Краем уха слышал про DataMining. Но это кажется не то.
...
Рейтинг: 0 / 0
28.06.2019, 02:47
| Ответить | Цитировать | Написать  
КУЧА разных данных
    #39831435
982183
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
982183
Участник
Надо связываться с IT службой "дистрибьютора"
и договариваться о формате передаваемых данных.
Просто видимо у вас есть выход на некие отчетные формы, а надо копнуть глубже к первоисточнику.
...
Рейтинг: 0 / 0
28.06.2019, 02:52
| Ответить | Цитировать | Написать  
КУЧА разных данных
    #39831436
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
нуб987,

Раз данные приходят, значит это кому-то нужно и кто-то об этом договаривался... Просто установите требуемый формат для тех, кто отправляет данные.
...
Рейтинг: 0 / 0
28.06.2019, 02:55
| Ответить | Цитировать | Написать  
КУЧА разных данных
    #39831437
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
нуб987,

DataMining это не то, что вам нужно. И способа автоматически все сделать тоже нет.
Или дистрибьюторы присылают данные в нужном формате, или вы сами их конвертите в нужный формат.
...
Рейтинг: 0 / 0
28.06.2019, 02:56
| Ответить | Цитировать | Написать  
КУЧА разных данных
    #39831438
нуб987
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
нуб987
Участник
КритикРаз данные приходят, значит это кому-то нужно и кто-то об этом договаривался... Просто установите требуемый формат для тех, кто отправляет данные.
сейчас как раз занимаюсь этим. Проблема в том, что цепочка связей достаточно длинная. В нее, как принято, входят не совсем компетентные личности, но имеющие определенный статус.
При этом чувствую себя дурачком, не знающим "очевидных для всех" вещей в век искусств.интеллекта. Вот и копаю параллельно на тему машинной обработки. А вдруг можно нажать одну кнопку...
...
Рейтинг: 0 / 0
28.06.2019, 03:15
| Ответить | Цитировать | Написать  
КУЧА разных данных
    #39831501
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jurii
Участник
нуб987,

На одну кнопку можно нажать, если предварительно обучить своего ИСИНа
...
Рейтинг: 0 / 0
28.06.2019, 10:28
| Ответить | Цитировать | Написать  
КУЧА разных данных
    #39831672
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
Jurii,

Юрий, вы там со своим когносом совсем с ума не сошли?

Чжан Исин, более известен как Лэй - китайский певец и актёр, продюсер, модель, композитор, автор, писатель. Является главным танцором, вокалистом, саб-рэппером южнокорейско-китайской группы EXO.
 
...
Рейтинг: 0 / 0
28.06.2019, 14:22
| Ответить | Цитировать | Написать  
КУЧА разных данных
    #39831790
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jurii
Участник
Критик,

А при чем тут Когнос? К Когносу вроде вопросов нет, пока ничего лучшего в мире не появится для бюджетирования и BI.
Термин ИСИН я взял из серии книг Этногенез.
Более простую версию ИСИНа я обучаю последние 14 лет, этого достаточно для загрузки файлов разных форматов в хранилище, что требуется автору дискуссии.
Более сложные ИСИНы, которые сами создают Хранилища данных, тоже не имеют к Когносу отношения.
...
Рейтинг: 0 / 0
28.06.2019, 19:32
| Ответить | Цитировать | Написать  
КУЧА разных данных
    #39831830
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
T87
Участник
нуб987простите за заголовок, не знаю, как еще это компактно описать.
Суть: от дистрибьюторов приходят данные продаж в совершенно разных форматах. По этим данным затем необходимо построить ОЛАП-куб.
Например, привычные нам факты:
Client Product Date Amount SummaИванов Помидоры 2019.01.02 100 50Петров Огурцы 2019.02.03 200 30Сидоров Капуста 2019.03.04 150 80

у дистрибьюторов могут выглядеть так:
Client Product 2019.01.01 2019.01.02 2019.01.03 ... 2019.02.01 2019.02.02 2019.02.03 ... 2019.03.04 Amount Иванов Помидоры 100 Summa Иванов Помидоры 50 Amount Петров Огурцы 200 Summa Петров Огурцы 30 Amount Сидоров Капуста 150 Summa Сидоров Капуста 80

И это еще далеко не самый трешовый вариант.
К тому же наименования полей могут быть в совершенно свободном стиле. Состав и их порядок, естественно, тоже.
Размер таблиц - сотни мегабайт текстовых данных (сотни тысяч строк, десятки полей)

Подскажите, придумало ли человечество машинную обработку таких данных? Чтобы на выходе получить нормально заполненную т.фактов для анализа.
Или необходимо сначала руками приводить все в человеческий вид?

Краем уха слышал про DataMining. Но это кажется не то.
Вот https://navicongroup.ru/our_solutions/solution.php?E_ID=3734

На входе разные отчеты от дистров, на выходе - olap куб с анализом всего этого
...
Рейтинг: 0 / 0
28.06.2019, 23:39
| Ответить | Цитировать | Написать  
КУЧА разных данных
    #39831905
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
JuriiКритик,

А при чем тут Когнос? К Когносу вроде вопросов нет, пока ничего лучшего в мире не появится для бюджетирования и BI.
Термин ИСИН я взял из серии книг Этногенез.
Более простую версию ИСИНа я обучаю последние 14 лет, этого достаточно для загрузки файлов разных форматов в хранилище, что требуется автору дискуссии.
Более сложные ИСИНы, которые сами создают Хранилища данных, тоже не имеют к Когносу отношения.

Общепринятые термины - ИИ или искин, иногда говорят искинт, вы же выбрали самый нераспространенный.
https://ru.m.wikipedia.org/wiki/Искин

Ps судя по упомянутому возрасту, через пару лет ваш искин можно будет замуж выдавать )
...
Рейтинг: 0 / 0
29.06.2019, 17:29
| Ответить | Цитировать | Написать  
КУЧА разных данных
    #39832697
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jurii
Участник
2 Критик:

Общепринятые термины - ИИ или искин, иногда говорят искинт, вы же выбрали самый нераспространенный.
https://ru.m.wikipedia.org/wiki/Искин

Если общепринятые термины не очень удачны, не звучат, или звучат несолидно (как искин ))), почему бы не ввести более удачный термин?

Ps судя по упомянутому возрасту, через пару лет ваш искин можно будет замуж выдавать )

У меня нет искина, есть ИСИН ;) Он в годовалом возрасте мощнее, чем 1000 опытных 30-40 летних ИТ специалистов, поэтому возраст 16 лет не требуется для устройства ИСИНа на работу и для прочих дел ;)
...
Рейтинг: 0 / 0
02.07.2019, 12:32
| Ответить | Цитировать | Написать  
11 сообщений из 11, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / КУЧА разных данных
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=49&fpage=14&tid=1857560]:
 0ms
get settings:
 10ms
get forum list:
 11ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 38ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 43ms
get tp. blocked users:
 1ms
others: 13ms
total:  134ms
созд. / загр.: 134ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]