Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Вопрос про разработку хранилища данных
|
|||
|---|---|---|---|
|
#18+
Есть задача проектирования корпоративного хранилища данных. Занимается этим один человек, ранее OLAP не занимавшийся, но хорошо знающий Oracle как разработчик и неплохо его знающий как администратор, и имеющий по различным статьям общее представление о многомерных хранилищах данных. Платформа под OLAP – Oracle 10.2. Этапы выполнения задания: 1. Чтение теории по проектированию хранилищ данных, например, люди, занимавшиеся уже OLAP, предложили Ralph Kimball, The Data Warehouse Toolkit. 2. Чтение документации Oracle по данному вопросу. 3. Подбор и закупка сервера под OLAP, установка и настройка Oracle (с дальнейшей настройкой уже под реальные задачи). 4. Рассмотреть различные OLAP клиенты для Oracle OLAP, выбрать подходящие. 5. Тест на Oracle Sample Schemas. 6. Проектирование реального хранилища данных. 7. Настройка и тестирование ETL процессов на реальных данных (используется MOLAP, source data находится в основной рабочей базе Oracle 9.2). 8. Тестирование, настройка и оптимизация полученного хранилища. 9. Обучение 2-х пользователей работе с OLAP для целей тестирования. 10. Ввод в эксплуатацию и начальное обучение пользователей. Хранилище данных на первом этапе внедрения представляет собой: Измерения (неполный список): Даты Время суток Товары Клиенты Склады Собственные предприятия Типы документов Статус документа Вид заказа Менеджер Заказчик товара и т.д. Кубы: Оборотная ведомость по товарам в разрезе дат, времени суток, товаров, клиентов, складов, собств. предприятий и типов документов. Остатки товара, фактические и прогнозируемые значения приходов, продаж и остатков на дату в разрезе дат, товаров и складов. Связи между приходными документами (заказ на изготовление товара на фабрике, подтверждение фабрикой заказа, отгрузка фабрикой товара) в разрезе дат отгрузки, прихода, номеров документов, статусов документов и т.д. Сырые данные для кубов в реляционной базе все есть. Вопрос заключается в следующем: сколько времени примерно может занять выполнение данной работы? Интересует ваше мнение на основании личного опыта, потому что у нас отсутствует опыт разработки хранилищ данных, поэтому сложно дать временную оценку. Не хотим сильно никого нагружать, интересует просто ваша краткая, без какого-либо серьёзного анализа оценка. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2005, 11:13 |
|
||
|
Вопрос про разработку хранилища данных
|
|||
|---|---|---|---|
|
#18+
Зависит от того, с какой скоростью вы читаете :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2005, 12:03 |
|
||
|
Вопрос про разработку хранилища данных
|
|||
|---|---|---|---|
|
#18+
А если серьезно, то будет зависеть еще от структуры данных, от их объема, от вашего знакомства со структурой, от возможности написать эффективные SQL запросы и их количества. От опыта работы с OLAP или его отстуствием. И т.д. и т.п. Так что разброс, наверное, от нескольких дней до нескольких месяцев. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2005, 12:06 |
|
||
|
Вопрос про разработку хранилища данных
|
|||
|---|---|---|---|
|
#18+
только п.1-2 может занять полгода :-) это ж не художественная литература, тут разбираться надо. да и поручить разработку хранилища с аналитикой человеку, который никогда этим не занимался - себе дороже выйдет. обратитесь к людям или компаниям, которые этим успешно занимаются. Я думаю, что опытный человек может через 2-3 месяца продемонстрировать рабочий пилот. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2005, 12:12 |
|
||
|
Вопрос про разработку хранилища данных
|
|||
|---|---|---|---|
|
#18+
Структура данных обычной для товарных документов сложности (документ, тип документа, статус документа, контрагент, номенклатура), правда имеются сложные взаимосвязи документов, очень хорошо знакома, так самими же и проектировалась в свое время, возможность писать эффективные запросы имеется, но вот опыта работы с OLAP нет (точнее не было, сейчас уже бета версия готова, но улучшать еще кучу всего надо). Просто имеется некоторое расхождение в понимании сроков выполнения задачи с вышестоящим начальством. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2005, 12:16 |
|
||
|
Вопрос про разработку хранилища данных
|
|||
|---|---|---|---|
|
#18+
Собственно я являюсь главным проектировщиком и разработчиком системы, поэтому в вопросах, связанных с логикой работы предприятия и требуемой аналитикой трудностей не возникало, а вот с OLAP пришлось разбираться с нуля в том порядке, что я написал. Бета была готова (причем данные в кубах верные и производительность настроена) за 6 недель работы. Проблема донести до понимания высшего начальства, что не за месяц делается такая работа. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2005, 12:26 |
|
||
|
Вопрос про разработку хранилища данных
|
|||
|---|---|---|---|
|
#18+
Так в некоторых ситуациях даже и не за год... :( Потому что в результате все равно возникают потребности в новых срезах данных, по мере накопления информации и роста хранилища оказывается, что некорые процедуры явно нуждаются в оптимизации, алгоритмы в переработке и т.п.... Поэтому оптимально, на мой взгляд, сделать начальный вариант (который займет, пожалуй от пары месяцев до полугода), запустить его в работу, а потом дорабатывать параллельно... А уж процесс доработки может быть практически бесконечен (хотя это зависит от целого ряда факторов, как-то скорость роста базы, рост потребностей аналитиков и т.п....) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2005, 14:06 |
|
||
|
Вопрос про разработку хранилища данных
|
|||
|---|---|---|---|
|
#18+
3 месяца минимум ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2005, 14:48 |
|
||
|
Вопрос про разработку хранилища данных
|
|||
|---|---|---|---|
|
#18+
Guest99Собственно я являюсь главным проектировщиком и разработчиком системы, поэтому в вопросах, связанных с логикой работы предприятия и требуемой аналитикой трудностей не возникало, а вот с OLAP пришлось разбираться с нуля в том порядке, что я написал. Бета была готова (причем данные в кубах верные и производительность настроена) за 6 недель работы. Проблема донести до понимания высшего начальства, что не за месяц делается такая работа.Интересно, а примет ли ваше начальство как аргумент этот топик? Хотя сам факт, что вы сделали большую часть работы за 6 недель, говорит о невысокой сложности проекта, а более опытный человек сделал бы ещё быстрее :-) так что цифра вашего начальства (1мес) недалека от истины ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2005, 15:14 |
|
||
|
Вопрос про разработку хранилища данных
|
|||
|---|---|---|---|
|
#18+
Начальство в курсе, что перед тем как делать проект, надо было ознакомится с теорией. Я спрашиваю не про чистое время выполнения проекта (сейчас оно у меня оно занимает 3 недели), а про полный цикл из 10-ти пунктов,указанных выше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2005, 15:27 |
|
||
|
Вопрос про разработку хранилища данных
|
|||
|---|---|---|---|
|
#18+
В вашем случае 3 месяца, ориентировочно. 2 - в супер-наилучшем случае. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2005, 15:46 |
|
||
|
Вопрос про разработку хранилища данных
|
|||
|---|---|---|---|
|
#18+
расскажи начальству анек: "При приеме на работу программиста: HR: Ваша степень владения компьютером? прог: в совершенстве HR: Какое количество знаков печатаете в минуту? прог: 500 HR: ????? прог: правда такая фигня получаеться" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2005, 15:55 |
|
||
|
|

start [/forum/topic.php?fid=49&gotonew=1&tid=1870874]: |
0ms |
get settings: |
6ms |
get forum list: |
11ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
41ms |
get topic data: |
8ms |
get first new msg: |
4ms |
get forum data: |
2ms |
get page messages: |
32ms |
get tp. blocked users: |
1ms |
| others: | 229ms |
| total: | 338ms |

| 0 / 0 |
