powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / Управление процессом разработки ИС [игнор отключен] [закрыт для гостей] / Предоставление данных из БД аналитикам-непрограммистам
24 сообщений из 24, страница 1 из 1
Предоставление данных из БД аналитикам-непрограммистам
    #39961949
Диам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Здравствуйте.
Есть система, которую постоянно допиливают разработчики.
Для получения всяких отчетов поднимаем бэкап на отдельном сервере и даем туда доступ аналитикам. Те в свою очередь с поднятыми базами творят что хотят - завтра все перезатрется из нового бэкапа.

Аналитики, имея описание структуры базы, или просто спрашивая "где взять такие-то данные" строят свои хитрые запросы. Запросы эти настолько хитрые, насколько и неоптимизированные. После этого пишут разработчикам, что, мол "запрос долго работает, почему?"

Создавать выборки по запросам аналитиков самим - мне кажется, плохой вариант в системе без DWH. Сейчас они навыбирают сами себе что хотят и не тратят время программистов. А тут придется им на взаимодействие человека выделять.
Строить хранилище - можно, но придется покупать систему и еще брать людей на разработку и поддержание этого хранилища.

Хочется узнать, как у других построено взаимодействие с аналитиками и предоставление им данных, при условии, что хранилища данных и всяких OLAP решений не внедрено.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39961952
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Диам,

Есть такая профессия, BI аналитик.
Она подразумевает способность писать достаточно оптимизированные запросы для решения своих аналитических задач.

Вы спрашиваете, как без навыков укладки кирпичей заставить людей строить стены, которые будут ровные, не обрушатся и никого не убьют. Странно, не правда ли? :)

Так же, опытный BI-аналитик, расскажет вам, что строить отчёты на бекапе, это колхоз. Обычно создают отчётную копию БД в виде реплики или зеркала. Аналитики при этом не могут вносить изменения в существующую структуру, но могут создавать поверх свои в отдельной схеме, никому не мешая и ничего не нарушая.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39962113
tunknown
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Диам
Для получения всяких отчетов поднимаем бэкап на отдельном сервере и даем туда доступ аналитикам.

Запросы эти настолько хитрые, насколько и неоптимизированные. После этого пишут разработчикам, что, мол "запрос долго работает, почему?"
Есть простое решение и правильное. Простое решение- раз нужно аналитикам, пусть добиваются более мощного компьютера, не обязательно на серверном оборудовании. Лучше- побольше частота, ядра менее важны, если аналитиков не очень много. Побольше кеш процессора, побыстрее память, попроизводительнее диски. Правильное решение, вероятно, будет существенно дороже в любом смысле.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39962178
Диам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо за ответы. Любые предложения еще и бестпрактис приветствуются
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39962395
ЮВ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Диам

Хочется узнать, как у других построено взаимодействие с аналитиками и предоставление им данных, при условии, что хранилища данных и всяких OLAP решений не внедрено.


Имхо, аналитик (постановщик задач) ни с какими БД не работает.
Он решает проблемы по автоматизации некой деятельности.
Например, ему нужен некий аналитический отчет.
Со своим предложением он обращается к администратору БД.
Возможны следующие ответы на его просьбу:
1 в БД нет необходимых данных для нужного отчета. Задача не выполнима;
2 в БД есть необходимые данные, но сложность отчета не позволяет сформировать его только SQL-запросами. Необходимы дополнительные инструментальные средства (например, процедурный язык);
3 в БД есть необходимые данные и отчет может быть сформирован с помощью SQL-запросов, но для его оптимального выполнения необходимо изменить частично схему БД (например, создать некие представления или временные рабочие таблицы);
4 в БД есть необходимые данные и отчет можно сформировать с помощью SQL-запроса. Такой SQL-запрос ему предоставляется
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39962414
Диам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЮВ, я говорю не про постановщиков задач, а про аналитиков, которые работают с данными.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39962961
ЮВ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Диам
ЮВ, я говорю не про постановщиков задач, а про аналитиков, которые работают с данными.

Я исходил из своего понимания функции аналитика информационных систем, а именно:

Системный аналитик в ИТ-сфере чаще всего занимается задачами автоматизации процессов. ... Основные задачи системного аналитика — анализ бизнес-процессов с точки зрения их последующей автоматизации, разработка технических заданий и спецификаций, тестирование программного обеспечения, составление аналитических отчетов.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39963122
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЮВ
Имхо, аналитик (постановщик задач) ни с какими БД не работает.


"Аналитик" -- такой профессии не существует :) это очень общий термин.

Есть системный аналитик, бизнес-аналитик, BI-аналитик. И даже в контексте этих определений могут быть уточнения.

Именно BI-аналитик обязан уметь работать с СУБД, это напрямую связано с его деятельностью.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39963123
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЮВ
Системный аналитик в ИТ-сфере чаще всего занимается задачами автоматизации процессов. ... Основные задачи системного аналитика — анализ бизнес-процессов с точки зрения их последующей автоматизации, разработка технических заданий и спецификаций, тестирование программного обеспечения, составление аналитических отчетов.


Скорее всего в вашем опыте системного аналитика называют в обиходе просто аналитиком, отсюда у вас сложилось впечатление, что аналитик -- это значит постановщик задач и точка.

Расширяйте свой кругозор, не ограничивайтесь только своим личным опытом.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39963290
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Диам
Запросы эти настолько хитрые, насколько и неоптимизированные. После этого пишут разработчикам, что, мол "запрос долго работает, почему?"

Пусть учатся писать запросы. Использовать оконные и аналитические функции.
А разработчики могут проводить code review и предлагать варианты как улучшить.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39963527
ЮВ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hVostt

Скорее всего в вашем опыте системного аналитика называют в обиходе просто аналитиком, отсюда у вас сложилось впечатление, что аналитик -- это значит постановщик задач и точка.


Да, у нас есть люди, которые прекрасно разбираются во всех банковских операциях, но мало понимают в SQL,
и есть те, которые прекрасно владеют языком SQL, но мало чего смыслят в банковском деле.
И их обязанности не пересекаются.

Расширяйте свой кругозор, не ограничивайтесь только своим личным опытом.
И зачем, скажите, программисту вникать в тонкости банковского дела (завтра он может уйти совсем в другую сферу деятельности),
а аналитику - в конструкции SQL.
Пусть каждый совершенствуется в своем деле.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39964342
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЮВ
И зачем, скажите, программисту вникать в тонкости банковского дела (завтра он может уйти совсем в другую сферу деятельности),
а аналитику - в конструкции SQL.
Пусть каждый совершенствуется в своем деле.

Вы ещё напишите, что реально верите в то, что нет программистов, кто вникает в тонкости банковского дела, и аналитиков, кто в конструкции SQL.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39964366
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЮВ
Пусть каждый совершенствуется в своем деле.

Угу. Банкирам компьютеры вообще не нужны, ручка и бумажка их удел.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39964440
ЮВ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий Мух
Вы ещё напишите, что реально верите в то, что нет программистов, кто вникает в тонкости банковского дела, ....

Охотно верю, что "вникающих" программистов - полно.
Особенно когда в реальности наблюдаю цифровизацию - чем больше в каком-то процессе обслуживания компьютеров, тем длиннее очереди. Потому что программисты любят в первую очередь и главным образом себя, а не клиентов.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39964448
ЮВ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov
ЮВ
Пусть каждый совершенствуется в своем деле.

Угу. Банкирам компьютеры вообще не нужны, ручка и бумажка их удел.


Удивительна логика!
Мир уже сотни лет отказался от натурального хозяйства и перешел к разделению труда.
Банкиру нужно знать только как пользоваться компьютером, а не как работает ОС или СУБД.
Аналогично, водитель авто не обязан знать, как разобрать и отремонтировать двигатель, а больному надо обратиться к узкому специалисту-врачу, а не самостоятельно лечиться по книгам.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39964552
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЮВ,

Люди, что вы описываете, конечно существуют, только зп у них поменьше (иногда в разы), чем тех людей, кто разбирается в смежных областях. А то же банковское дело и it - они уже давно смежные.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39964553
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Диам,

проводите обучения, как писать запросы правильно, где также разбирайте типичные ошибки
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39964560
booby
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Диам,
"аналитики" - число множественное, потенциально разнообразное в смысле потребностей
"выделять", оставляя в своем подчинении - делать плохое себе и людям.
Если уж "выделять", то учёного и с переводом в штат аналитиков.

Пусть одной рукой их учит запросы писать, а другой станет и для вас и для руководства единым лицом,
представляющим технические интересы всех аналитиков разом, включая - откуда брать,
как хранилище создавать, так оставить и или вообще всё сломать и т.п. - пусть он
профессионально за это дело болеет, а с вами обсуждает и согласовывает всяки детали и решения.

После чего добиться от руководства прямого запрета для "аналитиков" обращаться к "разработчикам",
минуя выделенное лицо, с вопросами "почему долго работает", и регламентировать порядок обращения с прочими.

Как тебе такой вариант организации взаимодействия, Илон Маск?
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39964562
Диам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
booby, спасибо. Самое ценное предложение )
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39964659
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЮВ
Банкиру нужно знать только как пользоваться компьютером

Написание SQL запросов, как и "окей, гугль" - входят в сферу "пользоваться компьютером". Потому что SQL изначально делался с закосом под естественный язык. А его расширения в OLAP и прочем BI продолжают эту традицию.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39965102
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЮВ
Дмитрий Мух
Вы ещё напишите, что реально верите в то, что нет программистов, кто вникает в тонкости банковского дела, ....

Охотно верю, что "вникающих" программистов - полно.
Особенно когда в реальности наблюдаю цифровизацию - чем больше в каком-то процессе обслуживания компьютеров, тем длиннее очереди. Потому что программисты любят в первую очередь и главным образом себя, а не клиентов.

Забавно :)

А поясните, что значит ваше: "вникать в тонкости банковского дела"?
Самостоятельно решать, что нужно пользователю и как это должно выглядеть и работать?
При этом у пользователей даже не спрашивать о том, полезно-ли им это, удобно?
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39966737
ЮВ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Создавать выборки по запросам аналитиков программистами - мне кажется, плохой вариант в системе без DWH.
Так думает большинство руководителей и ищут специалиста квалификации типа AnуKey (в переводе на русский ”и швец, и жнец, и на дуде игрец”), поэтому в вакансиях выдвигают соответствующие требования типа “Требуется уборщица, способная после своих действий восстановить работоспособность UNIX-систем” .
Что имеем?
Использование всяких OLAP-решений не предполагается.
Создавать выборки по запросам аналитиков программистами – не устраивает, т.к. Аналитики навыбирают сами себе что хотят и не тратят время программистов. А тут придется им на взаимодействие человека выделять.
Остается научить бизнес-аналитиков самих добывать нужные данные.
И они это делают, но
строят свои хитрые запросы. Запросы эти настолько хитрые, насколько и неоптимизированные. После этого пишут разработчикам, что, мол "запрос долго работает, почему?"
В этой ситуации вариант один – научить бизнес-аналитиков еще одной профессии.
Если речь идет о реляционной БД, то это освоить язык баз данных SQL.
Документ “Стандарт SQL” - толстенный талмуд объемом более 1000 страниц. По нему трудно изучить SQL (да и документ не предназначен для этого) – он нужен только программистам, разрабатывающим трансляторы с SQL и реализующих обработку SQL-запросов. Для остальных есть пособия типа “Понимание SQL” или “SQL для ржавых чайников”.
Допустим, бизнес-аналитик освоил азы SQL
Но SQL-запросы для анализа данных
как известно апросы эти настолько хитрые, насколько и неоптимизированные.. Потому что для качественного написания нужна большая практика и не на тестовой (учебной) БД, а на копии рабочей БД.
Да, состряпанные запросы, как правило, неоптимизированные, но транслируются и даже выполняются (правда, иногда часами). На предложение выполнять их в глухое ночное время (когда СУБД не загружена обслуживанием других пользователей) руководство реагирует с кислой рожей.
Да, изучив план выполнения запроса, можно его немного оптимизировать.
Но это не всегда помогает - и тогда в ход должны идти силы “тяжелой артиллерии”, а именно использование всех возможностей и ухищрений, предоставляемых самой СУБД: предопределенные выборки, материализуемые представления, таблицы “в памяти”, временные рабочие накопительные таблицы, секционирование таблиц, кэшируемые запросы (запросы, результат которых СУБД сохраняет у себя и при повторных обращениях к ним результат, в большинстве случае, выдает мгновенно), подсказки (hint) СУБД по выполнению запроса, конфигурирование параметров СУБД под специфику выполняемых запросов и т. п.
Это уже другой уровень квалификации.
Если учесть, что в компьютерных фирмах и ЦОД (центрах обработки данных) нет давки в дверях от толп высокопрофессиональных SQL-программистов и знатоков архитектуры СУБД (их еще поискать), то найти бизнес-аналитика, способного квалифицированно извлекать нужные для анализа данные еще труднее.
Придется потратить время и деньги на его обучение.

После того как бизнес-аналитик получит вторую профессию (станет высококвалифицированным SQL-программистом и администратором СУБД), он найдет себе другое, более привлекательное, по сравнению с вашим, место применения своих способностей.
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39966869
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЮВ
Расширяйте свой кругозор, не ограничивайтесь только своим личным опытом.

И зачем, скажите, программисту вникать в тонкости банковского дела (завтра он может уйти совсем в другую сферу деятельности),
а аналитику - в конструкции SQL.
Пусть каждый совершенствуется в своем деле.

Вы не прочитали внимательно то, что я вам написал.
Бизнес-аналитик ставит задачу, чего нужно бизнесу в конечном счёте.
BI-аналитик разрабатывает отчёты на основе бизнес-аналитики.
Системный аналитик разрабатывает постановку для разработчиков на основе бизнес-аналитики.

Каждый совершенствуется в собственном деле. Разделение труда.
В требованиях для BI аналитика значится хорошее знание SQL, понимание работы баз данных на уровне запросов.

А вы чего хотите-то? )
...
Рейтинг: 0 / 0
Предоставление данных из БД аналитикам-непрограммистам
    #39966870
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЮВ
Удивительна логика!
Мир уже сотни лет отказался от натурального хозяйства и перешел к разделению труда.
Банкиру нужно знать только как пользоваться компьютером, а не как работает ОС или СУБД.
Аналогично, водитель авто не обязан знать, как разобрать и отремонтировать двигатель, а больному надо обратиться к узкому специалисту-врачу, а не самостоятельно лечиться по книгам.


Читайте внимательно пожалуйста о том, что вам пишут.
И не будет когнитивного диссонанса.
...
Рейтинг: 0 / 0
24 сообщений из 24, страница 1 из 1
Форумы / Управление процессом разработки ИС [игнор отключен] [закрыт для гостей] / Предоставление данных из БД аналитикам-непрограммистам
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Читали форум (2): Анонимы (2)
Пользователи онлайн (10): Анонимы (6), Bing Bot 3 мин., RePredeclared 4 мин., Yandex Bot 8 мин., CerebroSQL 8 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]