powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Отчет и DWH
25 сообщений из 33, страница 1 из 2
Отчет и DWH
    #39987419
Фотография medoed
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрый день!

Вопрос больше архитектурный, сейчас в рамках департамента - есть база, в ней хранятся данные, алгоритмы , расчеты (хранимые процедуры на стороне сервера). Данные отображаются для пользователей с помощью репортинга по http.
В будущем возможно построение централизованного хранилища данных.
Соответственно возникает вопрос, как правильно поступить с текущей базой и алгоритмами?:
1) Оставить данные и алгоритмы в текущей базе и ежедневно подливать данные из хранилища (сейчас льются из разных источников).
2) Переделывать алгоритмы и расчета на обращение к данным хранилища.
3) Перенести расчеты и алгоритмы в хранилище/витрину данных и визуализировать отчеты прямо оттуда?

Если у кого есть опыт, поделитесь вашим подходом к организации процесса...
...
Рейтинг: 0 / 0
Отчет и DWH
    #39987462
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
medoed
В будущем возможно построение централизованного хранилища данных.

Эта ваша текущая база уже и есть "централизованное хранилище данных", больше делать уже ничего не надо.
...
Рейтинг: 0 / 0
Отчет и DWH
    #39987471
Фотография medoed
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov
medoed
В будущем возможно построение централизованного хранилища данных.

Эта ваша текущая база уже и есть "централизованное хранилище данных", больше делать уже ничего не надо.

Прозвучало как сарказм...
Моя база описывает процессы одного бизнес подразделения, в будущем может появиться база/хранилище - которое должно содержать данные всех бизнесов (в том числе и мои справочные данные)...
...
Рейтинг: 0 / 0
Отчет и DWH
    #39987472
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Эта ваша текущая база уже и есть "централизованное хранилище данных", больше делать уже ничего не надо. Не всегда. Иногда для нужд репортинга удобно подготавливать данные в отдельных таблицах или даже БД.
Там делать все нужные расчеты и преобразования.

Самые популярные преобразования: отсечение времени от даты и конкатенция неск. тхт-полей в одно.
...
Рейтинг: 0 / 0
Отчет и DWH
    #39987475
Фотография medoed
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
L_argo
Эта ваша текущая база уже и есть "централизованное хранилище данных", больше делать уже ничего не надо.
Не всегда. Иногда для нужд репортинга удобно подготавливать данные в отдельных таблицах или даже БД.
Там делать все нужные расчеты и преобразования.

Самые популярные преобразования: отсечение времени от даты и конкатенция неск. тхт-полей в одно.
Вы за первый из предложенных мной вариантов или другое?
...
Рейтинг: 0 / 0
Отчет и DWH
    #39987562
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
medoed
L_argo
пропущено...
Не всегда. Иногда для нужд репортинга удобно подготавливать данные в отдельных таблицах или даже БД.
Там делать все нужные расчеты и преобразования.

Самые популярные преобразования: отсечение времени от даты и конкатенция неск. тхт-полей в одно.

Вы за первый из предложенных мной вариантов или другое?
Мне пока не очень понятна ваша схема. У вас двусторонний обмен данными ? Хотите сделать единый центр обмена данными (DWH) ?

В целом полезно иметь общее хранилище, где есть подготовленные данные из разных систем.
Синхронизированы справочники, посчитаны итоги за периоды, заготовлены процедуры для репортинга и т.д.
...
Рейтинг: 0 / 0
Отчет и DWH
    #39987604
Фотография medoed
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
L_argo
medoed
пропущено...

Вы за первый из предложенных мной вариантов или другое?
Мне пока не очень понятна ваша схема. У вас двусторонний обмен данными ? Хотите сделать единый центр обмена данными (DWH) ?

В целом полезно иметь общее хранилище, где есть подготовленные данные из разных систем.
Синхронизированы справочники, посчитаны итоги за периоды, заготовлены процедуры для репортинга и т.д.

Ну здесь и сейчас есть база подразделения, которая заливается из разных источников.
Хранилища пока нет, но думаем.
Вопрос, когда появится централизванное хранилище, как поменяются алгоритмы обработки данных и построение отчетов в текущей базе с внедрением dwh...
...
Рейтинг: 0 / 0
Отчет и DWH
    #39987680
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
medoed
Вопрос, когда появится централизованное хранилище, как поменяются алгоритмы обработки данных и построение отчетов в текущей базе с внедрением dwh...


3) Перенести расчеты и алгоритмы в хранилище/витрину данных и визуализировать отчеты прямо оттуда

Почему: если взглянуть на ситуацию с точки зрения перспективы, то что будет с вашей базой, когда уволятся люди, которые ее поддерживают? С вероятностью 99% все это дело неожиданно упадет на подразделение ХД. Лично я несколько раз сталкивался с такой ситуацией, и это довольно неприятно, когда на тебя падает поддержка системы без всякой документации и даже без людей, которые имеют знания о ней.

Поэтому нужно переводить в ХД. Как вариант, чтобы сохранить оперативность разработки, вы можете оставить разработчика вашего функционала в ХД у себя в отделе: то есть задачи он будет получать от вас напрямую, но при этом он должен следовать архитектурным правилам отдела хранилища данных (система хранения кода, правила наименований, документация, релизная политика и прочее).
...
Рейтинг: 0 / 0
Отчет и DWH
    #39987753
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
medoed
Прозвучало как сарказм...

Нет, это реальный взгляд на вещи. Ваша БД уже выполняет функции DWH, создавать новое значит дублировать её функциональность. Как уже сказали - остаться должен только один.

medoed
Моя база описывает процессы одного бизнес подразделения, в будущем может появиться база/хранилище - которое должно содержать данные всех бизнесов (в том числе и мои справочные данные)...

А значит либо для создания такого хранилища достаточно вашу базу расширить (например, добавив идентификатор "бизнеса"), либо придётся данные из неё перелить в хранилище, а её саму удалить насовсем.
...
Рейтинг: 0 / 0
Отчет и DWH
    #39988028
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
medoed
Добрый день!

Вопрос больше архитектурный, сейчас в рамках департамента - есть база, в ней хранятся данные, алгоритмы , расчеты (хранимые процедуры на стороне сервера). Данные отображаются для пользователей с помощью репортинга по http.
В будущем возможно построение централизованного хранилища данных.
Соответственно возникает вопрос, как правильно поступить с текущей базой и алгоритмами?:
1) Оставить данные и алгоритмы в текущей базе и ежедневно подливать данные из хранилища (сейчас льются из разных источников).
2) Переделывать алгоритмы и расчета на обращение к данным хранилища.
3) Перенести расчеты и алгоритмы в хранилище/витрину данных и визуализировать отчеты прямо оттуда?

Если у кого есть опыт, поделитесь вашим подходом к организации процесса...


Без понимания того как будет реализовано Data Lake, что-то сейчас советовать трудно.
Сейчас как бы модно для построения Data Lake лямбда архитектура
Соответственно при её использовании будут изменены реализации алгоритмов расчета данных.

Есть вендорные решения для построения Data Lake, например от IBM или Oracle.
Там по своему реализуется загрузка и расчет данных.

ИМХО надо в начале нужно определиться как вы будете строить свою систему, а там "война план покажет".
...
Рейтинг: 0 / 0
Отчет и DWH
    #39988051
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov
medoed
Прозвучало как сарказм...

Нет, это реальный взгляд на вещи. Ваша БД уже выполняет функции DWH, создавать новое значит дублировать её функциональность. Как уже сказали - остаться должен только один.

medoed
Моя база описывает процессы одного бизнес подразделения, в будущем может появиться база/хранилище - которое должно содержать данные всех бизнесов (в том числе и мои справочные данные)...

А значит либо для создания такого хранилища достаточно вашу базу расширить (например, добавив идентификатор "бизнеса"), либо придётся данные из неё перелить в хранилище, а её саму удалить насовсем.
Опять нет. Это слишком упрощенный и ущербный взгляд.

Да, теоретически все должно быть в одной системе. Но это реально только в крошечной фирме. И то, если все начать сразу.
В больших фирмах обычно большой легаси-зоопарк, запутанные процессы и противоречивые данные. А переход на единую систему попросту невозможен ввиду непомерно сложных, длительных и дорогих процессов реализации с весьма неопределенным результатом.

Поэтому обмен данными и некое единое хранилище для нужд отчетности - популярное решение. Которое, впрочем только увеличивает зоопарковость и усложняет и удорожает управление информацией.
...
Рейтинг: 0 / 0
Отчет и DWH
    #39988133
Фотография medoed
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
L_argo
Dimitry Sibiryakov
пропущено...

Нет, это реальный взгляд на вещи. Ваша БД уже выполняет функции DWH, создавать новое значит дублировать её функциональность. Как уже сказали - остаться должен только один.

пропущено...

А значит либо для создания такого хранилища достаточно вашу базу расширить (например, добавив идентификатор "бизнеса"), либо придётся данные из неё перелить в хранилище, а её саму удалить насовсем.
Опять нет. Это слишком упрощенный и ущербный взгляд.

Да, теоретически все должно быть в одной системе. Но это реально только в крошечной фирме. И то, если все начать сразу.
В больших фирмах обычно большой легаси-зоопарк, запутанные процессы и противоречивые данные. А переход на единую систему попросту невозможен ввиду непомерно сложных, длительных и дорогих процессов реализации с весьма неопределенным результатом.

Поэтому обмен данными и некое единое хранилище для нужд отчетности - популярное решение. Которое, впрочем только увеличивает зоопарковость и усложняет и удорожает управление информацией.

Давайте добавим конкретики. Пусть есть страховая компания в ней есть например ДМС и автострахование. Пусть в каждом бизнесе есть своя программа, уж очень они разные и в одну впихнуть логику не получается, соответственно разные СУБД.
Для обеих программ нужен справочник КЛАДР , можно в каждую программу качать по утру его отдельно(обновления) с сервиса/cайта и т.д. Но можно закачать в единое , центролизованное хранилище (витрину) и уже обеим программам брать справочник из dwh. А можно пойти дальше - все данные из СУБД (дмс и автострахование) по ночам сливать в это хранилище, например клиент он и там и там клиент, далее управленческие отчеты уже строить на базе хранилища. Профитом опять же будет централизация данных и уменьшение нагрузки в виде отчетов на базы бизнесов .
Посему и спрашиваю про ваш аналогичный опыт, про ваши решения, дабы по-максимому избежать ошибок...
...
Рейтинг: 0 / 0
Отчет и DWH
    #39988137
Фотография medoed
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mad_nazgul
medoed
Добрый день!

Вопрос больше архитектурный, сейчас в рамках департамента - есть база, в ней хранятся данные, алгоритмы , расчеты (хранимые процедуры на стороне сервера). Данные отображаются для пользователей с помощью репортинга по http.
В будущем возможно построение централизованного хранилища данных.
Соответственно возникает вопрос, как правильно поступить с текущей базой и алгоритмами?:
1) Оставить данные и алгоритмы в текущей базе и ежедневно подливать данные из хранилища (сейчас льются из разных источников).
2) Переделывать алгоритмы и расчета на обращение к данным хранилища.
3) Перенести расчеты и алгоритмы в хранилище/витрину данных и визуализировать отчеты прямо оттуда?

Если у кого есть опыт, поделитесь вашим подходом к организации процесса...


Без понимания того как будет реализовано Data Lake, что-то сейчас советовать трудно.
Сейчас как бы модно для построения Data Lake лямбда архитектура
Соответственно при её использовании будут изменены реализации алгоритмов расчета данных.

Есть вендорные решения для построения Data Lake, например от IBM или Oracle.
Там по своему реализуется загрузка и расчет данных.

ИМХО надо в начале нужно определиться как вы будете строить свою систему, а там "война план покажет".

Спасибо за ссылки , а там "война план покажет" - может привести к архитектурным просчетам и клепание костылей в будущем, такой подход считаю в корне не верным, извините!
...
Рейтинг: 0 / 0
Отчет и DWH
    #39988173
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
medoed

Спасибо за ссылки , а там "война план покажет" - может привести к архитектурным просчетам и клепание костылей в будущем, такой подход считаю в корне не верным, извините!


Я про это и говорю. В начале нужно понять как и на чем вы будете делать свою отчетную систему.
И уже исходя из этого принимать решения.

Можно, например взять Open Source решения, например, на основе Spark/Hadoop. Здесь один способ загрузки данных и формирования очетов.
А можно взять, например, SAP BI. Здесь совсем другой способ загрузки данных и формирования отчетов.

Причем эти подходы кардинально отличаются (имеют разную архитектуру).
И сложности/проблемы, в зависимости от систем, разные.

Поэтому в начале выбираете как и на чем будете делать аналитическую/отчетную систему.
Это определить архитектуру и соответственно определит как вы будете свою систему в целом.

Поэтому в начале лучше вам изучит как сейчас делают такого рода системы, а уже на основании исследования выбрать что для вас будет удобным.
...
Рейтинг: 0 / 0
Отчет и DWH
    #39988220
Фотография medoed
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mad_nazgul
medoed

Спасибо за ссылки , а там "война план покажет" - может привести к архитектурным просчетам и клепание костылей в будущем, такой подход считаю в корне не верным, извините!


Я про это и говорю. В начале нужно понять как и на чем вы будете делать свою отчетную систему.
И уже исходя из этого принимать решения.

Можно, например взять Open Source решения, например, на основе Spark/Hadoop. Здесь один способ загрузки данных и формирования очетов.
А можно взять, например, SAP BI. Здесь совсем другой способ загрузки данных и формирования отчетов.

Причем эти подходы кардинально отличаются (имеют разную архитектуру).
И сложности/проблемы, в зависимости от систем, разные.

Поэтому в начале выбираете как и на чем будете делать аналитическую/отчетную систему.
Это определить архитектуру и соответственно определит как вы будете свою систему в целом.

Поэтому в начале лучше вам изучит как сейчас делают такого рода системы, а уже на основании исследования выбрать что для вас будет удобным.

Хмм, я то по своей наивности думал, что сначала алгоритмы и ТЗ, а потом уже выбор инструментов для реализации.
По вашему, когда специалист выбирает какую базу выбирать для своей задачи, то он должен посмотреть на Sql Management Studio или на Oracle Sql Developer, посмотреть, что удобней - ту и базу выбрать. :-)
Весьма странное решение, имхо...
...
Рейтинг: 0 / 0
Отчет и DWH
    #39988240
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
medoed
mad_nazgul
пропущено...


Я про это и говорю. В начале нужно понять как и на чем вы будете делать свою отчетную систему.
И уже исходя из этого принимать решения.

Можно, например взять Open Source решения, например, на основе Spark/Hadoop. Здесь один способ загрузки данных и формирования очетов.
А можно взять, например, SAP BI. Здесь совсем другой способ загрузки данных и формирования отчетов.

Причем эти подходы кардинально отличаются (имеют разную архитектуру).
И сложности/проблемы, в зависимости от систем, разные.

Поэтому в начале выбираете как и на чем будете делать аналитическую/отчетную систему.
Это определить архитектуру и соответственно определит как вы будете свою систему в целом.

Поэтому в начале лучше вам изучит как сейчас делают такого рода системы, а уже на основании исследования выбрать что для вас будет удобным.

Хмм, я то по своей наивности думал, что сначала алгоритмы и ТЗ, а потом уже выбор инструментов для реализации.
По вашему, когда специалист выбирает какую базу выбирать для своей задачи, то он должен посмотреть на Sql Management Studio или на Oracle Sql Developer, посмотреть, что удобней - ту и базу выбрать. :-)
Весьма странное решение, имхо...


В первую очередь все зависит, какой планируется объем данных.
Сейчас почти все разговоры - о больших данных.
Но на практике у большинства компаний больших данных нет и не будет в ближайшее время. Поэтому выбирать модные и хайповые решения - не лучшая идея.
...
Рейтинг: 0 / 0
Отчет и DWH
    #39988241
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
medoed

Хмм, я то по своей наивности думал, что сначала алгоритмы и ТЗ, а потом уже выбор инструментов для реализации.
По вашему, когда специалист выбирает какую базу выбирать для своей задачи, то он должен посмотреть на Sql Management Studio или на Oracle Sql Developer, посмотреть, что удобней - ту и базу выбрать. :-)
Весьма странное решение, имхо...


Аналогия не точная.
Тут скорее аналогия с ЯП.
Можно взять условный Python, а можно взять условный Haskel.
Как бы реализация алгоритмов будет достаточно сильно различаться.


В вашем случае, можно выбрать систему работающую "по классической схеме".
Когда данные через ETL загружаются в хранилище данных, где запросами формируются кубы.

А можно "модернистский" подход, когда поток данных прогоняется через системe map-reduce с аггрегациями online.

В зависимости, от того что вы выберите, от этого будет строиться ваша архитектура.
...
Рейтинг: 0 / 0
Отчет и DWH
    #39988286
Фотография medoed
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
s_ustinov
medoed
пропущено...

Хмм, я то по своей наивности думал, что сначала алгоритмы и ТЗ, а потом уже выбор инструментов для реализации.
По вашему, когда специалист выбирает какую базу выбирать для своей задачи, то он должен посмотреть на Sql Management Studio или на Oracle Sql Developer, посмотреть, что удобней - ту и базу выбрать. :-)
Весьма странное решение, имхо...


В первую очередь все зависит, какой планируется объем данных.
Сейчас почти все разговоры - о больших данных.
Но на практике у большинства компаний больших данных нет и не будет в ближайшее время. Поэтому выбирать модные и хайповые решения - не лучшая идея.

Думаю, порядка 300 ГБ суммарно. Самые большие таблицы , их не много и до 100 млн строк. В среднем в таблицах порядка 100 тыс строк. Прирост в справочниках небольшой, если складировать первичку, то тут может быть до 500 Мб в день данных.
За хайпом и модой погони нет, тут вы правы!
...
Рейтинг: 0 / 0
Отчет и DWH
    #39988638
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
medoed
Думаю, порядка 300 ГБ суммарно. Самые большие таблицы , их не много и до 100 млн строк.

Под такую мелочь выбор идёт отталкиваясь от уже имеющейся у заказчика инфраструктуры, в частности - специалистов обслуживания.
...
Рейтинг: 0 / 0
Отчет и DWH
    #39988895
Фотография medoed
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov
medoed
Думаю, порядка 300 ГБ суммарно. Самые большие таблицы , их не много и до 100 млн строк.

Под такую мелочь выбор идёт отталкиваясь от уже имеющейся у заказчика инфраструктуры, в частности - специалистов обслуживания.

Хммм, у вас фенечка такая бросать общие, завуалированные фразы ни о чем? Это для самоутверждения что ли? :-)

Можно было и по русски написать - делайте витрину данных своими силами и берите данные в свои системы оттуда по необходимости.
Схема забора данных, не через шину, а точка-точка.
...
Рейтинг: 0 / 0
Отчет и DWH
    #39989018
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
medoed
у вас фенечка такая бросать общие, завуалированные фразы ни о чем?

Если смысл сообщения от Вас ускользает, это ещё не значит, что его нет.

При старте нового проекта есть две стратегии:
1) Выстроить у заказчика инфраструктуру под используемые в решении технологии.
2) Использовать для решения задачи технологии, уже использующиеся в инфраструктуре заказчика.

Первый путь гораздо дороже, второй сложнее. Поэтому первый выбирают когда бюджет большой, а заказчик нулевой. Второй - когда надо сделать всё на коленке. Ваш случай - очевидно второй вариант.

И нет, 300 гигабайт и 100 миллионов записей это вовсе не "огромные данные" и даже не "склад". При правильном проектировании это потянет и офисный комп с Firebird на борту.
...
Рейтинг: 0 / 0
Отчет и DWH
    #39989052
Фотография medoed
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov
medoed
у вас фенечка такая бросать общие, завуалированные фразы ни о чем?

Если смысл сообщения от Вас ускользает, это ещё не значит, что его нет.

При старте нового проекта есть две стратегии:
1) Выстроить у заказчика инфраструктуру под используемые в решении технологии.
2) Использовать для решения задачи технологии, уже использующиеся в инфраструктуре заказчика.

Первый путь гораздо дороже, второй сложнее. Поэтому первый выбирают когда бюджет большой, а заказчик нулевой. Второй - когда надо сделать всё на коленке. Ваш случай - очевидно второй вариант.

И нет, 300 гигабайт и 100 миллионов записей это вовсе не "огромные данные" и даже не "склад". При правильном проектировании это потянет и офисный комп с Firebird на борту.


Действительно, потянет офисный комп хранилище, если к нему часто будут обращаться, а как же быстродействие и надёжность?
Вы даже SSD диск не посоветовали и что будет c хранилищем, если у этого обычного компа винт ночью накроется или материнка полетит?
Мдеее, вот реально иногда после некоторых советов - жалеешь что спрашивал! :-(
...
Рейтинг: 0 / 0
Отчет и DWH
    #39989313
Фотография medoed
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критик
medoed
Вопрос, когда появится централизованное хранилище, как поменяются алгоритмы обработки данных и построение отчетов в текущей базе с внедрением dwh...


3) Перенести расчеты и алгоритмы в хранилище/витрину данных и визуализировать отчеты прямо оттуда

Почему: если взглянуть на ситуацию с точки зрения перспективы, то что будет с вашей базой, когда уволятся люди, которые ее поддерживают? С вероятностью 99% все это дело неожиданно упадет на подразделение ХД. Лично я несколько раз сталкивался с такой ситуацией, и это довольно неприятно, когда на тебя падает поддержка системы без всякой документации и даже без людей, которые имеют знания о ней.

Поэтому нужно переводить в ХД. Как вариант, чтобы сохранить оперативность разработки, вы можете оставить разработчика вашего функционала в ХД у себя в отделе: то есть задачи он будет получать от вас напрямую, но при этом он должен следовать архитектурным правилам отдела хранилища данных (система хранения кода, правила наименований, документация, релизная политика и прочее).

Пожалуй самое интересное мнение и ответ, спасибо вам за вашу дележку опытом!
...
Рейтинг: 0 / 0
Отчет и DWH
    #39989315
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
medoed
Dimitry Sibiryakov
пропущено...

Если смысл сообщения от Вас ускользает, это ещё не значит, что его нет.

При старте нового проекта есть две стратегии:
1) Выстроить у заказчика инфраструктуру под используемые в решении технологии.
2) Использовать для решения задачи технологии, уже использующиеся в инфраструктуре заказчика.

Первый путь гораздо дороже, второй сложнее. Поэтому первый выбирают когда бюджет большой, а заказчик нулевой. Второй - когда надо сделать всё на коленке. Ваш случай - очевидно второй вариант.

И нет, 300 гигабайт и 100 миллионов записей это вовсе не "огромные данные" и даже не "склад". При правильном проектировании это потянет и офисный комп с Firebird на борту.


Действительно, потянет офисный комп хранилище, если к нему часто будут обращаться, а как же быстродействие и надёжность?
Вы даже SSD диск не посоветовали и что будет c хранилищем, если у этого обычного компа винт ночью накроется или материнка полетит?
Мдеее, вот реально иногда после некоторых советов - жалеешь что спрашивал! :-(

Помню, в середине нулевых картинку видел из дата центра гугла - там стояли самые обычные офисные ПК в качестве серверов. Причем с оптическими дисководами (CD or DVD), хотя они там не нужны от слова совсем.
И статья, что инженеры гугла сразу предполагают возможность поломки любого элемента их инфраструктуры. И поэтому могут собирать из относительно ненадежных элементов (офисных ПК) надежные сервисы.
Так что при желании всё возможно.

Но я нигде не заметил, чтобы вам советовали использовать офисный комп как хранилище.
Просто указали, что с таким объемом данных и офисный комп справится хорошо.
...
Рейтинг: 0 / 0
Отчет и DWH
    #39989369
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
medoed
Действительно, потянет офисный комп хранилище, если к нему часто будут обращаться, а как же быстродействие и надёжность?

Быстродействие обеспечивается правильной структурой БД. Надёжность - надёжным (дублированным) железом и регулярными бэкапами.

medoed
что будет c хранилищем, если у этого обычного компа винт ночью накроется или материнка полетит?

То же, что и с любым другим железом: предстоит немного работы по восстановлению на резервном сервере с сохранившихся данных или бэкапа. Одиночный винт - мелочь, из рейда автоматически подтянется spare или он просто доживёт до утра в деградированном состоянии. Материнка - винты или целое хранилище перестыковываются на резервный комп и всё работает дальше.
...
Рейтинг: 0 / 0
25 сообщений из 33, страница 1 из 2
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Отчет и DWH
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]