Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Проектирование базы под большие объемы данных / 25 сообщений из 26, страница 1 из 2
27.12.2018, 22:25
    #39754232
FreeBard
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
Всем доброго времени суток!

На собеседовании задали вопрос - какие есть особенности проектирования и создания базы под очень большие объемы данных.
Не нашелся что ответить.
Кто в теме, просветите по вопросу на будущее..)
Интересуют ответы и со стороны dba и со стороны разработчика
...
Рейтинг: 0 / 0
27.12.2018, 22:49
    #39754241
SERG1257
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
https://en.wikipedia.org/wiki/Very_large_database

FreeBard со стороны dbaПростейшие вещи типа dbcc, перестройки индексов, бакапа, восстановления и т.п. перестают быть простейшими (ибо длятся неприемлимо долго)
...
Рейтинг: 0 / 0
27.12.2018, 22:51
    #39754242
PizzaPizza
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
FreeBard,

Я б решил, что это вопрос с подвохом. Возможно они хотели от вас встречных вопросов по поводу определения "очень большие объемы данных". Например вопрос о способе работы с этими данными: будет ли это dwh или oltp или смешанная система. Какие ожидания по скорости доступа/задержкам. Что им надо от базы собственно из CAP и так далее.
...
Рейтинг: 0 / 0
27.12.2018, 23:10
    #39754245
FreeBard
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
PizzaPizzaFreeBard,

Я б решил, что это вопрос с подвохом. Возможно они хотели от вас встречных вопросов по поводу определения "очень большие объемы данных". Например вопрос о способе работы с этими данными: будет ли это dwh или oltp или смешанная система. Какие ожидания по скорости доступа/задержкам. Что им надо от базы собственно из CAP и так далее.
Возможно. Я как разработчик не нашелся что ответить..) решил что в основном это в компетенции dba - планирование, какие то предварительные действия с заделом на последующий объем данных.
...
Рейтинг: 0 / 0
27.12.2018, 23:30
    #39754249
PizzaPizza
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
FreeBard,

Мне кажется, что работы для dba тут много в любом случае, но основные методики и good practices более менее известны и стандартизованы.
С точки зрения dbd тут уже сложнее, так как надо смотреть на конкретные требования задачи, предлагать решения и обсуждать плюсы и минусы конкретных реализаций.
...
Рейтинг: 0 / 0
27.12.2018, 23:33
    #39754250
Гавриленко Сергей Алексеевич
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
Делать так, чтобы работало за приемлемое время и при 100 записях, и при 100 млрд. записей. Желательно сразу.
...
Рейтинг: 0 / 0
27.12.2018, 23:50
    #39754254
londinium
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
авторМне кажется, что работы для dba тут много в любом случае, но основные методики и good practices более менее известны и стандартизованы
А есть какой-то достойный доверия и уважения компендиум по настройке MS SQL Server для очень больших БД?
...
Рейтинг: 0 / 0
28.12.2018, 00:01
    #39754256
Гавриленко Сергей Алексеевич
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
londiniumавторМне кажется, что работы для dba тут много в любом случае, но основные методики и good practices более менее известны и стандартизованы
А есть какой-то достойный доверия и уважения компендиум по настройке MS SQL Server для очень больших БД?Т.е. вы исходите из того, что для очень больших БД настройки MSSQL должны принципиально или диаметрально отличаться от настроек для не очень больших БД?
...
Рейтинг: 0 / 0
28.12.2018, 00:13
    #39754259
PizzaPizza
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
londiniumавторМне кажется, что работы для dba тут много в любом случае, но основные методики и good practices более менее известны и стандартизованы
А есть какой-то достойный доверия и уважения компендиум по настройке MS SQL Server для очень больших БД?

Думаю, что тут скорее речь не о настройке сервера, а о таких вещах как кластеры репликации alwayson кубернетис схд you-name-it. Когда что имеет смысл применять и как настраивать.
...
Рейтинг: 0 / 0
28.12.2018, 00:18
    #39754261
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
FreeBardВсем доброго времени суток!

На собеседовании задали вопрос - какие есть особенности проектирования и создания базы под очень большие объемы данных.
Не нашелся что ответить.
Кто в теме, просветите по вопросу на будущее..)
Интересуют ответы и со стороны dba и со стороны разработчика
Со стороны разработчика - активное использование секционирования больших таблиц и файловых групп.
Со стороны DBA - раскладка "архивных" секций крупных таблиц на диски HDD и "свежих" секций на диски SSD, отдельный том (и LUN на дисковой полке) для журнала транзакций, отдельный том под tempdb (самый скоростной), выбивание из руководства бюджета на лицензии SQL Enterprise Edition, подготовка AlwaysOn AvGroups или отказоустойчивого кластера (FCI), регулярное чтение MSDN и согласованное с разработчиками накатывание свежих SP и CU, разворачивание мониторинга с отрисовкой важных показателей, согласованных с разработчиками, на дашбордах и предоставление доступа к ним для разработчиков и службы Service Desk.

Внимательная настройка совместно с разработчиками Resource Governor и разделение всех пользователей такой крупной БД на группы с различным приоритетом доступа к ресурсам сервера.

Для DBA - мониторинг свободного места на томах со всеми файлами БД, включая служебные базы инстанса MSSQL, и рассылка регулярных почтовых уведомлений, в том числе разработчикам (не все смотрят дашборды, а служебную почту читают все).
...
Рейтинг: 0 / 0
28.12.2018, 00:20
    #39754264
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
FreeBardособенности проектирования и создания базы под очень большие объемы данных.

Поскольку наверняка такая БД будет в группе AlwaysOn - нужно будет заранее продумать, кому к каким репликам давать доступ. И самое главное - минимизировать использование триггеров (потом скажете спасибо еще не один раз).
...
Рейтинг: 0 / 0
28.12.2018, 00:35
    #39754267
FreeBard
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
Andy_OLAP,
Спасибо!
...
Рейтинг: 0 / 0
28.12.2018, 08:14
    #39754316
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
FreeBardВсем доброго времени суток!

На собеседовании задали вопрос - какие есть особенности проектирования и создания базы под очень большие объемы данных.
Не нашелся что ответить.
Кто в теме, просветите по вопросу на будущее..)
Интересуют ответы и со стороны dba и со стороны разработчика

Никаких особенностей нет.
Может кроме одной - если не сделаешь индексы, работать не будет вообще
...
Рейтинг: 0 / 0
28.12.2018, 10:34
    #39754381
L_argo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
Никаких особенностей нет.+500.
Любую БД нужно проектировать с учетом вероятного существенного роста.
Заложить возможности прозрачной урезки/архивации данных без потери функциональности.
...
Рейтинг: 0 / 0
28.12.2018, 10:38
    #39754387
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
Andy_OLAP подготовка AlwaysOn AvGroups или отказоустойчивого кластера (FCI), регулярное чтение MSDN и согласованное с разработчиками накатывание свежих SP и CU, разворачивание мониторинга с отрисовкой важных показателей, согласованных с разработчиками, на дашбордах и предоставление доступа к ним для разработчиков и службы Service Desk.

Внимательная настройка совместно с разработчиками Resource Governor и разделение всех пользователей такой крупной БД на группы с различным приоритетом доступа к ресурсам сервера.

с другой стороны эти же требования можно выставить и к работе с мимальной базюлькой, но с архиважной информацией или просто высоконагруженной )
...
Рейтинг: 0 / 0
28.12.2018, 11:25
    #39754424
Александр Гладченко
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
Andy_OLAP...Поскольку наверняка такая БД будет в группе AlwaysOn - нужно будет заранее продумать, кому к каким репликам давать доступ. И самое главное - минимизировать использование триггеров (потом скажете спасибо еще не один раз).

AlwaysOn с трудом тянет даже большие базы (~10Tb), а уж очень большие - большой вопрос. Почитайте про ограничения REDO.

Автору топика: SQL Server - дело тонкое..., а когда базы превышают десятки Терабайт, всё становиться на порядок сложнее, и нужно уделять пристальное внимание даже мелочам (в понимании обычных размеров).
Очень многих вещей просто не станет, как то высокой доступности и (зачастую) готовности. Придётся всё "пилить", масштабировать и держаться подальше от виртуализации ;)
...
Рейтинг: 0 / 0
28.12.2018, 13:12
    #39754502
Владислав Колосов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
Мое мнение - разработчику разрабатывать как обычно, вопросы большой базы относятся на 99% к архитектору, а не к разработчику. Если работодатель не видит разницы, то лучше откажитесь от этой работы, ибо превратитесь у такого работодателя из специалиста в разнорабочего на подхвате.
...
Рейтинг: 0 / 0
28.12.2018, 13:28
    #39754510
L_argo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
к архитектору, а не к разработчикуМеряние черепов и умничание. Вы небось тот самый архитектор. :)
Речь шла о том, кто разрабатывает конкретную БД.
...
Рейтинг: 0 / 0
28.12.2018, 13:31
    #39754518
Владислав Колосов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
L_argo,

в каком смысле умничание? Если вы чего-то не знаете, что это не значит, что остальные также глупы. Требования к компетенциям архитектора БД разительно отличаются от требованиям к разработчику кода и такое понятие, как "разработчик БД", существует лишь на проектах уровня SOHO, но там больших баз нет и в помине.
...
Рейтинг: 0 / 0
28.12.2018, 13:36
    #39754522
Danion
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
L_argo,

На мой взгляд - действительно структуру создаваемой базы продумывает архитектор. Разработчик реализовывает идеи в плане кода, от админа баз данных нужны рекомендации по отказоустойчивости, настройка бекапирования, мониторинга, настройка идей архитектора по параметрам БД.

Но чаще таких должностей нет. И все настраивается: ок, далее, далее ок.
...
Рейтинг: 0 / 0
28.12.2018, 13:44
    #39754532
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
FreeBardВсем доброго времени суток!

На собеседовании задали вопрос - какие есть особенности проектирования и создания базы под очень большие объемы данных.
Не нашелся что ответить.
Кто в теме, просветите по вопросу на будущее..)
Интересуют ответы и со стороны dba и со стороны разработчика

Если речь идет о OLTP, то смотрите в сторону Микросервесной архитекруты,
если речь о ХД смотрите в сторону Data Vault и Anchor Model

И такие вещи как партиционирование, колоночные индексы становятся актуальными

Вообще лучше решение не делать одной большой БД
...
Рейтинг: 0 / 0
28.12.2018, 13:55
    #39754537
FreeBard
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
Владислав КолосовМое мнение - разработчику разрабатывать как обычно, вопросы большой базы относятся на 99% к архитектору, а не к разработчику. Если работодатель не видит разницы, то лучше откажитесь от этой работы, ибо превратитесь у такого работодателя из специалиста в разнорабочего на подхвате.
Это был вопрос скорее на "замер глубины понимания и общей компетенции" ))
...
Рейтинг: 0 / 0
28.12.2018, 13:58
    #39754538
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
a_voroninFreeBardВсем доброго времени суток!

На собеседовании задали вопрос - какие есть особенности проектирования и создания базы под очень большие объемы данных.
Не нашелся что ответить.
Кто в теме, просветите по вопросу на будущее..)
Интересуют ответы и со стороны dba и со стороны разработчика

Если речь идет о OLTP, то смотрите в сторону Микросервесной архитекруты,
если речь о ХД смотрите в сторону Data Vault и Anchor Model

И такие вещи как партиционирование, колоночные индексы становятся актуальными

Вообще лучше решение не делать одной большой БД
"какие есть особенности проектирования и создания базы под очень большие объемы данных.
Не нашелся что ответить" - автору темы нужно было бы ответить "После назначения меня на должность главного разработчика по созданию базы под очень большой объем данных первым делом я найму себе в заместители Воронина".
...
Рейтинг: 0 / 0
28.12.2018, 14:04
    #39754539
FreeBard
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
Andy_OLAPa_voroninпропущено...


Если речь идет о OLTP, то смотрите в сторону Микросервесной архитекруты,
если речь о ХД смотрите в сторону Data Vault и Anchor Model

И такие вещи как партиционирование, колоночные индексы становятся актуальными

Вообще лучше решение не делать одной большой БД
"какие есть особенности проектирования и создания базы под очень большие объемы данных.
Не нашелся что ответить" - автору темы нужно было бы ответить "После назначения меня на должность главного разработчика по созданию базы под очень большой объем данных первым делом я найму себе в заместители Воронина".

В следующий раз так и сделаю..!;))
...
Рейтинг: 0 / 0
30.12.2018, 00:35
    #39755100
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование базы под большие объемы данных
Тонкостей много, например:

Если БД очень большая, то у компании скорее всего имеется тестовая среда, а часто и не одна.
Поэтому нужно продумать размещение данных по ФГ заранее, чтобы оставить на тесте только маленький кусочек данных (например, последние 2 года). Иначе тестовая среда станет золотой по дисковому пространству.

При административных операциях нужно очень сильно обдумать их последствия, иначе можно просто заблочить все на несколько часов.

Но вообще, oltp системы стараются до такого не доводить, просто обрезают их через год-два-пять, а старье отправляется в архив. Поэтому скорее всего вопрос был про отличие oltp-систем и хранаищ данных.
...
Рейтинг: 0 / 0
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Проектирование базы под большие объемы данных / 25 сообщений из 26, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]