ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Проектирование базы под большие объемы данных
26 сообщений из 26, показаны все 2 страниц
  все  
Проектирование базы под большие объемы данных
    #39754232
FreeBard
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FreeBard
Участник
Всем доброго времени суток!

На собеседовании задали вопрос - какие есть особенности проектирования и создания базы под очень большие объемы данных.
Не нашелся что ответить.
Кто в теме, просветите по вопросу на будущее..)
Интересуют ответы и со стороны dba и со стороны разработчика
...
Рейтинг: 0 / 0
27.12.2018, 22:25
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754241
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SERG1257
Участник
https://en.wikipedia.org/wiki/Very_large_database

FreeBard со стороны dbaПростейшие вещи типа dbcc, перестройки индексов, бакапа, восстановления и т.п. перестают быть простейшими (ибо длятся неприемлимо долго)
...
Рейтинг: 0 / 0
27.12.2018, 22:49
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754242
PizzaPizza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PizzaPizza
Участник
FreeBard,

Я б решил, что это вопрос с подвохом. Возможно они хотели от вас встречных вопросов по поводу определения "очень большие объемы данных". Например вопрос о способе работы с этими данными: будет ли это dwh или oltp или смешанная система. Какие ожидания по скорости доступа/задержкам. Что им надо от базы собственно из CAP и так далее.
...
Рейтинг: 0 / 0
27.12.2018, 22:51
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754245
FreeBard
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FreeBard
Участник
PizzaPizzaFreeBard,

Я б решил, что это вопрос с подвохом. Возможно они хотели от вас встречных вопросов по поводу определения "очень большие объемы данных". Например вопрос о способе работы с этими данными: будет ли это dwh или oltp или смешанная система. Какие ожидания по скорости доступа/задержкам. Что им надо от базы собственно из CAP и так далее.
Возможно. Я как разработчик не нашелся что ответить..) решил что в основном это в компетенции dba - планирование, какие то предварительные действия с заделом на последующий объем данных.
...
Рейтинг: 0 / 0
27.12.2018, 23:10
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754249
PizzaPizza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PizzaPizza
Участник
FreeBard,

Мне кажется, что работы для dba тут много в любом случае, но основные методики и good practices более менее известны и стандартизованы.
С точки зрения dbd тут уже сложнее, так как надо смотреть на конкретные требования задачи, предлагать решения и обсуждать плюсы и минусы конкретных реализаций.
...
Рейтинг: 0 / 0
27.12.2018, 23:30
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754250
Гавриленко Сергей Алексеевич
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гавриленко Сергей Алексеевич
Участник
Делать так, чтобы работало за приемлемое время и при 100 записях, и при 100 млрд. записей. Желательно сразу.
...
Рейтинг: 0 / 0
27.12.2018, 23:33
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754254
londinium
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
londinium
Участник
авторМне кажется, что работы для dba тут много в любом случае, но основные методики и good practices более менее известны и стандартизованы
А есть какой-то достойный доверия и уважения компендиум по настройке MS SQL Server для очень больших БД?
...
Рейтинг: 0 / 0
27.12.2018, 23:50
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754256
Гавриленко Сергей Алексеевич
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гавриленко Сергей Алексеевич
Участник
londiniumавторМне кажется, что работы для dba тут много в любом случае, но основные методики и good practices более менее известны и стандартизованы
А есть какой-то достойный доверия и уважения компендиум по настройке MS SQL Server для очень больших БД?Т.е. вы исходите из того, что для очень больших БД настройки MSSQL должны принципиально или диаметрально отличаться от настроек для не очень больших БД?
...
Рейтинг: 0 / 0
28.12.2018, 00:01
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754259
PizzaPizza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PizzaPizza
Участник
londiniumавторМне кажется, что работы для dba тут много в любом случае, но основные методики и good practices более менее известны и стандартизованы
А есть какой-то достойный доверия и уважения компендиум по настройке MS SQL Server для очень больших БД?

Думаю, что тут скорее речь не о настройке сервера, а о таких вещах как кластеры репликации alwayson кубернетис схд you-name-it. Когда что имеет смысл применять и как настраивать.
...
Рейтинг: 0 / 0
28.12.2018, 00:13
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754261
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
FreeBardВсем доброго времени суток!

На собеседовании задали вопрос - какие есть особенности проектирования и создания базы под очень большие объемы данных.
Не нашелся что ответить.
Кто в теме, просветите по вопросу на будущее..)
Интересуют ответы и со стороны dba и со стороны разработчика
Со стороны разработчика - активное использование секционирования больших таблиц и файловых групп.
Со стороны DBA - раскладка "архивных" секций крупных таблиц на диски HDD и "свежих" секций на диски SSD, отдельный том (и LUN на дисковой полке) для журнала транзакций, отдельный том под tempdb (самый скоростной), выбивание из руководства бюджета на лицензии SQL Enterprise Edition, подготовка AlwaysOn AvGroups или отказоустойчивого кластера (FCI), регулярное чтение MSDN и согласованное с разработчиками накатывание свежих SP и CU, разворачивание мониторинга с отрисовкой важных показателей, согласованных с разработчиками, на дашбордах и предоставление доступа к ним для разработчиков и службы Service Desk.

Внимательная настройка совместно с разработчиками Resource Governor и разделение всех пользователей такой крупной БД на группы с различным приоритетом доступа к ресурсам сервера.

Для DBA - мониторинг свободного места на томах со всеми файлами БД, включая служебные базы инстанса MSSQL, и рассылка регулярных почтовых уведомлений, в том числе разработчикам (не все смотрят дашборды, а служебную почту читают все).
...
Рейтинг: 0 / 0
28.12.2018, 00:18
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754264
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
FreeBardособенности проектирования и создания базы под очень большие объемы данных.

Поскольку наверняка такая БД будет в группе AlwaysOn - нужно будет заранее продумать, кому к каким репликам давать доступ. И самое главное - минимизировать использование триггеров (потом скажете спасибо еще не один раз).
...
Рейтинг: 0 / 0
28.12.2018, 00:20
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754267
FreeBard
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FreeBard
Участник
Andy_OLAP,
Спасибо!
...
Рейтинг: 0 / 0
28.12.2018, 00:35
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754316
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
FreeBardВсем доброго времени суток!

На собеседовании задали вопрос - какие есть особенности проектирования и создания базы под очень большие объемы данных.
Не нашелся что ответить.
Кто в теме, просветите по вопросу на будущее..)
Интересуют ответы и со стороны dba и со стороны разработчика

Никаких особенностей нет.
Может кроме одной - если не сделаешь индексы, работать не будет вообще
...
Рейтинг: 0 / 0
28.12.2018, 08:14
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754381
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
Никаких особенностей нет.+500.
Любую БД нужно проектировать с учетом вероятного существенного роста.
Заложить возможности прозрачной урезки/архивации данных без потери функциональности.
...
Рейтинг: 0 / 0
28.12.2018, 10:34
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754387
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
StarikNavy
Участник
Andy_OLAP подготовка AlwaysOn AvGroups или отказоустойчивого кластера (FCI), регулярное чтение MSDN и согласованное с разработчиками накатывание свежих SP и CU, разворачивание мониторинга с отрисовкой важных показателей, согласованных с разработчиками, на дашбордах и предоставление доступа к ним для разработчиков и службы Service Desk.

Внимательная настройка совместно с разработчиками Resource Governor и разделение всех пользователей такой крупной БД на группы с различным приоритетом доступа к ресурсам сервера.

с другой стороны эти же требования можно выставить и к работе с мимальной базюлькой, но с архиважной информацией или просто высоконагруженной )
...
Рейтинг: 0 / 0
28.12.2018, 10:38
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754424
Фотография Александр Гладченко
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Александр Гладченко
Участник
Andy_OLAP...Поскольку наверняка такая БД будет в группе AlwaysOn - нужно будет заранее продумать, кому к каким репликам давать доступ. И самое главное - минимизировать использование триггеров (потом скажете спасибо еще не один раз).

AlwaysOn с трудом тянет даже большие базы (~10Tb), а уж очень большие - большой вопрос. Почитайте про ограничения REDO.

Автору топика: SQL Server - дело тонкое..., а когда базы превышают десятки Терабайт, всё становиться на порядок сложнее, и нужно уделять пристальное внимание даже мелочам (в понимании обычных размеров).
Очень многих вещей просто не станет, как то высокой доступности и (зачастую) готовности. Придётся всё "пилить", масштабировать и держаться подальше от виртуализации ;)
...
Рейтинг: 0 / 0
28.12.2018, 11:25
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754502
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
Мое мнение - разработчику разрабатывать как обычно, вопросы большой базы относятся на 99% к архитектору, а не к разработчику. Если работодатель не видит разницы, то лучше откажитесь от этой работы, ибо превратитесь у такого работодателя из специалиста в разнорабочего на подхвате.
...
Рейтинг: 0 / 0
28.12.2018, 13:12
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754510
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
к архитектору, а не к разработчикуМеряние черепов и умничание. Вы небось тот самый архитектор. :)
Речь шла о том, кто разрабатывает конкретную БД.
...
Рейтинг: 0 / 0
28.12.2018, 13:28
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754518
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
L_argo,

в каком смысле умничание? Если вы чего-то не знаете, что это не значит, что остальные также глупы. Требования к компетенциям архитектора БД разительно отличаются от требованиям к разработчику кода и такое понятие, как "разработчик БД", существует лишь на проектах уровня SOHO, но там больших баз нет и в помине.
...
Рейтинг: 0 / 0
28.12.2018, 13:31
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754522
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Danion
Гость
L_argo,

На мой взгляд - действительно структуру создаваемой базы продумывает архитектор. Разработчик реализовывает идеи в плане кода, от админа баз данных нужны рекомендации по отказоустойчивости, настройка бекапирования, мониторинга, настройка идей архитектора по параметрам БД.

Но чаще таких должностей нет. И все настраивается: ок, далее, далее ок.
...
Рейтинг: 0 / 0
28.12.2018, 13:36
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754532
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
FreeBardВсем доброго времени суток!

На собеседовании задали вопрос - какие есть особенности проектирования и создания базы под очень большие объемы данных.
Не нашелся что ответить.
Кто в теме, просветите по вопросу на будущее..)
Интересуют ответы и со стороны dba и со стороны разработчика

Если речь идет о OLTP, то смотрите в сторону Микросервесной архитекруты,
если речь о ХД смотрите в сторону Data Vault и Anchor Model

И такие вещи как партиционирование, колоночные индексы становятся актуальными

Вообще лучше решение не делать одной большой БД
...
Рейтинг: 0 / 0
28.12.2018, 13:44
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754537
FreeBard
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FreeBard
Участник
Владислав КолосовМое мнение - разработчику разрабатывать как обычно, вопросы большой базы относятся на 99% к архитектору, а не к разработчику. Если работодатель не видит разницы, то лучше откажитесь от этой работы, ибо превратитесь у такого работодателя из специалиста в разнорабочего на подхвате.
Это был вопрос скорее на "замер глубины понимания и общей компетенции" ))
...
Рейтинг: 0 / 0
28.12.2018, 13:55
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754538
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
a_voroninFreeBardВсем доброго времени суток!

На собеседовании задали вопрос - какие есть особенности проектирования и создания базы под очень большие объемы данных.
Не нашелся что ответить.
Кто в теме, просветите по вопросу на будущее..)
Интересуют ответы и со стороны dba и со стороны разработчика

Если речь идет о OLTP, то смотрите в сторону Микросервесной архитекруты,
если речь о ХД смотрите в сторону Data Vault и Anchor Model

И такие вещи как партиционирование, колоночные индексы становятся актуальными

Вообще лучше решение не делать одной большой БД
"какие есть особенности проектирования и создания базы под очень большие объемы данных.
Не нашелся что ответить" - автору темы нужно было бы ответить "После назначения меня на должность главного разработчика по созданию базы под очень большой объем данных первым делом я найму себе в заместители Воронина".
...
Рейтинг: 0 / 0
28.12.2018, 13:58
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39754539
FreeBard
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FreeBard
Участник
Andy_OLAPa_voroninпропущено...


Если речь идет о OLTP, то смотрите в сторону Микросервесной архитекруты,
если речь о ХД смотрите в сторону Data Vault и Anchor Model

И такие вещи как партиционирование, колоночные индексы становятся актуальными

Вообще лучше решение не делать одной большой БД
"какие есть особенности проектирования и создания базы под очень большие объемы данных.
Не нашелся что ответить" - автору темы нужно было бы ответить "После назначения меня на должность главного разработчика по созданию базы под очень большой объем данных первым делом я найму себе в заместители Воронина".

В следующий раз так и сделаю..!;))
...
Рейтинг: 0 / 0
28.12.2018, 14:04
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39755100
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
Тонкостей много, например:

Если БД очень большая, то у компании скорее всего имеется тестовая среда, а часто и не одна.
Поэтому нужно продумать размещение данных по ФГ заранее, чтобы оставить на тесте только маленький кусочек данных (например, последние 2 года). Иначе тестовая среда станет золотой по дисковому пространству.

При административных операциях нужно очень сильно обдумать их последствия, иначе можно просто заблочить все на несколько часов.

Но вообще, oltp системы стараются до такого не доводить, просто обрезают их через год-два-пять, а старье отправляется в архив. Поэтому скорее всего вопрос был про отличие oltp-систем и хранаищ данных.
...
Рейтинг: 0 / 0
30.12.2018, 00:35
| Ответить | Цитировать | Написать  
Проектирование базы под большие объемы данных
    #39755119
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexeyvg
Участник
Критикскорее всего вопрос был про отличие oltp-систем и хранаищ данных.Ну, особо большие - расплывчатая формулировка :-) Для OLTP тоже при увеличении размера появляются особенности.

Не знаю, может, спрашивающие хотели понять, работал ли ТС с "базы под очень большие объемы данных"?
Что в его понимании "большие"?
Какая роль была у ТС, он просто участвовал (и тогда какой он получил опыт), или он было один из лидеров проекта (и какие он нашёл решения, подходы для работы с такими базами)?
В общем, вопросы про опыт.
КритикНо вообще, oltp системы стараются до такого не доводить, просто обрезают их через год-два-пять, а старье отправляется в архив.Архив - это, вообще говоря, кусок общей системы, кусок общих данных бизнеса, к которым нужно оставить видоизменённый, но всё же доступ. Так что рассказ про архив будет тоже рассказом "какие есть особенности проектирования и создания базы под очень большие объемы данных"
...
Рейтинг: 0 / 0
30.12.2018, 11:11
| Ответить | Цитировать | Написать  
26 сообщений из 26, показаны все 2 страниц
  все  
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Проектирование базы под большие объемы данных
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]