ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
25 сообщений из 96, страница 2 из 4
  2  все
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982295
invm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
invm
Участник
Владислав Колосов
Это цирк еще тот
А в чем "цирк"?
...
Рейтинг: 0 / 0
21.07.2020, 15:55
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982312
PizzaPizza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PizzaPizza
Участник
Алексей Роза

авторSSD по сравнению с оперативной памятью - это просто какой-то космический слоупок


А процессорный кэш гораздо быстрее, чем оперативка. Почему бы не построить систему из 100500 процессоров и попробовать запихать данные в процессорный кэш? Тоже искусство.

Есть довольно стандартные способы масштабирования ресурсов сервера. А для вашего описания я все равно не могу понять задачи , которые вы ставите.
...
Рейтинг: 0 / 0
21.07.2020, 16:38
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982321
Фотография SIMPLicity_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SIMPLicity_
Участник
PizzaPizza

А процессорный кэш гораздо быстрее, чем оперативка.

Только он забит, как правило, всякой фигнёй
Но идея мне понравилась. Может закопирайтить "In-processor tables"

PS Чорт, есть ещё регистры (и теневые тоже),- так там ещё быстрее всё... declare @table register (EAX bigint, EBX bigint,...)
...
Рейтинг: 0 / 0
21.07.2020, 16:56
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982355
Алексей Роза
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Алексей Роза
Гость
PizzaPizza
Почему бы не построить систему из 100500 процессоров и попробовать запихать данные в процессорный кэш?

патамушта энергозатратно шописдец. биткоины покажутся свечечкой.
...
Рейтинг: 0 / 0
21.07.2020, 18:28
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982394
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexeyvg
Участник
МуМу
Для некоторых банковских систем подобное кеширование осознанно отключают. То есть данные записанные в БД немедленно записываются на диск(происходит замедление, увеличение времени отклика). Но многие данный факт скромненько замалчивают так как сами в жизни ни разу с этим не сталкивались, либо последствия были не существенны.
Это, по моему, стандартная позиция менеджера "не стать крайнем", а не средство обеспечения сохранности данных.
Если в результате чего то страдает хранилище данных, на котором лежит лог, данные будут потеряны, включён кэш, или выключен. Даже рейд при этом не даёт гарантии, бывает же, что ломается кэш, или взрываются датацентры. Впрочем, представить контроллер рейда без кэша невероятно трудно, неужели так делают, это же безумно медленно?

Единственным надёжным вариантом является запись журнала клиентским приложением, типа фискальной памяти банкомата. Собственно, у вас что то в этом роде описано, хотя и не на стороне клиента.
...
Рейтинг: 0 / 0
21.07.2020, 20:46
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982396
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexeyvg
Участник
Алексей Роза
авторВ теории использовать можно. Самые быстрые SSD отстают от нормальной DDR4 примерно на порядок-два.
Есть же промежуточный вариант между SSD и DRAM, называется NVRAM; говорят, результаты впечатляют.
Сиквел их умеет использовать для очереди записи в лог.
...
Рейтинг: 0 / 0
21.07.2020, 20:49
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982402
Алексей Роза
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Алексей Роза
Гость
alexeyvg, чем именно впечатляют?
авторВ более общем смысле, энергонезависимая память — любое устройство компьютерной памяти, или его часть, сохраняющее данные вне зависимости от подачи питающего напряжения или способа активации памяти
это здорово, но сильной проблемы в отключении питания нет. Все новые данные скидываются на диск каждые X секунд.
...
Рейтинг: 0 / 0
21.07.2020, 21:15
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982444
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
invm
Владислав Колосов
Это цирк еще тот
А в чем "цирк"?
Цирк в ненативной поддержке, в том, что механизм имеет неприятные побочные эффекты и ограничения. Нельзя вот так просто перейти на RCSI, требуется, чтобы изначально архитектура и аппаратура были сконструированы с учетом недостатков этого средства. То же касается inmemory таблиц и скомпилированных в своем коде процедур.
...
Рейтинг: 0 / 0
21.07.2020, 23:17
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982445
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
авторДля некоторых банковских систем подобное кеширование осознанно отключают.

Чтобы не отключать кэш, придумали массивы с батарейкой.
...
Рейтинг: 0 / 0
21.07.2020, 23:19
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982490
Фотография МуМу
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МуМу
Участник
Владислав Колосов,Давно дело было. Помнится одного админа за разряженную батарейку уволили:)
...
Рейтинг: 0 / 0
22.07.2020, 08:17
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982512
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alibek B
Участник
МуМу
А теперь вопросы.

Ознакомьтесь с СХД энтерпрайз-уровня.
Там все особенности работы с СУБД проработаны намного глубже (при соответствующем лицензировании) и не нужно изобретать костыли.
...
Рейтинг: 0 / 0
22.07.2020, 09:34
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982513
invm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
invm
Участник
Владислав Колосов
Цирк в ненативной поддержке
Поясните.
Владислав Колосов
механизм имеет неприятные побочные эффекты и ограничения
Какие?
Владислав Колосов
Нельзя вот так просто перейти на RCSI, требуется, чтобы изначально архитектура и аппаратура были сконструированы с учетом недостатков этого средства
Объясните, почему систему, функционируюущую на RC, нельзя перевести на RCSI без изменения ее архитектуры?
...
Рейтинг: 0 / 0
22.07.2020, 09:35
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982520
rahzer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rahzer
Участник
МуМу - откройте для себя уже NVDIMM - и работайте с ней, она с MS Server 2016 поддерживается штатно..
Да, при отключении\либо неработоспособности энергонезависимого модуля кэша - система должна автоматический переходить в сквозную запись (то есть прямо на диски), кто данную опцию отключает принудительно, чтобы система всегда работала с отложенной записью (записью в кэш) - ССЗБ.
И да, профилактические работы и мониторинг системы на предметы ошибок, чтобы исключить подобные вещи, когда винты отказавшие долго не меняют или случай с разряженной батарейкой - тоже надо делать..
Иначе такой результат и будет - админ уволен, контора с упавшим продакшеном и без актуальных бэкапов..
...
Рейтинг: 0 / 0
22.07.2020, 09:44
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982567
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
invm,

зачем Вам что-то объяснять, Вы явно лучше во всем разбираетесь и знаете весь стек проблем. Вы отлично знаете, какие проблемы имеют указанные технологии, но с какой целью задаёте вопросы, не пойму.
...
Рейтинг: 0 / 0
22.07.2020, 10:32
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982583
invm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
invm
Участник
Владислав Колосов,

Все-таки хотелось бы увидеть перечень проблем в архитектуре БД, не позволяющих перейти с RC на RCSI.
...
Рейтинг: 0 / 0
22.07.2020, 10:59
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982613
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
invm,

не проблема, а риск существенного снижения производительности запросов + откатов транзакций, что я и наблюдал. Плюс технические проблемы - выделение дополнительного дискового пространства. Вы об этом прекрасно осведомлены, зачем спрашивать - не пойму.
...
Рейтинг: 0 / 0
22.07.2020, 11:43
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982641
invm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
invm
Участник
Владислав Колосов,

Вы объявили некую технологию "фу-фу-фу", но никаких объективных данных в пользу своего утверждения не приводите, только общие слова.
Я надеялся, что назовете хоть одну архитектурную проблему (а она таки есть), но нет.

Складывается впечатление, что RCSI было включено на БД с данными, замечена некоторая деградация производительности и был навешен ярлык "фу-фу-фу", без попыток понимания работы RCSI.
...
Рейтинг: 0 / 0
22.07.2020, 12:28
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982664
Mr. X
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mr. X
Гость
invm,

Первое, что приходит на ум, это обработка взаимоблокировок. Возвращаемые коды ошибок будут разные и это нужно учитывать. Ну и да, нагрузка по IO на tempdb возрастёт. Да и место нужно больше. Но, начиная с 2019 появились варианты по размещению снимков. А все фундаментальное/архитектурные описано в справке. Зачем тут перечислять?
...
Рейтинг: 0 / 0
22.07.2020, 13:02
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982669
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
invm,

технология-то хорошая, но требует особого подхода. А это снижает область ее применимости. Производственную систему нельзя "взять - и переключить" на неё. Надо _перестраивать_ эту систему, на что требуются разноплановые ресурсы, отсюда и "цирк". Вроде сделали благое дело, но применить его без вреда для себя невозможно.
...
Рейтинг: 0 / 0
22.07.2020, 13:10
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982670
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
Если бы RCSI включалась не для всей базы,а для отдельных запросов, то и вопроса бы не было.
...
Рейтинг: 0 / 0
22.07.2020, 13:12
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982678
invm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
invm
Участник
Владислав Колосов
Производственную систему нельзя "взять - и переключить" на неё. Надо _перестраивать_ эту систему
Что конкретно нужно перестроить?
...
Рейтинг: 0 / 0
22.07.2020, 13:28
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982757
Фотография МуМу
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МуМу
Участник
rahzer, Все что нужно я для себя открыл;)
...
Рейтинг: 0 / 0
22.07.2020, 15:28
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982767
Фотография МуМу
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МуМу
Участник
Alibek B., Общаюсь регулярно с инженерами в том числе разрабатывающие такие решения. Может вы мне чего нового расскажете кроме общих туманных формулировок? А в целом ничего нового(SSD немного поменяла расклады), оперативная память гораздо быстрее диска. Хоть онлайн репликацию сделайте на СХД, вам пользы от нее ноль будет - все равно нужна реплика памяти. Если у вас стоит задача горизонтального масштабирования то чем вам СХД поможет(Ну только если у него время отклика не будет как у памяти)? Рекомендую вам прежде про Numa архитектуру почитать прежде, чем давать советы по СХД;)
...
Рейтинг: 0 / 0
22.07.2020, 15:40
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982801
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
invm
Владислав Колосов
Производственную систему нельзя "взять - и переключить" на неё. Надо _перестраивать_ эту систему
Что конкретно нужно перестроить?

Не включайте почемучку, это не к месту. Вы всё отлично знаете, что требуется перестроить.
...
Рейтинг: 0 / 0
22.07.2020, 17:32
| Ответить | Цитировать | Написать  
Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
    #39982804
invm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
invm
Участник
Владислав Колосов
Не включайте почемучку, это не к месту. Вы всё отлично знаете, что требуется перестроить.
Ну что к месту, а что нет - я сам решу.

Предположим, - я обладаю нужными знаниями. Почему не хотите ответить тем, кто не обладает?
...
Рейтинг: 0 / 0
22.07.2020, 17:50
| Ответить | Цитировать | Написать  
25 сообщений из 96, страница 2 из 4
  2  все
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Размещение БД в оперативной памяти с асинхронной записью на диск(без потери данных)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=46&msg=39982321&tid=1685836]:
 0ms
get settings:
 11ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 36ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 53ms
get tp. blocked users:
 1ms
others: 18ms
total:  154ms
созд. / загр.: 154ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]