powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Hardware [игнор отключен] [закрыт для гостей] / RAID1 & ramdrive
31 сообщений из 31, показаны все 2 страниц
RAID1 & ramdrive
    #37819818
do.Donitoza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Уважаемое сообщество, есть волнующий (мене) вопрос!

А именно:
Будет ли существенно ускорена выборка данных из БД, если построить RAID1 (зеркало) из раздела, созданного в оперативной памяти (ramdrive) и раздела на жестком диске?

Считаем, что используемый жесткий диск - надежен; оперативной памяти у нас достаточно; вопрос автоматического подъема RAID при запуске системы - решен.

Спасибо!
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37819828
Khod
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
do.Donitoza,

Есть много способов отпимизации.
А делать через ж... глупо.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37819868
do.Donitoza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
KhodЕсть много способов отпимизации.


А есть, что-то быстрее чем чтение из оперативной памяти?
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37819985
Khod
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
do.DonitozaА есть, что-то быстрее чем чтение из оперативной памяти?

Вам совсем не нужна надёжность?
Можно на ССД попробовать построить.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37820109
do.Donitoza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Khoddo.DonitozaА есть, что-то быстрее чем чтение из оперативной памяти?

Вам совсем не нужна надёжность?
Можно на ССД попробовать построить.

Под отсутствием надежности Вы понимаете ненадежность жесткого диска? Так он очень даже надежный. Или есть еще что-то о чем я не знаю? Это что-то, я и пытаюсь выяснить.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37820169
Khod
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
do.Donitoza,

Ненадёжность оперативы.
Или вы хотите сказать, что у вас память с коррекцией ошибок?
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37820219
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Khoddo.Donitoza,

Ненадёжность оперативы.
Или вы хотите сказать, что у вас память с коррекцией ошибок?

Память с коррекцией ошибок (ECC) корректирует только одну ошибку.
А вдруг исчезнет озоновый слой и космическое излучение внесёт три ошибки ?
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37820313
do.Donitoza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
defecator,

1. Т.е. коррекция ошибок на HDD лучше чем в оперативной памяти?
2. Средства файловой системы/RAID/СУБД не найдут битые данные штатными средствами контроля ошибок?
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37820314
do.DonitozaУважаемое сообщество, есть волнующий (мене) вопрос!

А именно:
Будет ли существенно ускорена выборка данных из БД, если построить RAID1 (зеркало) из раздела, созданного в оперативной памяти (ramdrive) и раздела на жестком диске?

Считаем, что используемый жесткий диск - надежен; оперативной памяти у нас достаточно; вопрос автоматического подъема RAID при запуске системы - решен.

Спасибо!
А про кэширование в ОЗУ ничего не слышали?
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37820335
do.Donitoza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
кэширование в ОЗУА про кэширование в ОЗУ ничего не слышали?

О каком кэшировании идет речь-то?
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37820362
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вопрос автору - а вы уверены, что можете построить такой raid1? И еще вопрос - вы представляете себе, что такое raid1 и зачем он нужен? По записи, как минимум, скорость у вас будет равна скорости диска.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37820488
do.Donitozaкэширование в ОЗУА про кэширование в ОЗУ ничего не слышали?

О каком кэшировании идет речь-то?
А конкретно о буферном кэше файловой системы слышали?
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37820578
do.Donitoza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Для интересующихся - в качестве раздела для RAID1 используется раздел построенный на hardware RAID10. НО нужно ускориться!
И для меня важно мнение, уважаемого сообщества. Продолжим...

По вопросу кэша:
1. Буферный кэш файловой системы кэширует всё, включая файлы не относящиеся к СУБД/БД. Например, достаточно начать записывать/считывать большой файл и ваш кэш будет задействован в этой задаче;
2. Приоритет распределения памяти для кэширования, ниже приоритета программ запрашивающих память. Т.е. если какой-то программе очень понадобится большой "кусок" памяти - он будет выделен.

По вопросу создания такой системы:
1. Поднимается достаточно просто (например, после перезагрузки системы):
1.1. Поднимаем рэм-диск;
1.2. Запускаем восстанавление развалившегося рэйд1 (синхронизируемся на-рэм диск);
1.3. Всё.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37820614
do.DonitozaДля интересующихся - в качестве раздела для RAID1 используется раздел построенный на hardware RAID10. НО нужно ускориться!
И для меня важно мнение, уважаемого сообщества. Продолжим...

По вопросу кэша:
1. Буферный кэш файловой системы кэширует всё, включая файлы не относящиеся к СУБД/БД. Например, достаточно начать записывать/считывать большой файл и ваш кэш будет задействован в этой задаче;
2. Приоритет распределения памяти для кэширования, ниже приоритета программ запрашивающих память. Т.е. если какой-то программе очень понадобится большой "кусок" памяти - он будет выделен.

1. Не верно. Алгоритмы кэширования сложнее и намного умнее, в частности учитывают частоту обращения к данным.
2. В каждой нормальной СУБД есть собственный буферный кэш, память под который она никому не отдаст. Особенно если например выставлено lock page in memory под Windows.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37820647
do.Donitoza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
1. Не верно. Алгоритмы кэширования сложнее и намного умнее, в частности учитывают частоту обращения к данным.
2. В каждой нормальной СУБД есть собственный буферный кэш, память под который она никому не отдаст. Особенно если например выставлено lock page in memory под Windows.

1. Конечно не верно. Сильно упростил. НО, если бы системе кэширования ОС (операционной системы) можно было бы указать какой файл(ы) гарантированно должен быть в кэше, вне зависимости от того был к нему доступ или нет, то этого поста бы не было. Другими словами: ЧТО кэшировать выбираю не я, а ОС. А мне хочется - наоборот.
2. Да, в нормальной. Да можно. И, возможно, можно указать какую конкретно БД надо загрузить полностью (в какой-то нормальной СУБД).
...А всё же, какие минусы у способа описанного в сабже топика?
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37820711
Edd.Dragon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
do.Donitoza...А всё же, какие минусы у способа описанного в сабже топика?
Основной минус в том, что упершись в этот забавный способ, вы так и не узнаете разнообразных нормальных способов кеширования, потому что прекратите их поиск и изучение так и не начав.

Второй минус в том, что:
1.1. Поднимаем
1.2. Запускаем
1.3. Всё.

так почему же до сих пор вы не подняли тестовую платформу и не потестили свою идею, а ждете мнений? Это выглядит странно... я б не уснул, пока бы не протестил хотя бы на вскидку!
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37820848
Khod
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
do.DonitozaТ.е. коррекция ошибок на HDD лучше чем в оперативной памяти?

При аварийном перезапуски системы вы потеряете все данные в оперативной памяти или можете разрушить базу.
При аврийной перезагрузке системы жёсткому диску пофыиг. А если что и потеряете, то незначительно.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37820913
Sergey Orlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
do.DonitozaДля интересующихся - в качестве раздела для RAID1 используется раздел построенный на hardware RAID10. НО нужно ускориться!

Для того, чтобы ускориться, надо все-таки проанализировать ваше приложение и сервер, может будет достаточно просто это решить переходом с 100 МБ на 1 ГГБ или с HDD на SSD или правильно переписать запросы к базе или добавить памяти или перейти на 64-битное приложение... Может у вас база крутиться под MS SQL Express, который по определению может юзать только 1 гиг памяти и 1 процессор А так все это гадание на кофейной гуще...
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37821092
do.Donitoza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
KhodПри аварийном перезапуски системы вы потеряете все данные в оперативной памяти или можете разрушить базу.
При аврийной перезагрузке системы жёсткому диску пофыиг. А если что и потеряете, то незначительно.
Для этого есть железный массив (пишется-то сразу на два диска: и на диск, и в рэм-драйв). Так, что если я потеряю данные из-за "аварийной перезапуски", то наличие/отсутствие рэм-драйва на ситуацию не повлияет.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37821114
do.Donitoza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Edd.Dragonтак почему же до сих пор вы не подняли тестовую платформу и не потестили свою идею, а ждете мнений? Это выглядит странно... я б не уснул, пока бы не протестил хотя бы на вскидку!

Работает. НО, тестовый стенд - это тестовый стенд...

И вообще, тема соответствует ветке форума и ищется решение на железе (без привязки к СУБД), а не "работа с какой-то конкретной БД и/или оптимизация запросов".
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37821135
Khod
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
do.DonitozaДля этого есть железный массив (пишется-то сразу на два диска: и на диск, и в рэм-драйв). Так, что если я потеряю данные из-за "аварийной перезапуски", то наличие/отсутствие рэм-драйва на ситуацию не повлияет.

Тогда скорость работы определяется наименее скоростным устройством: скоростью работы диска.
И тогда исчезает сякий смысл в данном эксперименте.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37821428
do.Donitoza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
KhodТогда скорость работы определяется наименее скоростным устройством: скоростью работы диска.
И тогда исчезает сякий смысл в данном эксперименте.
Не точно.
Скорость записи на RAID1 , действительно, определяется самым медленным устройством, а вот чтение, разносится одновременно на два диска (разные данные с разных дисков), за счет чего получается прирост производительности при чтении.
В нашем случае, более производительный диск (рэм-драйв) будет отдавать больше данных, чем его более медленный коллега.

Так, что эксперимент имеет смысл!

или...?
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37821521
Khod
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
do.DonitozaТак, что эксперимент имеет смысл!

или...?

Чтение...
Контроллер с ббу.
А ещё лучше - ССД диски.
Надёжность на порядок выше оперативы.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37821544
Edd.Dragon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
do.DonitozaРаботает. НО, тестовый стенд - это тестовый стенд...


авторУважаемое сообщество, есть волнующий (мене) вопрос!

А именно:
Будет ли существенно ускорена выборка данных из БД, если построить RAID1 (зеркало) из раздела, созданного в оперативной памяти (ramdrive) и раздела на жестком диске?

Т.е. работает, но ответ на вопрос не виден?
я чего-то не понимаю...
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37821576
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
do.Donitozaа вот чтение, разносится одновременно на два диска (разные данные с разных дисков), за счет чего получается прирост производительности при чтении.
не все контроллеры чередуют чтение для raid1. Да и при чтении "разнесение" будет эффективно только при параллельных операциях.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37821644
Edd.Dragon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvdo.Donitozaа вот чтение, разносится одновременно на два диска (разные данные с разных дисков), за счет чего получается прирост производительности при чтении.
не все контроллеры чередуют чтение для raid1. Да и при чтении "разнесение" будет эффективно только при параллельных операциях.
Имеется ввиду, что есть ЗЕРКАЛО. Одни и те же данные записаны в памяти и на винте. При чтении автор полагает, что контроллер запросит их с обоих винтов. При этом из памяти они прочтутся в 1000 раз быстрее и отдатутся тут же.


Ну а на самом деле контроллер может поступить так:

- страйп пусть 128 кб.
- запрос на файл размером 256 кб.
- контроллер просит один блок из памяти, второй из винта - первый прочитался в 1000 раз быстрее второго, но кому от этого стало легче? результат - практически тот же как и при рейде из двух винтов.


НО! Я настаиваю все же на том, что автор собрал тестовую систему, а цифрами не делится. Хотя вопрос топика о том, ускорятся ли запросы. Спрашивается, почему автор предлагает погадать и каковы его результаты на тестовой системе.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37821757
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Edd.Dragon, я плюсую твой пост, но вообще с трудом понимаю подробности реализации такой системы (в теории я ее прекрасно представляю).
Автор сказал, что у него есть физический raid 10. Далее, что он взял один из логических дисков на этом raid, и устроил ему raid1 с ram drive. Это вообще возможно, технически? Если такой рэйд софтовый, и винде покласть, главное объединить диски по имени, то теоретически - да.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37821771
Khod
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvно вообще с трудом понимаю подробности реализации такой системы (в теории я ее прекрасно представляю).
Автор сказал, что у него есть физический raid 10. Далее, что он взял один из логических дисков на этом raid, и устроил ему raid1 с ram drive. Это вообще возможно, технически? Если такой рэйд софтовый, и винде покласть, главное объединить диски по имени, то теоретически - да.

Не представляю, как такое можно представить теоретически...
Технически (как ты описал) - полный бред.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #37821915
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
KhodТехнически (как ты описал) - полный бред.
если бы это я описал... а то ведь
do.DonitozaДля интересующихся - в качестве раздела для RAID1 используется раздел построенный на hardware RAID10.
вот мне тоже интересно, как это.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
RAID1 & ramdrive
    #38787937
shentsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
do.Donitoza,
На каком этапе эксперимент, можно в личку или shentsev собака gmail.com
Спасибо.
...
Рейтинг: 0 / 0
RAID1 & ramdrive
    #38788008
rahzer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Смысл эксперементировать, когда уже вендоры объявили об eXFlash DIMMs давненько?
...
Рейтинг: 0 / 0
31 сообщений из 31, показаны все 2 страниц
Форумы / Hardware [игнор отключен] [закрыт для гостей] / RAID1 & ramdrive
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]