ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
16 сообщений из 16, страница 1 из 1
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37429229
Фотография Scott Tiger
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Scott Tiger
Участник
-bash-3.2# uname -srvmpio
Linux 2.6.22.18-Netgear #16 Sun Jun 13 19:54:46 EDT 2010 armv5tejl armv5tejl armv5tejl GNU/Linux

После любого выключения по питанию в messages видим (сегодняшний пример):

Sep 7 12:40:18 axentraserver kernel: md: Autodetecting RAID arrays.
Sep 7 12:40:18 axentraserver kernel: md: autorun ...
Sep 7 12:40:18 axentraserver kernel: md: considering sdb1 ...
Sep 7 12:40:18 axentraserver kernel: md: adding sdb1 ...
Sep 7 12:40:18 axentraserver kernel: md: adding sda1 ...
Sep 7 12:40:18 axentraserver kernel: md: created md0
Sep 7 12:40:18 axentraserver kernel: md: bind<sda1>
Sep 7 12:40:18 axentraserver kernel: md: bind<sdb1>
Sep 7 12:40:18 axentraserver kernel: md: running: <sdb1><sda1>
Sep 7 12:40:19 axentraserver kernel: md: md0: raid array is not clean -- starting background reconstruction
Sep 7 12:40:19 axentraserver kernel: raid1: raid set md0 active with 2 out of 2 mirrors
Sep 7 12:40:19 axentraserver kernel: md: ... autorun DONE.
Sep 7 12:40:19 axentraserver kernel: Freeing init memory: 692K
Sep 7 12:40:19 axentraserver kernel: md: resync of RAID array md0
Sep 7 12:40:19 axentraserver kernel: md: minimum _guaranteed_ speed: 1000 KB/sec/disk.
Sep 7 12:40:19 axentraserver kernel: md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for resync.
Sep 7 12:40:19 axentraserver kernel: md: using 128k window, over a total of 1953124928 blocks.

Спрашивается - какого чёрта? Ресинкается это всё небыстро, ибо загружено прилично, хотя почти только по чтению:

-bash-3.2# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid6] [raid5] [raid4]
md0 : active raid1 sdb1[1] sda1[0]
1953124928 blocks [2/2] [UU]
[=>...................] resync = 9.5% (186419648/1953124928) finish=3583.3min speed=8215K/sec

unused devices: <none>

Как полностью избежать такого поведения? Избежать отключений по питанию нельзя или слишком дорого.

You can drive out nature with a pitchfork
But it always comes roaring back again
...
Рейтинг: 0 / 0
07.09.2011, 15:28
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37429326
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
кто-то умный отключил write-intent bitmap?
http://www.opennet.ru/tips/2398_raid_speed_optimization_linux_mdadm.shtml
...
Рейтинг: 0 / 0
07.09.2011, 16:05
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37429345
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Журавлев Денискто-то умный отключил write-intent bitmap?
http://www.opennet.ru/tips/2398_raid_speed_optimization_linux_mdadm.shtml
а что он теперь включается по умолчанию?
...
Рейтинг: 0 / 0
07.09.2011, 16:14
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37429352
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
netwindЖуравлев Денискто-то умный отключил write-intent bitmap?
http://www.opennet.ru/tips/2398_raid_speed_optimization_linux_mdadm.shtml
а что он теперь включается по умолчанию?
Я использую только Suse последние три года, по умолчанию включено, я даже не подозревал что оно может быть выключено по умолчанию
...
Рейтинг: 0 / 0
07.09.2011, 16:17
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37429360
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
я хотел сказать,
Я использую md только три года, и на Suse по умолчанию включено, я даже не подозревал что оно может быть выключено по умолчанию
...
Рейтинг: 0 / 0
07.09.2011, 16:19
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37429383
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Журавлев Денися хотел сказать,
Я использую md только три года, и на Suse по умолчанию включено, я даже не подозревал что оно может быть выключено по умолчанию
действительно ли это так ? в /proc/mdstat для всех raid1 массивов есть слово "bitmap" ?
это инсталлятор по умолчанию включает или mdadm?
а если добавить новых дисков уже после инсталляции и с помощью mdadm сделать массив?
...
Рейтинг: 0 / 0
07.09.2011, 16:26
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37429394
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
netwindЖуравлев Денися хотел сказать,
Я использую md только три года, и на Suse по умолчанию включено, я даже не подозревал что оно может быть выключено по умолчанию
действительно ли это так ? в /proc/mdstat для всех raid1 массивов есть слово "bitmap" ?
это инсталлятор по умолчанию включает или mdadm?
а если добавить новых дисков уже после инсталляции и с помощью mdadm сделать массив?
не знаю, у меня почему-то везде включено:

Intent Bitmap : Internal

Причем я точно помню что делал на некоторых серверах вручную (на большинстве yast-м)
...
Рейтинг: 0 / 0
07.09.2011, 16:31
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37429507
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
кстати попробовал:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
# df /
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/md1             114034688  81412280  29146828  74% /

# mdadm --grow --bitmap=none  /dev/md1
# mdadm --grow --bitmap=internal  /dev/md1
# dd if=/dev/zero of=/aaaa.000 oflag=direct bs=64k count=10000
655360000 bytes (655 MB) copied, 16.4057 s, 39.9 MB/s

# mdadm --grow --bitmap=none /dev/md1
# dd if=/dev/zero of=/aaaa.000 oflag=direct bs=64k count=10000
655360000 bytes (655 MB) copied, 14.3676 s, 45.6 MB/s

# mdadm --grow --bitmap=internal --bitmap-chunk=131072 /dev/md1 
# dd if=/dev/zero of=/aaaa.000 oflag=direct bs=64k count=10000
655360000 bytes (655 MB) copied, 14.8182 s, 44.2 MB/s

# mdadm --grow --bitmap=none /dev/md1 
# mdadm --grow --bitmap=internal  /dev/md1 
# dd if=/dev/zero of=/aaaa.000 oflag=direct bs=64k count=10000
655360000 bytes (655 MB) copied, 17.8637 s, 36.7 MB/s

# mdadm --grow --bitmap=none  /dev/md1 
# dd if=/dev/zero of=/aaaa.000 oflag=direct bs=64k count=10000
655360000 bytes (655 MB) copied, 15.0907 s, 43.4 MB/s

# mdadm --grow --bitmap=internal --bitmap-chunk=131072 /dev/md1 
# dd if=/dev/zero of=/aaaa.000 oflag=direct bs=64k count=10000
655360000 bytes (655 MB) copied, 14.8529 s, 44.1 MB/s
на рандомах надо еще попробовать
...
Рейтинг: 0 / 0
07.09.2011, 17:23
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37429513
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Журавлев Денис, а че пробовать. пробовали уже . у меня вместо 0-1% iowait - 8-10 %.
...
Рейтинг: 0 / 0
07.09.2011, 17:25
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37429525
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
netwindЖуравлев Денис, а че пробовать. пробовали уже . у меня вместо 0-1% iowait - 8-10 %.в смысле на рандомах?
...
Рейтинг: 0 / 0
07.09.2011, 17:30
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37429671
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Журавлев ДенисnetwindЖуравлев Денис, а че пробовать. пробовали уже . у меня вместо 0-1% iowait - 8-10 %.в смысле на рандомах?
на реальном сервере-хосте для vmware ничего не выдумывая.
...
Рейтинг: 0 / 0
07.09.2011, 18:38
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37429823
Фотография Scott Tiger
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Scott Tiger
Участник
Журавлев Денискто-то умный отключил write-intent bitmap?
http://www.opennet.ru/tips/2398_raid_speed_optimization_linux_mdadm.shtml

Спасибо, включил. "Кто-то умный" - это, видимо, разработчики девайса http://www.netgear.com/home/products/storage/simplesharing/MS2000.aspx
...
Рейтинг: 0 / 0
07.09.2011, 21:39
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37430256
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
потестил рандомную запись. Падение двукратное 1 vs 2, потому что на каждую запись делает запись в битмап, вынесение на 3-й отдельно стоящий диск, выправляет.

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
./fio -name iops -rw=randwrite -bs=4096 -size=10G -iodepth=20 -runtime=100  -directory /testfio -ioengine libaio -direct=1

1. mdadm --grow --bitmap=internal --bitmap-chunk=131072 /dev/md1
  write: io=49732KB, bw=507666 B/s,  iops=123  , runt=100313msec
  write: io=49544KB, bw=500869 B/s,  iops=122  , runt=101290msec

2. mdadm --grow --bitmap=none  /dev/md1
  write: io=74428KB, bw=756799 B/s,  iops=184  , runt=100706msec
  write: io=75464KB, bw=755784 B/s,  iops=184  , runt=102245msec

3. mdadm --grow --bitmap=/mnt/bj  /dev/md1 --force
  write: io=76468KB, bw=782453 B/s,  iops=191  , runt=100074msec
  write: io=75372KB, bw=760673 B/s,  iops=185  , runt=101464msec
...
Рейтинг: 0 / 0
08.09.2011, 11:00
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37430266
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Журавлев Дениспотестил рандомную запись. Падение двукратное 1 vs 2, потому что на каждую запись делает запись в битмап,

как бы далеко от типичной нагрузки. может файл поменьше размером взять?
постоянно помечать один и тот же блок как "грязный" - тупо. должна быть какая-то оптимизация.
...
Рейтинг: 0 / 0
08.09.2011, 11:09
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37430272
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
и опять же, suse (sles) - любимая платформа для оракла. как они это допустили?
...
Рейтинг: 0 / 0
08.09.2011, 11:12
| Ответить | Цитировать | Написать  
Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
    #37430319
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
netwind как бы далеко от типичной нагрузки. может файл поменьше размером взять?
В каком смысле поменьше? Диски уже 3-х терабайтные. Ваши-же виртуалки с вмварью могут лупить рандомно в абсолютно разные участки диска.

netwindпостоянно помечать один и тот же блок как "грязный" - тупо. должна быть какая-то оптимизация.
Постоянно помечаются разные блоки, рандомно меняется 4кб блок размером 128M (при --bitmap-chunk=131072), на 10G вероятность что следующая запись будет в тот-же блок -- очень мала. Я не вижу пути оптимизации.
...
Рейтинг: 0 / 0
08.09.2011, 11:32
| Ответить | Цитировать | Написать  
16 сообщений из 16, страница 1 из 1
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Linux - после сбоя питания всегда пытается сделать reconstruction зеркала
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=25&msg=37430256&tid=1484028]:
 0ms
get settings:
 6ms
get forum list:
 14ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 404ms
get topic data:
 14ms
get forum data:
 3ms
get page messages:
 72ms
get tp. blocked users:
 2ms
others: 218ms
total:  739ms
созд. / загр.: 739ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]