ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Быстрый хеш ?
56 сообщений из 56, показаны все 3 страниц
  все  
Быстрый хеш ?
    #37634181
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Время доброго

Понадобилась задача.

Есть 130К файлов общим объемом 3.2Тб в трех копиях
Сортированные списки файлов совпадают, даты сбиты.
Суммарный размер всех файлов прыгают примерно на тысячные доли процентов (при объеме в терребайты, разница в объеме в сто мегабайт)

Но. Есть подозрение что часть файлов в каждой копии битая.

Как определить, какие именно ?

Пытался намутить md5sum, но она медленная ужасно.
Какие еще могут быть варианты ?


Пока на уме - сделать некое подобие xor-хеша с фибоначи-позициями.
То есть брать позиции 1 2 3 5 8 13... и делать исключающее или.
Теоретически, это быстрее и возможно даже что-то выдаст...

4 8 15 16 23 42
...
Рейтинг: 0 / 0
27.01.2012, 00:13
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37634202
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
Раз уж различия в объемах, так почему бы не проверить идентичность размеров одноименных файлов в каждой из трех копий.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
27.01.2012, 00:31
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37634218
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
размеры не совпадают.

Пока грешу на разные настройки файловых систем (везде ext4)
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
root@sandbox-abc:~/migr/cs# ls -hl /virt/*/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
-rwxr-xr-x 1 root root 49M 2012-01-25 19:15 /virt/cold/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
-rwxr-xr-x 1 root root 49M 2012-01-24 16:50 /virt/data/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
-rwxr-xr-x 1 root root 49M 2012-01-21 13:32 /virt/hold/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
root@sandbox-abc:~/migr/cs# du --block-size=1 /virt/*/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
51195904	/virt/cold/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
51195904	/virt/data/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
51200000	/virt/hold/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
root@sandbox-abc:~/migr/cs# md5sum /virt/*/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
65310d29c88e8839b39685f9b65ea977  /virt/cold/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
65310d29c88e8839b39685f9b65ea977  /virt/data/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
65310d29c88e8839b39685f9b65ea977  /virt/hold/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
...
Рейтинг: 0 / 0
27.01.2012, 00:49
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37634227
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Кароч, я таки запустил хеш на два потока (пока только две копии генерят кеш)

за 50 минут прошло 20к и 29к файлов (хз какого размера суммарно)

оставлю на ночь - посмотрю что будет утром :-)
...
Рейтинг: 0 / 0
27.01.2012, 01:01
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37634265
Мимо проходился
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимо проходился
Гость
Aklinоставлю на ночь - посмотрю что будет утром :-)

Обязательно сообщи результат! Вся страна с замиранием ждет это знаменательное событие!
...
Рейтинг: 0 / 0
27.01.2012, 01:50
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37634305
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
Aklinразмеры не совпадают.

Пока грешу на разные настройки файловых систем (везде ext4)
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
root@sandbox-abc:~/migr/cs# ls -hl /virt/*/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
-rwxr-xr-x 1 root root 49M 2012-01-25 19:15 /virt/cold/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
-rwxr-xr-x 1 root root 49M 2012-01-24 16:50 /virt/data/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
-rwxr-xr-x 1 root root 49M 2012-01-21 13:32 /virt/hold/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
root@sandbox-abc:~/migr/cs# du --block-size=1 /virt/*/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
51195904	/virt/cold/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
51195904	/virt/data/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
51200000	/virt/hold/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
root@sandbox-abc:~/migr/cs# md5sum /virt/*/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
65310d29c88e8839b39685f9b65ea977  /virt/cold/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
65310d29c88e8839b39685f9b65ea977  /virt/data/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
65310d29c88e8839b39685f9b65ea977  /virt/hold/raid/virt/packard/v/q3/q3b/quake3--/baseq3/X3map_v1_final.pk3
Это наверняка "дырки" в файлах (sparse). ls дает размер подразумеваемый, du фактически занимаемый
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
lubomudr@lvl-suse:~> touch a1.tmp
lubomudr@lvl-suse:~> dd if=/dev/random of=a1.tmp bs=1 seek=10000000 count=1
1+0 records in
1+0 records out
1 byte (1 B) copied, 0.000105278 s, 9.5 kB/s
lubomudr@lvl-suse:~> dd if=a1.tmp of=a2.tmp bs=1024
9765+1 records in
9765+1 records out
10000001 bytes (10 MB) copied, 0.0942274 s, 106 MB/s
lubomudr@lvl-suse:~> ls -l a?.tmp
-rw-r--r-- 1 lubomudr users 10000001 Jan 27 10:35 a1.tmp
-rw-r--r-- 1 lubomudr users 10000001 Jan 27 10:36 a2.tmp
lubomudr@lvl-suse:~> du a?.tmp
4       a1.tmp
9768    a2.tmp
lubomudr@lvl-suse:~> rm a?.tmp
cp в некоторых системах по умолчанию умеет обрабатывать эти "дырки" и не копирует лишнее, поэтому здесь использовано dd
...
Рейтинг: 0 / 0
27.01.2012, 03:42
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37634930
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Мимо проходилсяAklin

Обязательно сообщи результат! Вся страна с замиранием ждет это знаменательное событие!

29 несовпадений по хеш :-/

ПРИЧЕМ

две резервных копии (cold и hold) - совпадают между собой

а основная копия (data) - с ними не совпадает :-/
...
Рейтинг: 0 / 0
27.01.2012, 13:32
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37635259
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Aklin, ты хоть что-нибудь гуглишь ? есть cksum.
похоже это crc32
...
Рейтинг: 0 / 0
27.01.2012, 15:54
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37635324
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
netwindAklin, ты хоть что-нибудь гуглишь ? есть cksum.
похоже это crc32

видел вроде, но в на машине еще не установлена и установить не могу - инета нету
...
Рейтинг: 0 / 0
27.01.2012, 16:22
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37635638
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Aklin, да стандартная она. из пакета coreutils
...
Рейтинг: 0 / 0
27.01.2012, 18:07
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37635666
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
Врятли дело в скорости хеша. Мой Core Duo P8600 считает MD5 на скорости > 400 мбайт/с, так что всё скорее всего упирается в диски.
...
Рейтинг: 0 / 0
27.01.2012, 18:18
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37635671
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
МутагенВрятли дело в скорости хеша. Мой Core Duo P8600 считает MD5 на скорости > 400 мбайт/с, так что всё скорее всего упирается в диски.

похоже на то

поэтому я и думал какой-нибудь кеш, который не требует всего файла...
...
Рейтинг: 0 / 0
27.01.2012, 18:20
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37635672
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
netwindAklin, да стандартная она. из пакета coreutils

на моей убунте почему то нет :-(
...
Рейтинг: 0 / 0
27.01.2012, 18:20
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37635722
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
в общем

такое ощущение что повторным копированием этих файлов (их оказалось 30 штук всего, причем разного размера все - от килобайтных до десятков гб) - проблема решилась

хеши md5sum стали совпадать

запустил на ночь md5sum + sha1sum
посмотрю что будет...
...
Рейтинг: 0 / 0
27.01.2012, 18:46
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37644662
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
поднимаю вопрос

ребилдил рейд, увеличил ФС

снова выдает овер 120 ошибок на тех же файлах


в чем может быть проблема ??

пытаюсь сейчас написать програмулину, которая бы сравнивала файлы бинарно и исправляла ошибки при необходимости :-/
...
Рейтинг: 0 / 0
02.02.2012, 18:58
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37644699
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
что интересно - прогонял одновременно и md5 и sha1 хеши.
по md5 - 490 строк различий (примерно - 4 строки это один различающийся файл)
по sha1 - 430строк
...
Рейтинг: 0 / 0
02.02.2012, 19:21
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37644726
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
написал програмулину, побайтово сравнивающую файлы

получилось, что в первом файле который я проверил - не совпадает один блок, причем подрят байты несовпадающие идут :-/
...
Рейтинг: 0 / 0
02.02.2012, 19:40
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37644847
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
интересная статистика расхождений:

я сделал так, что бы выводились блоки. случайное попадание одного символа - не считается.
получилось:

Код: plaintext
1.
2.
3.
4.
5.
6.
diff from  771719680 to  771747721 size     28041
diff from  771747723 to  771751936 size      4213
diff from  772243968 to  772272009 size     28041
diff from  772272011 to  772276224 size      4213
diff from  773292544 to  773320585 size     28041
diff from  773320587 to  773324800 size      4213

блоки 28к отличаются от блоков в 4к двумя совпадающими символами.
если не считать и их - получается весьма и весьма забавная картика :-)
...
Рейтинг: 0 / 0
02.02.2012, 21:48
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37644867
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
а вот отличие на другом, 40гб файле:
Код: plaintext
1.
2.
3.
4.
5.
 [code=plaintext]diff from  44132631040 to  44132663296 size     32256
diff from  44133679616 to  44133711872 size     32256
diff from  45009568256 to  45009600512 size     32256
diff from  45010092544 to  45010124800 size     32256
diff from  45011141120 to  45011173376 size     32256
...
Рейтинг: 0 / 0
02.02.2012, 21:59
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37644952
Ваш капитан очевидность
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ваш капитан очевидность
Гость
Интересно, смешному лунтику Алкину кто-нибудь уже пояснит уже, что у него битая оперативка?
...
Рейтинг: 0 / 0
03.02.2012, 00:12
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37644961
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Ваш капитан очевидностьИнтересно, смешному лунтику Алкину кто-нибудь уже пояснит уже, что у него битая оперативка?

почему именно память а не контроллер ?
...
Рейтинг: 0 / 0
03.02.2012, 00:23
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37644967
Ваш капитан очевидность
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ваш капитан очевидность
Гость
AklinВаш капитан очевидностьИнтересно, смешному лунтику Алкину кто-нибудь уже пояснит уже, что у него битая оперативка?

почему именно память а не контроллер ?

В контроллере есть встроенные механизмы (CRC и прочие), да еще и OS часто следит за этим, а в памяти - нет. При этом даже ECC не спасает.

Подобное поведение было замечено, и не раз, если на сервере криво выставлены тайминги и вообще скорость. Тупо сыпется память, бьются блоки в Oracle.

Метод проверки - .iso файл(ы) записывается в /tmp (tmpfs), потом два раза (ну или 100) считается md5. Если поймал расхождение - ищи косяк в мозгах. В своих в т.ч. (тебе это
особенно актуально). Метод гарантии не дает, кстати. Особенно если в своих.
...
Рейтинг: 0 / 0
03.02.2012, 00:27
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37644993
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Ваш капитан очевидность,

md5 и sha1 на 20 запусков - одинаковы
фот

запущу на ночь новсякей
...
Рейтинг: 0 / 0
03.02.2012, 01:08
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37644995
Ваш капитан очевидность
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ваш капитан очевидность
Гость
AklinВаш капитан очевидность,

md5 и sha1 на 20 запусков - одинаковы
фот

запущу на ночь новсякей

Откуда ты запускал, глупыш? Совсем про tmpfs ничего не понял?

Файл должен целиком залезть в оперативку. Целиком.

Какой дурак проверяет работоспособность отдельного буфера размером в мегабайт при 8 гектарах оперативы, которая просто ничего не делает при этом?

А потом - поменять местами планки, и еще раз прогнать. Объяснять зачем менять?
...
Рейтинг: 0 / 0
03.02.2012, 01:12
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37644999
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Ваш капитан очевидность,

посмотри в зеркало - что ты там видишь ?

 
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
root@sandbox-abc:~/migr/crot/tmp# mount
/dev/md5 on / type ext4 (rw,errors=remount-ro)
proc on /proc type proc (rw,noexec,nosuid,nodev)
none on /sys type sysfs (rw,noexec,nosuid,nodev)
none on /sys/fs/fuse/connections type fusectl (rw)
none on /sys/kernel/debug type debugfs (rw)
none on /sys/kernel/security type securityfs (rw)
none on /dev type devtmpfs (rw,mode=0755)
none on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=0620)
none on /dev/shm type tmpfs (rw,nosuid,nodev)
none on /var/run type tmpfs (rw,nosuid,mode=0755)
none on /var/lock type tmpfs (rw,noexec,nosuid,nodev)
none on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
/dev/md4 on /boot type ext4 (rw)
none on /proc/fs/vmblock/mountPoint type vmblock (rw)
/dev/md2 on /virt/data type ext4 (rw)
/dev/md9 on /virt/hold type ext4 (rw)
/virt/data/raid/torrent on /raid/torrent type none (rw,bind)
/virt/data/raid/jeecard/_laavien on /raid/laavien type none (rw,bind)
/virt/hold/raid on /raid/torrent/help type none (rw,bind)
/virt/data/raid/virt/packard on /raid/packard type none (rw,bind)
tmpfs on /root/migr/crot/tmp type tmpfs (rw,size=5G)
root@sandbox-abc:~/migr/crot/tmp# pwd
/root/migr/crot/tmp
root@sandbox-abc:~/migr/crot/tmp# ls -hs
total 4.4G
4.0K crot  4.4G debian-6.0.3-amd64-DVD-1.iso  4.0K log1  4.0K log5
root@sandbox-abc:~/migr/crot/tmp# free
             total       used       free     shared    buffers     cached
Mem:       8194548    8143972      50576          0      10608    7678472
-/+ buffers/cache:     454892    7739656
Swap:            0          0          0
root@sandbox-abc:~/migr/crot/tmp#
...
Рейтинг: 0 / 0
03.02.2012, 01:18
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37645003
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Ваш капитан очевидностьА потом - поменять местами планки, и еще раз прогнать. Объяснять зачем менять?
проще мемсет тогда запускать, чо
...
Рейтинг: 0 / 0
03.02.2012, 01:22
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37645011
Ваш капитан очевидность
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ваш капитан очевидность
Гость
AklinВаш капитан очевидностьА потом - поменять местами планки, и еще раз прогнать. Объяснять зачем менять?
проще мемсет тогда запускать, чо

Ну ну.
...
Рейтинг: 0 / 0
03.02.2012, 01:42
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37645562
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
root@sandbox-abc:~/migr/crot/tmp# cat log1 | uniq -c
      1 Fri Feb  3 00:54:43 UTC 2012
   1178 4cc4f0515468c56e96ef3d7c0aa57c57e013920f  debian-6.0.3-amd64-DVD-1.iso
root@sandbox-abc:~/migr/crot/tmp# cat log5 | uniq -c
      1 Fri Feb  3 00:54:43 UTC 2012
   1179 231ef6d946ac3864a61c36ab631f6405  debian-6.0.3-amd64-DVD-1.iso
root@sandbox-abc:~/migr/crot/tmp#

еще варианты ?
...
Рейтинг: 0 / 0
03.02.2012, 12:55
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37646039
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
размер битых участков странно совпадает с длиной условной дорожки винчестера на писюке (63 сектора по 512 байт), я бы сюда посмотрел.

ну и для сравнения файлов есть встроенная команда cmp, нет нужды писать чего-то особое.
...
Рейтинг: 0 / 0
03.02.2012, 15:54
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37646610
Ваш капитан очевидность
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ваш капитан очевидность
Гость
Мутагенразмер битых участков странно совпадает с длиной условной дорожки винчестера на писюке (63 сектора по 512 байт), я бы сюда посмотрел.

Куда сюда? Все винчестеры имеют встроенную проверку CRC, она считается при считывании блоков с диска и сверяется с записанной ранее.
...
Рейтинг: 0 / 0
03.02.2012, 22:43
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37646616
Ваш капитан очевидность
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ваш капитан очевидность
Гость
Aklin
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
root@sandbox-abc:~/migr/crot/tmp# cat log1 | uniq -c
      1 Fri Feb  3 00:54:43 UTC 2012
   1178 4cc4f0515468c56e96ef3d7c0aa57c57e013920f  debian-6.0.3-amd64-DVD-1.iso
root@sandbox-abc:~/migr/crot/tmp# cat log5 | uniq -c
      1 Fri Feb  3 00:54:43 UTC 2012
   1179 231ef6d946ac3864a61c36ab631f6405  debian-6.0.3-amd64-DVD-1.iso
root@sandbox-abc:~/migr/crot/tmp#

еще варианты ?

выдай
mount|grep tmp
cat /proc/meminfo
...
Рейтинг: 0 / 0
03.02.2012, 22:47
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37646995
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Мутагенну и для сравнения файлов есть встроенная команда cmp, нет нужды писать чего-то особое.

файлы бинарные и интересно было в первую очередь - несовпадающие "блоки" - поскольку когда я первый раз запустил - заметил что несовпадения идут подряд. это первое. а второе - исправлять пусть даже десяток блоков в файле по 32к - быстрее чем копировать весь много-гб файл целиком...

да и програмулька то... проста...
...
Рейтинг: 0 / 0
04.02.2012, 15:00
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37646996
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Ваш капитан очевидностьвыдай
mount|grep tmp
cat /proc/meminfo

пока запустил мемтест вчера на ночь

при дефолтных настройках - 10 проходов, ошибок нет :-/

попробуйю сейчас повторить тест с tmpfs :-/
...
Рейтинг: 0 / 0
04.02.2012, 15:01
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37647005
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
Ваш капитан очевидность..винчестеры имеют встроенную проверку CRC

Думай, прапор, думай!
Что там ещё есть между файлами и винчестерами? Какой софт?
...
Рейтинг: 0 / 0
04.02.2012, 15:21
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37647032
Ваш капитан очевидность
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ваш капитан очевидность
Гость
МутагенВаш капитан очевидность..винчестеры имеют встроенную проверку CRC

Думай, прапор, думай!
Что там ещё есть между файлами и винчестерами? Какой софт?

Софт? Там лишь дыбьян, который наш лунтик поставил как рабочую систему (ему видать про rhel/centos тоже, никто еще не рассказал).
...
Рейтинг: 0 / 0
04.02.2012, 15:48
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37647039
Мутаген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мутаген
Гость
Думай ещё, прапор, думай!
Где в redhate есть CRC, а в Debian - нет?
...
Рейтинг: 0 / 0
04.02.2012, 15:56
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37647046
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
МутагенКакой софт?

железо, софт и диски описаны здесь --> Подкиньте идей: часть вторая, логическая
...
Рейтинг: 0 / 0
04.02.2012, 16:07
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37647048
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Ваш капитан очевидностьему видать про rhel/centos тоже, никто еще не рассказал

рассказывали, но было немного поздновато

а сейчас желания нет переносить все :-/
...
Рейтинг: 0 / 0
04.02.2012, 16:09
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37647082
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
в догонку
...
Рейтинг: 0 / 0
04.02.2012, 16:43
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37647100
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Ваш капитан очевидностьвыдай
mount|grep tmp
cat /proc/meminfo
Ваш капитан очевидностьAklin
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
root@sandbox-abc:~/migr/crot/tmp# cat log1 | uniq -c
      1 Fri Feb  3 00:54:43 UTC 2012
   1178 4cc4f0515468c56e96ef3d7c0aa57c57e013920f  debian-6.0.3-amd64-DVD-1.iso
root@sandbox-abc:~/migr/crot/tmp# cat log5 | uniq -c
      1 Fri Feb  3 00:54:43 UTC 2012
   1179 231ef6d946ac3864a61c36ab631f6405  debian-6.0.3-amd64-DVD-1.iso
root@sandbox-abc:~/migr/crot/tmp#
еще варианты ?

выдай
mount|grep tmp
cat /proc/meminfo
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
root@sandbox-abc:~/migr/crot/tmp# mount | grep tmp
none on /dev type devtmpfs (rw,mode=0755)
none on /dev/shm type tmpfs (rw,nosuid,nodev)
none on /var/run type tmpfs (rw,nosuid,mode=0755)
none on /var/lock type tmpfs (rw,noexec,nosuid,nodev)
none on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
tmpfs on /root/migr/crot/tmp type tmpfs (rw,size=5G)
root@sandboxcl-abc:~/migr/crot/tmp# cat /proc/meminfo 
MemTotal:        8194548 kB
MemFree:           81908 kB
Buffers:          127092 kB
Cached:          7360596 kB
SwapCached:            0 kB
Active:          4839840 kB
Inactive:        2700840 kB
Active(anon):    4626572 kB
Inactive(anon):      516 kB
Active(file):     213268 kB
Inactive(file):  2700324 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:             0 kB
SwapFree:              0 kB
Dirty:                 4 kB
Writeback:             0 kB
AnonPages:         52992 kB
Mapped:            20568 kB
Shmem:           4574096 kB
Slab:              87248 kB
SReclaimable:      37616 kB
SUnreclaim:        49632 kB
KernelStack:        1920 kB
PageTables:         7012 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:     4097272 kB
Committed_AS:    4801252 kB
VmallocTotal:   34359738367 kB
VmallocUsed:      325216 kB
VmallocChunk:   34359405240 kB
HardwareCorrupted:     0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:        7680 kB
DirectMap2M:     8380416 kB
root@sandbox-abc:~/migr/crot/tmp#

частота - по мойму на автомате (либо на 800мгц должна стоять на память)
тайминги - на мемтест скриншоте есть
...
Рейтинг: 0 / 0
04.02.2012, 17:07
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37647130
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
повторный tmpfs-тест
Код: plaintext
1.
2.
3.
4.
root@sandbox-abc:~/migr/crot/tmp# cat log? | uniq -c
      1 Sat Feb  4 17:07:15 UTC 2012
    100 4f12c9d33123ef16358953f475fc03ca5473601f  debian-6.0.3-amd64-DVD-2.iso
      1 Sat Feb  4 17:07:15 UTC 2012
    100 bcf236e8f7124be61953877654a4e04b  debian-6.0.3-amd64-DVD-2.iso
...
Рейтинг: 0 / 0
04.02.2012, 18:08
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37647131
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
заметил что в целом догадка про блоки 512 верна - все (или почти все) расхождения в блоках - кратны 512...
...
Рейтинг: 0 / 0
04.02.2012, 18:09
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37647195
Ваш капитан очевидность
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ваш капитан очевидность
Гость
МутагенДумай ещё, прапор, думай!
Где в redhate есть CRC, а в Debian - нет?

Куй его знает, я дыбьяном не пользуюсь.
...
Рейтинг: 0 / 0
04.02.2012, 20:07
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37647196
Ваш капитан очевидность
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ваш капитан очевидность
Гость
Aklinповторный tmpfs-тест
Код: plaintext
1.
2.
3.
4.
root@sandbox-abc:~/migr/crot/tmp# cat log? | uniq -c
      1 Sat Feb  4 17:07:15 UTC 2012
    100 4f12c9d33123ef16358953f475fc03ca5473601f  debian-6.0.3-amd64-DVD-2.iso
      1 Sat Feb  4 17:07:15 UTC 2012
    100 bcf236e8f7124be61953877654a4e04b  debian-6.0.3-amd64-DVD-2.iso


У тебя tmpfs не на всю память. Кого ты обмануть собрался?
...
Рейтинг: 0 / 0
04.02.2012, 20:08
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37647198
Ваш капитан очевидность
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ваш капитан очевидность
Гость
AklinМутагенКакой софт?

железо, софт и диски описаны здесь --> Подкиньте идей: часть вторая, логическая

Да, чувак, данные о твоем кулере - это конечно круто.
Ты бы еще модель тумбочки опубликовал, на которой у тебя стоит эта куча дешевого говножелеза.


Дыбьян, raid6 такой raid... аклин такой аклин.

Типичное мышление неудачника в действии.
...
Рейтинг: 0 / 0
04.02.2012, 20:11
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37647201
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Ваш капитан очевидностьУ тебя tmpfs не на всю память. Кого ты обмануть собрался?
Ваш капитан очевидностьAklinповторный tmpfs-тест
Код: plaintext
1.
2.
3.
4.
root@sandbox-abc:~/migr/crot/tmp# cat log? | uniq -c
      1 Sat Feb  4 17:07:15 UTC 2012
    100 4f12c9d33123ef16358953f475fc03ca5473601f  debian-6.0.3-amd64-DVD-2.iso
      1 Sat Feb  4 17:07:15 UTC 2012
    100 bcf236e8f7124be61953877654a4e04b  debian-6.0.3-amd64-DVD-2.iso


У тебя tmpfs не на всю память. Кого ты обмануть собрался?

мемтест проходит
...
Рейтинг: 0 / 0
04.02.2012, 20:15
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37647205
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Ваш капитан очевидностьДыбьян, raid6 такой raid... аклин такой аклин.

Типичное мышление неудачника в действии.

типичное мышление неудачника в действии - это быть профи (понимать больше остальных) и при этом не знать. а неудачником - потому что я так или иначе найду решение пусть даже потерей данных, а ты - как знающий - облажаешься.

так что думай товарещ

а рейд6 - он и в африке рейд6
у меня уже есть как минимум одно неоспоримое преимущество над железякой - я могу перезаписать конфиг рейда поверх "битого" рейда (данные на дисках целы) и поднять данные. на железке такое не пройдет.
...
Рейтинг: 0 / 0
04.02.2012, 20:18
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37649199
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
питание от БП на

на запуске:
11.75-12.05
5.02-5.08

после запуска
12.02-12.05
5.02-5.08
...
Рейтинг: 0 / 0
06.02.2012, 18:59
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37649309
Ваш капитан очевидность
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ваш капитан очевидность
Гость
AklinВаш капитан очевидностьДыбьян, raid6 такой raid... аклин такой аклин.

Типичное мышление неудачника в действии.

типичное мышление неудачника в действии - это быть профи (понимать больше остальных) и при этом не знать. а неудачником - потому что я так или иначе найду решение пусть даже потерей данных, а ты - как знающий - облажаешься.
Да, только одна пичалька. У меня данные не сыпятся, а у тебя - полная жопа.

Aklinтак что думай товарещ
Думать тут не над чем. Неудачник - это судьба.

Aklinа рейд6 - он и в африке рейд6
Вообще-то существуют только два вида рейдов. RAID1 и RAID10. С контроллером на батарейке.
Но ты это опять видать не понял, как и про rhel/centos

Aklinу меня уже есть как минимум одно неоспоримое преимущество над железякой - я могу перезаписать конфиг рейда поверх "битого" рейда (данные на дисках целы) и поднять данные. на железке такое не пройдет.

Ага. Вера - это вещь такая... иррациональная. Как раз тебе в самый раз.
...
Рейтинг: 0 / 0
06.02.2012, 20:52
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37649385
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
итак, новые результаты

за последнее время рейд не ребилдился (ни основной ни резервный). ФС не менялась. в общем ничего не делалось.

с резервного рейда на основной был скопирован (второй копией) 3.2тб блок (все тот же блок) файлов. заново. и просчитаны его хеш-файлы. потом мне на 50к примерно надоело и я остановил. почему?

потому что и так стало понятно, что эксперимент удался (в плохом смысле). были найдены расхождения как минимум десяти файлов.
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
diff from  1195868672 to  1195897344 size     28672
diff from  1196392960 to  1196421632 size     28672[/FIXED

что печально вообще говоря :-(
и дело похоже не в резервном рейде (ибо его хеши совпадают с вторым резервным рейдом и со старыми хешами). что-то творится с основным рейдов, а что я не могу понять. 

пока попробую заменить один возможно проблемный диск, дальше посмотрю что будет :-/
...
Рейтинг: 0 / 0
06.02.2012, 22:17
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37649387
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Ваш капитан очевидностьДа, только одна пичалька. У меня данные не сыпятся, а у тебя - полная жопа.

сколь у меня было ситуаций когда у меня все работает а у других - нет (и наоборот) - не перечислить;
суть про в том, что бы быстро найти причину.


Ваш капитан очевидностьВообще-то существуют только два вида рейдов. RAID1 и RAID10. С контроллером на батарейке.
Но ты это опять видать не понял, как и про rhel/centos
Ваш капитан очевидностьВообще-то существуют только два вида рейдов. RAID1 и RAID10. С контроллером на батарейке.
Но ты это опять видать не понял, как и про rhel/centos
которая стоит как вся моя текущая система в сумме.

неипет меня тратить такие баблосы на решение, которое мне, скорее все, ничего не даст.
хотя бы потому что я планирую через полгода расширять рейд до 10 дисков. а контроллеров сата которые держат такой объем я не нашел за хоть сколько нибудь разумные деньги.


Ваш капитан очевидностьАга. Вера - это вещь такая... иррациональная. Как раз тебе в самый раз.
железные рейды не ломаются - вера еще покруче моей :-)
или с железными рейдами не нужны бекапы ? а ? фирма-производитель возместит убыдки за потерянную инфу ?

если нет, то какой профит в сверхдорогостоящих железках которые котролировать практически сложно ?
...
Рейтинг: 0 / 0
06.02.2012, 22:21
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37649389
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
самое тупое - что я разочаровался
в себе
а именно в том, что поверил в профессиональность одного субъекта, который даже идей подкинуть не может.
который делает по шаблону будучуи уверенным (от слова вера) что шаблон работает.
...
Рейтинг: 0 / 0
06.02.2012, 22:22
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37649577
Ваш капитан очевидность
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ваш капитан очевидность
Гость
Aklinсамое тупое - что я разочаровался
в себе
а именно в том, что поверил в профессиональность одного субъекта, который даже идей подкинуть не может.
который делает по шаблону будучуи уверенным (от слова вера) что шаблон работает.

Какая пичалько. Пойду наемся червячков.
...
Рейтинг: 0 / 0
07.02.2012, 04:25
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37650017
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
у меня есть теория почему сбоила система.

сейчас проведу пару тестов (завершатся они через сутки-двое)...
...
Рейтинг: 0 / 0
07.02.2012, 13:01
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37654607
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aklin
Участник
Aklinу меня есть теория почему сбоила система.

сейчас проведу пару тестов (завершатся они через сутки-двое)...

фокус не удался :-/

сижу дальше думаю...
...
Рейтинг: 0 / 0
09.02.2012, 18:55
| Ответить | Цитировать | Написать  
Быстрый хеш ?
    #37721302
Фотография makkita
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makkita
Участник
кароч

чета я расслабился - были дела и месяц ничо не делал с сервом.

итак. суть эксперимента:

есть рейд5 на 5х1тб дисках (назовем его условно "src" ), есть "новый" рейд6 на 8х2тб дисках ("dst"). ram - рам-диск на 5гб (что влезло - то влезло, что не влезло - идет напрямую src-->dst)
метадата на обоих 1.20
(А) - хеш файла А
Действия
(src) ram dst
src --> ram dst
src (ram) dst
src ram --> dst
src ram (dst)
src ram <-- dst
src (ram) dst

Далее - сравнение всех хеш (четыре штуки).

Собственно результат - все работает :-(

Изначально ставил три гепотезы

1) память
2) контроллер сата
3) ПО.

данный тест - исключил память.
получается что либо проблема в контроллере сата, либо в ПО....
...
Рейтинг: 0 / 0
24.03.2012, 14:38
| Ответить | Цитировать | Написать  
56 сообщений из 56, показаны все 3 страниц
  все  
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Быстрый хеш ?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]