powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Форумы / Hardware [игнор отключен] [закрыт для гостей] / Подкиньте идей: часть вторая, логическая
25 сообщений из 153, страница 5 из 7
Подкиньте идей: часть вторая, логическая
    #37073786
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
практически финальный аккорд

еще добавил PCI контроллер для 4х дисков на базе какого то SIL, сейчас веду их тестирование.
чесна говоря вообще бесит меня этот придурошный контроллер. Когда шел ребил редйа 10, висела вся система, судя по загрузке, основное время - ожидание дисков, т.е. контроллер определенно медленный.
по скорости чтения/записи выдает очень мало - порядка 90/40. Система висит, не скажу что очень, все функции выполняет отлично, но всякие ssh тормозят. самба вроде бы не тормозит, инет идет без лагов.

пытался найти материнскую плату с большим числом pci-e, но либо она будет стоить ок. 7к либо без графики. в общем дурдом.

...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37073856
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Aklinеще добавил PCI контроллер для 4х дисков на базе какого то SIL, сейчас веду их тестирование.
чесна говоря вообще бесит меня этот придурошный контроллер. Когда шел ребил редйа 10, висела вся система, судя по загрузке, основное время - ожидание дисков, т.е. контроллер определенно медленный.
по скорости чтения/записи выдает очень мало - порядка 90/40. Система висит, не скажу что очень, все функции выполняет отлично, но всякие ssh тормозят. самба вроде бы не тормозит, инет идет без лагов

Ай-яй-яй ! А ведь предупреждали: "Не гонись ты, поп, за дешевизной" ))))))
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37073868
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
defecatorAklinеще добавил PCI контроллер для 4х дисков на базе какого то SIL, сейчас веду их тестирование.
чесна говоря вообще бесит меня этот придурошный контроллер. Когда шел ребил редйа 10, висела вся система, судя по загрузке, основное время - ожидание дисков, т.е. контроллер определенно медленный.
по скорости чтения/записи выдает очень мало - порядка 90/40. Система висит, не скажу что очень, все функции выполняет отлично, но всякие ssh тормозят. самба вроде бы не тормозит, инет идет без лагов

Ай-яй-яй ! А ведь предупреждали: "Не гонись ты, поп, за дешевизной" ))))))

назачот
pci-e за 200р тянут неплоха...
pci тупит...
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37073915
exploys
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Aklindefecatorпропущено...


Ай-яй-яй ! А ведь предупреждали: "Не гонись ты, поп, за дешевизной" ))))))

назачот
pci-e за 200р тянут неплоха...
pci тупит...
pci-e за 200р, а марка/модель какая?

Кстати чето у меня на встроенном в мать GIGABYTE P55-UD3L контроллере GIGABYTE GBB36X в зеркале на чтение не происходит никакого ускорения по сравнению с такимже одиночным HDD, хотя по идее параллельно читать бы могло. Ни линейное, ни рандомное.
Вообще обычно на дешевых рейд-контроллерах или софтварных есть ускорение чтения в RAID1?
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37074075
Фотография Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exploysВообще обычно на дешевых рейд-контроллерах или софтварных есть ускорение чтения в RAID1?
Ни на тех, ни на этих...
Вопчем чти тут .
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37074233
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exployspci-e за 200р, а марка/модель какая?
stlab какой то на два порда sata pci-e x1

exploysКстати чето у меня на встроенном в мать GIGABYTE P55-UD3L контроллере GIGABYTE GBB36X в зеркале на чтение не происходит никакого ускорения по сравнению с такимже одиночным HDD, хотя по идее параллельно читать бы могло. Ни линейное, ни рандомное.
Вообще обычно на дешевых рейд-контроллерах или софтварных есть ускорение чтения в RAID1?
не обязательно. иногда даже медленней (контроллер считывает инфу с двух дисков и сверяет...)
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37074329
exploys
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Di_LIneexploysВообще обычно на дешевых рейд-контроллерах или софтварных есть ускорение чтения в RAID1?
Ни на тех, ни на этих...
Вопчем чти тут .
Так вот как раз и читал уже, правда мельком.


RAID1-2HDD-WIN на 15% быстрее одиночного диска(не старого)


RAID1-2HDD-WIN на 57% быстрее одиночного диска
RAID1-2HDD-ich на 61% быстрее одиночного диска

На HD Tune, Crystal Disk Mark, PCMark Vantage
RAID1-2HDD-WIN и одиночный диск на одинаковой скорости. А чипсетный чето слил.

Вроде как пишут, что если чтение идет в два потока, то RAID1 быстрее работает чем одиночный.
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37074337
exploys
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Но где используется эта многопоточность и как попростому её сэмитировать?
Тупо запустил два HDDTune одновременно на линейное чтение, что 1 диск, что RAID1 скорость около 20МБ/c. В линейной чето около сотки средняя. Диски все одинаковые. Контроллер чипсетный от матери GYGABYTE P55-UD3L.
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37074338
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exploysВроде как пишут, что если чтение идет в два потока, то RAID1 быстрее работает чем одиночный.
1) все пишут, но никто не обещаеть. максимум - если вы купите контроллер, а он не пойдет на ваших дисках, то можете вернуть (да и то если звезды сложатся)
2) опять же звезды могут выдать чего угодно. и на разных контроллерах. например на гагабайтной материнке все пучком, а на асус на том же чипсете вообще по нулям...
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37074386
Фотография Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exploysВроде как пишут, что если чтение идет в два потока, то RAID1 быстрее работает чем одиночный.
Ну так и поставь Рапторы.
Вот это будет уже полное счастье.
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37074387
Фотография Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exploysВроде как пишут, что если чтение идет в два потока, то RAID1 быстрее работает чем одиночный.
Если бушь читать не мельком, то увидишь, что автор рассуждает, что один поток считывает из одно диска, а другой - из другого.
В синтетических тестах оно мошь и так.
А на практике?
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37076223
exploys
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Di_LIneexploysВроде как пишут, что если чтение идет в два потока, то RAID1 быстрее работает чем одиночный.
Если бушь читать не мельком, то увидишь, что автор рассуждает, что один поток считывает из одно диска, а другой - из другого.
В синтетических тестах оно мошь и так.
А на практике?
У меня вообще-то в этом и был вопрос :) Может кто-то знает где это применимо на практике?
Про звезды тоже понятно, но тогда главным спецом по рейдам был бы Павел Глоба :) Меня интересуют общие тенденции по увеличению производительности простыми десктопными рейдами от тех кто пробовал.
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37076243
Фотография Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exploysМеня интересуют общие тенденции по увеличению производительности простыми десктопными рейдами от тех кто пробовал.
Вот жеж балбесик... :-)
В журнале Хакере была подробная статья о файл-сервере. Что, куда, зачем и почему.
Читал? Тогда юзай поиск.
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37082784
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вапрос к товарищам любителям атомных серверов.

Есть система на базе E5200 (пень dc), что очень сильнее чем тот же атом.
4гб памяти ddr2 800
Если на эту систему поставить сильную видеокартку класса 470 или 6850, то потянет ли оно BD 3d (которое в 2-4 раза тяжелей по битрейту чем простой 1080p)

?
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37083086
Фотография Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Aklin BD 3d (которое в 2-4 раза тяжелей по битрейту чем простой 1080p)?
А кто это?
VideoДижитал штоле?


AklinЕсли на эту систему поставить сильную видеокартку класса 470 или 6850, то потянет ли оно BD 3d (которое в 2-4 раза тяжелей по битрейту чем простой 1080p)
? Куда потянет? 8-0
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37083135
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Di_LIneAklin BD 3d (которое в 2-4 раза тяжелей по битрейту чем простой 1080p)?
А кто это?
VideoДижитал штоле?


AklinЕсли на эту систему поставить сильную видеокартку класса 470 или 6850, то потянет ли оно BD 3d (которое в 2-4 раза тяжелей по битрейту чем простой 1080p)
? Куда потянет? 8-0
bd - blu-ray disk
воппроизвести сможет без тормозов ?
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37088378
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
тестдля удобства далее буду называть
zero -- /dev/zero -- простой быстрый буфер в памяти
sys -- диск, 7200 на терр, ФС ext4 (важно: во время тестов md4,5,6,7,8, sdx,y на нем стояла система, на остальных - не стояла)
md4 -- рейд5 на трех гриновых (5400 или 5900) дисках по 2тб, ФС ext4
md6 -- рейд10 на 4х гриновых (5400 или 5900) дисках, ФС ext3 или ext4
md7 -- то же, только raid5
md8 -- то же, только raid0
sdx,y -- диски из рейда md6/7/8
md2 -- рейд5 на 5 2тб гриновых дисках (тех же)
md3 -- рейд10 на 4 1тб гриновых дисках

копируется 10гб или 20гб файл, при этом дополнительно идет измерение времени cp для оценки адекватности того, что показывает dd

Код: plaintext
1.
dd if=X of=Y bs=1M count= 10000 
Intel P4dc E5200 2.5ГГц, 4гб 800мгц
ОС ubuntu 10.4.1 server x64,

W -- чтение из того, что в левом столбце --> в то, что в верхней строке
R -- наоборот

W/R sdh ext4 md4 ext4 md6 ext4 md7 ext4 md7 ext3 md8 ext4 md8 ext3 sdx ext4 sdx ext3 sdy ext4 sdy ext3 md2 ext4 md3 ext4 zero 111/110 72/110 165/220 106/189 65/182 335/250 208/220 109/100 81/98 133/118 70/110 146/223 181/186 sys 53/53 64/85 109/96 92/105 68/101 113/107 104/110 100/104 75/87 100/106 71/100 md4 85/64 29/29 106/67 84/68 62/66 95/65 78/63 89/63 73/64 93/63 69/63 - - md3 - - - - - - - - - - -

upd


перетасовка дисков (подробности в спойлере)
что интересно - скорость raid5 в зависимости от количества дисков растет... (md4 - raid5 на 3х дисках, md7 - на тех же 4х, md2 - на тех же 5ти)


Систему я удачно уронил, пытаясь отделить бут и вынести его в отдельный раздел что бы затем все это повесить на два raid1 (для / и для /boot). В итоге я тупо переустановил систему на рейды, скопировал настройки, все вроде работает (пока почему то не запускается веб-сервер на виртуалке, хотя сама сеть на виртуалке работает...). Итого:
(все рейды - mdadm) (пишу отчасти что бы потом не забыть)

diskraidmdmountcommentsd[fe]1 raid1 md4 /boot md4 - другой не тот что в первых тестахsd[fe]2 raid1 md5 / md5 - другой не тот что в первых тестахsd[fegh]3 4*swap (есть идея запихать все свапы в рейд 10 но пока думаю)sd[fegh]4 raid10 md3 /virt тут будут хранится виртуалки и некоторые архивыsd[abcdi]1 raid5 md2 /raid основная файлопомойка. есть идея в будущем увеличить до 7-8 дисков. возможно перейти на raid6sdj1 /mnt/old_disk старый системный раздел


перетасовка дисков позволила отключить три диска, что были подключены на pci контроллер, теперь все диски только на мамке и двух pci-e x1
основной рейд также виден по самбе.
файловые системы: везде ext4

линейное чтение/запись основного рейда - ~220/146 мбайт/с (гонял 80гб пустышку)
но самба дает 20+-2мбайт
сейчас тестирую raid10, еще надо будет их одновременно запустить, что бы загрузить шину как следует...

пока идеи - попробовать простейший ftp открыть (для локалки, для внешки есть sftp) и посмотреть скорость на нем...
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37089022
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
тесткопируется файл от 2 до 80гб
Код: plaintext
dd if=X of=Y bs=1M count= 10000 
CPU: Intel Pdc E5200 2.5ГГц, MEM: 4гб 800мгц, MB: Asus P5QL-CM, SATA: 6x MB + 2x SIL3132 (pci-e x1, 2sata)
ОС ubuntu 10.4.1 server x64,

W -- чтение из того, что в левом столбце --> в то, что в верхней строке
R -- наоборот

первая волна тестов
zero -- /dev/zero -- простой быстрый буфер в памяти
sda -- диск, 7200 на терр, ФС ext4 (на момент первой волны с этого диска запущена ОС)
md4 -- рейд5 на трех гриновых (5400 или 5900) дисках по 2тб, ФС ext4
md6 -- рейд10 на 4х гриновых (5400 или 5900) дисках, ФС ext3 или ext4
md7 -- то же, только raid5
md8 -- то же, только raid0
sdx,y -- диски из рейда md6/7/8
W/R sda ext4 md4 ext4 md6 ext4 md7 ext4 md7 ext3 md8 ext4 md8 ext3 sdx ext4 sdx ext3 sdy ext4 sdy ext3 zero 111/110 72/110 165/220 106/189 65/182 335/250 208/220 109/100 81/98 133/118 70/110 sda 53/53 64/85 109/96 92/105 68/101 113/107 104/110 100/104 75/87 100/106 71/100 md4 85/64 29/29 106/67 84/68 62/66 95/65 78/63 89/63 73/64 93/63 69/63

вторая волна
zero -- /dev/zero -- простой быстрый буфер в памяти
sda -- диск, 7200 на терр, ФС ext4 (на момент второй волны ОС запущена с другого диска)
md2 -- рейд5 на 5 2тб гриновых дисках (тех же)
md3 -- рейд10 на 4 1тб гриновых дисках
W/R sda ext4 md2 ext4 md3 ext4 zero 102/106 146/223 181/186 sda 46.5/46.5 110/108 105/103 md2 108/110 48.6/48.6 167/113 md3 103/105 113/167 89.4/89.4
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37089071
exploys
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А random read/write с блоком 64К не пробовали?
Для Raid0/1/5/10
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37089081
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exploysА random read/write с блоком 64К не пробовали?
Для Raid0/1/5/10
если скажите, как провести данный тест, проведу.

поиск сказал, что приличных средств тестирования из-под консольного линуха нет (
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37121665
Фотография Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Модератор: еще одно сообщение не в тему и ветка будет закрыта
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37609221
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
самое забавное, что примерно через две-три недели после этих тестов материнская плата сдохла


у меня сейчас стоит вопрос - сейчас стоит рейд5 с 6 2тб дисков.
хочу добавить еще два диска 2тб. Вопрос меня мучает - делать рейд6 или рейд5 увеличивать?

данных дохера и терять низзя... :-/
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37609228
Khod
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Aklinданных дохера и терять низзя... :-/

Это бессмыленно.
Копии всегда делать надо, а тем более при изменении конфигурации рейда.
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37609232
Фотография Aklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
KhodЭто бессмыленно.
Копии всегда делать надо, а тем более при изменении конфигурации рейда.

9тб ??? мне 9тб некуда положить =/
...
Рейтинг: 0 / 0
Подкиньте идей: часть вторая, логическая
    #37609243
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Aklinмне 9тб некуда положитьНо при этом надо хранить? Не проще скачивать по потребности и удалять по просмотру? Явно ведь как минимум 90% из этих терабайтов есть в торрентах. Терзают меня смутные сомнения, что ты лично сгенерировал десяток терабайт уникальной/интересной/ценной информации. :)
...
Рейтинг: 0 / 0
25 сообщений из 153, страница 5 из 7
Форумы / Hardware [игнор отключен] [закрыт для гостей] / Подкиньте идей: часть вторая, логическая
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]