powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / Hardware [игнор отключен] [закрыт для гостей] / RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
25 сообщений из 34, страница 1 из 2
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36957243
Nika_s
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день!

Задумались над покупкой серверов SuperMicro. Много хорошего о них слышали, функционал и цена устраивают, но есть пара вопросов насчет RAID. Не могу нигде найти ответа.
Вендор и официальный сайт пишут, что это аппаратное решение. Но знакомые говорят, что это не так.

Ориентируемся вот на эту модель:
http_://www.supermicro.com/products/system/1U/5016/SYS-5016I-MT.cfm

Там сказано, что на мат. плате есть контроллер "6Gbps LSI 2008". Он поддерживает RAID 0, 1, 10.
Никаких изысков типа ReadAhead, WriteBack, RAID5/6 не требуется. Хотим использовать SAS Либо SATA диски (по 4 ШТ в сервер).

Поступила информация, что это программное решение (рейд-контроллер). И для RAID и тем более горячей замены требуется поддержка этих ф-ий в ОС.
Так ли это?

Я до этого работал с HP Proliant. Там, например, также интегрированный контроллер P410 умел все это, и ничего от ОС не требовалось. Просто ОС видела диск определенного объема, я мог в любой момент в 10м рейде подойти, вынуть дохлый диск, и вставить другой. Все работало отлично. Автоматически стартовал ребилд.

Вот вопросы:
1) Смогу ли я также менять диски в этом сервере SuperMicro ("нагорячую", с авторебилдом)? ОС будут серверные (Server 2008, RH, FreeBSD 8).
2) Какова производительность этого решения? Будет ли нагружаться CPU? Смогу ли я, например, при конфигурации raid 10 рассчитывать на скорость записи 1х, и на скорость чтения 2х? x - скорость работы диска.
Время ребилда RAID1 не будет переваливать за сутки? (диски SATA 1TB).
3) Есть еще конкурент этому серверу от Dell. Там стоит контроллер SAS 6i/R. Он, вроде, основан на "LSI 1068e". Будет ли этот RAID-контроллер лучше, чем у SuperMicro? Чем эти 2 варианта вообще различаются? Еще бы к сравнению добавить P410 от HP, не учитывая его ф-ий, связанных с наличием кеша. Просто для сравнения, т.к. я с ним работал.

Заранее спасибо всем, кто ответит.
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36957360
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Nika_s,

LSI SAS2008 - софтовый, по сути, RAID.
HP Smart Array P410(i) - изначально аппаратный, и не интегрированный - а просто сразу установленный в базовую модель :) Его стоимость, соответственно, входит в стоимость базовой модели. И то, есть вариант без кэша, который тоже такой же по функциональности, как SAS2008. И - да, 6i/R - то же самое.
Собственно, и у Dell, и у НР, ЕМНИП, чипы контроллеров - от LSI :) Для разных - разные: есть 1068е, который 3GB SAS HBA с функционалом софтового RAID (Fusion MPT), есть SAS2008, который все то же самое - только SAS 6G, есть нормальные аппаратные RAID (включая ROC - RAID-on-chip LSISAS2108 со всем функционалом RAID, 512 MB кэша и поддержкой батарейки).

1) Да, но это ограничение не софтового/аппаратного RAID, а наличие соответствующего бэкплейна.
2) Нормальная производительность.
На производительность массива как сумму производительности дисков нет смысла рассчитывать вообще ни на каком RAID, вне зависимости от того, софтовый он или аппаратный: слишком много факторов на нее влияют.

Вы расскажите, для чего конкретно используется RAID-контроллер. А то Никаких изысков типа ReadAhead, WriteBack, RAID5/6 не требуется - свидетельствует о полном непонимании принципов и назначения RAID.
Для какой задачи используется сервер и конкретно его дисковая подсистема ?
Для разных задач, понятно, разные решения могут оказаться лучшими.
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36957719
Nika_s
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
a_shats,

Спасибо за подробные ответы.

a_shatsВы расскажите, для чего конкретно используется RAID-контроллер. А то "Никаких изысков типа ReadAhead, WriteBack, RAID5/6 не требуется" - свидетельствует о полном непонимании принципов и назначения RAID.
Для какой задачи используется сервер и конкретно его дисковая подсистема ?
Для разных задач, понятно, разные решения могут оказаться лучшими.


Про RA, WriteBack и RAID 5\6 я написал, т.к., по моему мнению, эти функции определяют аппаратную сложность контроллера. Для этих ф-ий нужен кеш, батарейка, аппаратный калькулятор контрольных сумм. Хотел сказать, что речь идет о дешевом оборудовании ))

Основная задача RAID в моем случае - это обеспечение HA. Если так можно выразиться про дисковый массив. Мы занимаемся администрированием серверов. О том, какие задачи выполняет сервер, мы даже не догадываемся. Может там БД, фронтэнд, бекап-сервер, почтовик, АД, да все что угодно.

Для нас главное, чтобы "вылеты" дисков не влияли на бесперебойность работы сервера. Т.е. нужна конфигурация, при которой мы бы могли "нагорячую" поменять диск из массива 1/10.
Причем этот вылет и замена не должны приводить к остановке работы ПО. Пусть даже минимальной.

Надеюсь, понятно объяснил)

Если я правильно понял, конфигурация с LSI2008 на борту и соответствующими бэкплейн нам подойдет для наших задач. Это так?

И еще раз спасибо.
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36957818
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Nika_sa_shats,

Спасибо за подробные ответы.

Про RA, WriteBack и RAID 5\6 я написал, т.к., по моему мнению, эти функции определяют аппаратную сложность контроллера. Для этих ф-ий нужен кеш, батарейка, аппаратный калькулятор контрольных сумм. Хотел сказать, что речь идет о дешевом оборудовании ))
Собственно, "аппаратность" RAID определяется наличием считалки/управляющего процессора (иногда бывают объединены, на внутренних - всегда)/кэша (в ROC тоже бывает на чипе)
Теперь, собственно, что такое перечисленное.
Read-Ahead - упреждающее чтение. Обычно кэш контроллера сильно меньше объемов данных, с которыми он работает. От наличия и изощренности алгоритмов RA зависит производительность RAID-контроллера на чтение. Понятно, что софтовый контроллер никакого RA не выполняет - ибо некуда.
WriteBack - отложенная запись. Нынешние аппаратные контроллеры с включенным WB имеют производительность на запись в разы выше, чем с отключенным - но не на любой нагрузке. Опять-таки, софтовому контроллеру кэшировать блоки на запись негде.
RAID5/6 - собственно, они и являются самой суровой нагрузкой на считалку контроллера. При этом, надо четко понимать: все остальные уровни RAID тоже создают нагрузку на считалку или - если софтовые - на CPU. В любом случае.
Все перечисленное - это атрибуты только аппаратных контроллеров. Если оно Вам не нужно - аппаратный контроллер Вам не нужен тоже. Именно поэтому и был вопрос.
Основная задача RAID в моем случае - это обеспечение HA. Если так можно выразиться про дисковый массив. Мы занимаемся администрированием серверов. О том, какие задачи выполняет сервер, мы даже не догадываемся. Может там БД, фронтэнд, бекап-сервер, почтовик, АД, да все что угодно.
High Availability никакой одной железкой никогда не обеспечивается.
RAID-контроллер обеспечивает только - и исключительно - устойчивость к сбою/отказу любого одного диска в любой дисковой группе. И - все.
HA - это несколько другое.
Для нас главное, чтобы "вылеты" дисков не влияли на бесперебойность работы сервера. Т.е. нужна конфигурация, при которой мы бы могли "нагорячую" поменять диск из массива 1/10.
Причем этот вылет и замена не должны приводить к остановке работы ПО. Пусть даже минимальной.

Надеюсь, понятно объяснил)

Если я правильно понял, конфигурация с LSI2008 на борту и соответствующими бэкплейн нам подойдет для наших задач. Это так?

И еще раз спасибо.
Все перечисленное нормальное выполняется даже на софтовом RAID средствами ОС - при наличии хотсвопной корзины (в которой и стоит помянутый мной бэкплейн - платка, допускающая подключение и отключение дисков на-горячую).

Реальная, а не придуманная разница между софтовыми и аппаратными контроллерами, в следующем:
- нагрузка на CPU: понятно, что софтовый грузит больше.
- производительность: на случайный доступ мелкими блоками во много потоков рулит аппаратный RAID, на последовательный доступ большими блоками в единицы потоков - софтовый.
Иными словами, под СУБД лучше аппаратный RAID , а для видеомонтажа - софтовый. В порядке примеров.
- средства восстановления после серьезных/нетривиальных отказов: у софтовых RAID оных средств тупо нет.
Примеры таких отказов: умирание мат.платы/контроллера, вылет 2 дисков в RAID5.

Вот оцените все перечисленное - и только потом принимайте решение о комплектации сервера.
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36957963
Nika_s
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
a_shats Все перечисленное нормальное выполняется даже на софтовом RAID средствами ОС - при наличии хотсвопной корзины (в которой и стоит помянутый мной бэкплейн - платка, допускающая подключение и отключение дисков на-горячую).

Для нашей задачи рейд средствами ОС не подходит. Мы работаем на другом уровне. Нам, на самом деле, может быть и неизвестно, что за ОС стоит на сервере. Мы не имеем доступа к ОС. Мы не можем сконфигурировать РЕЙД средствами ОС.
Мы только при начальном сетапе можем настроить БИОС, и потом физически менять диски, если видим, что что-то вылетело (индикация).

Нужный бэкплейн в сервере, который мы рассматриваем, есть.

Я до сих пор не могу понять, какие такие функции должна поддерживать ОС, чтобы работал рейд и хот-свап. Речь идет о контроллере LSI 2008.

a_shatsВот оцените все перечисленное - и только потом принимайте решение о комплектации сервера.
Оценил. Нам нужен сервер с поддержкой рейд, способный делать заркалирование и горячую замену. Причем независимо от ОС. Чтобы можно было диск заменить простым "достал диск, вставил новый диск". Без всяких приседаний со стороны ОС. И чтобы ОС "не почуствовала" вылета/замены диска. Ну максимум, производительность упала бы, это нормально.
Подойдет нам "LSI SAS 2008" ?

Спасибо
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36957974
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Nika_sa_shats Все перечисленное нормальное выполняется даже на софтовом RAID средствами ОС - при наличии хотсвопной корзины (в которой и стоит помянутый мной бэкплейн - платка, допускающая подключение и отключение дисков на-горячую).

Для нашей задачи рейд средствами ОС не подходит. Мы работаем на другом уровне. Нам, на самом деле, может быть и неизвестно, что за ОС стоит на сервере. Мы не имеем доступа к ОС. Мы не можем сконфигурировать РЕЙД средствами ОС.
Мы только при начальном сетапе можем настроить БИОС, и потом физически менять диски, если видим, что что-то вылетело (индикация).

Нужный бэкплейн в сервере, который мы рассматриваем, есть.

Я до сих пор не могу понять, какие такие функции должна поддерживать ОС, чтобы работал рейд и хот-свап. Речь идет о контроллере LSI 2008.
Э... горячее подключение/отключение дисков должна поддерживать, да и все. Собственно, все современные ОС его поддерживают.
Я правильно понял, что утилиты управления контроллером не устанавливаются, отсылка алертов в них не настраивается Вами ?
Оценил. Нам нужен сервер с поддержкой рейд, способный делать заркалирование и горячую замену. Причем независимо от ОС. Чтобы можно было диск заменить простым "достал диск, вставил новый диск". Без всяких приседаний со стороны ОС. И чтобы ОС "не почуствовала" вылета/замены диска. Ну максимум, производительность упала бы, это нормально.
Подойдет нам "LSI SAS 2008" ?

Спасибо
Если коротко - да.
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36958018
Nika_s
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
a_shats,

a_shatsЯ правильно понял, что утилиты управления контроллером не устанавливаются, отсылка алертов в них не настраивается Вами ?
Абсолютно верно. В ОС могут отсутствовать утилиты управления массивом, утилиты по алертингу.
Для нас алертинг - это красный светодиод на корзинке с диском. Увидели красный свет - без каких-либо настроек меняем диск. И в этот момент сервер должен продолжать работу. Автоматически должен стартовать ребилд массива.

Nika_sПодойдет нам "LSI SAS 2008" ?
a_shatsЕсли коротко - да.
Спасибо.
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36961502
rahzer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Софтварные рэйды не всегда хорошо отрабатывают выпады винтов из рэйда, не так давно на одной мамке было зеркало, использовалось в качестве маленького сервака, один винт сдох, но не полностью, т .е. определялся, но не более того, рэйд контроллер это дело переварить не смог, попытался там что-то сделать автоматом, в результате на здоровом винте система похерилась. Как то на интел 5000vsa соорудили рэйд 5, потом также из за выхода одного винта, вообще весь рэйд развалился..Еще были случаи, нет смысла писать, аппаратный контроллер и опережать будет по производительности да и по надежнее..
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36961505
rahzer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да ив целом, на фоне стоимости сервера, аппаратный рэйд не такая уж и дорогая вещь..
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36961527
Берлuнгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rahzerДа ив целом, на фоне стоимости сервера, аппаратный рэйд не такая уж и дорогая вещь..
поправка. на фоне промышленных серверов, один корпус в котором будет стоить порядка 30к -- рейд контроллер незаметен.
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36961531
Берлuнгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rahzerаппаратный контроллер и опережать будет по производительности да и по надежнее..
на 30% быстрее за 10х кратное увеличение цены примерно.
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36961555
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Берлuнгерrahzerаппаратный контроллер и опережать будет по производительности да и по надежнее..на 30% быстрее за 10х кратное увеличение цены примерно.Введение в заблуждение (с).
Увеличение цены в 2-3 раза, увеличение производительности на задачах со случайным доступом мелкими блоками может быть и в бОльшее количество раз.
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36961562
Фотография Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_shats, не обращай внимание.
У него 1,75 шпинделя в реде 15.
:)
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36961951
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_shatsВведение в заблуждение (с).
Увеличение цены в 2-3 раза, увеличение производительности на задачах со случайным доступом мелкими блоками может быть и в бОльшее количество раз.Андрей, забей. Этого персонажа мы в соседнем топике пытались вразумить, это бесполезно, "Штирлиц продолжает стоять на своем. (с)". Он еще пороху не нюхал, толпы орущих менеджеров с клиентами не видел, он просто не понимает зачем нужен промышленный сервер.
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36961973
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevskya_shatsВведение в заблуждение (с).
Увеличение цены в 2-3 раза, увеличение производительности на задачах со случайным доступом мелкими блоками может быть и в бОльшее количество раз.Андрей, забей. Этого персонажа мы в соседнем топике пытались вразумить, это бесполезно, "Штирлиц продолжает стоять на своем. (с)". Он еще пороху не нюхал, толпы орущих менеджеров с клиентами не видел, он просто не понимает зачем нужен промышленный сервер.

Ну, в чем-то он прав - промышленный сервер дома действительно не нужен, хотя на SysAdmins.ru часто проскакивают очень, очень вкусные предложения, на которые стоит обратить внимание.

P.S. Я свой сервак там покупал - четыре процессора, 16 дисков в хот-свап, навороченный рейд, 24 гига рама. И всего 45 т. рублей....
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36961996
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hello, defecator!
You wrote on Wed, 17 Nov 10 12:45:46 GMT:

defecator d> Я свой сервак там покупал - четыре процессора, 16 дисков в хот-свап, навороченный рейд, 24 гига рама.и нахрена такой вертолёт дома?!

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36962009
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
МимопроходящийHello, defecator!
You wrote on Wed, 17 Nov 10 12:45:46 GMT:

defecator d> Я свой сервак там покупал - четыре процессора, 16 дисков в хот-свап, навороченный рейд, 24 гига рама.и нахрена такой вертолёт дома?!

--
With best regards, Мимопроходящий.



Много для чего :-) Стоит в кладовке, шумит там же, жить не мешает )))
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36962013
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
defecatorМимопроходящийHello, defecator!
You wrote on Wed, 17 Nov 10 12:45:46 GMT:

пропущено...
и нахрена такой вертолёт дома?!

--
With best regards, Мимопроходящий.



Много для чего :-) Стоит в кладовке, шумит там же, жить не мешает )))

Опять же - стремление к гигантизму )))
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36962155
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
defecatorНу, в чем-то он прав - промышленный сервер дома действительно не нуженРазве в этом топике спрашивают про домашний склад порнухи?
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36962157
Фотография Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_PisarevskyРазве в этом топике спрашивают про домашний склад порнухи?
В этом разделе - про другое и не спрашивают.
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36962160
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_PisarevskydefecatorНу, в чем-то он прав - промышленный сервер дома действительно не нуженРазве в этом топике спрашивают про домашний склад порнухи?

Ты точно знаешь, что там будет не склад порнухи ? ))))
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36962179
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
defecatorIvan_Pisarevskyпропущено...
Разве в этом топике спрашивают про домашний склад порнухи?

Ты точно знаешь, что там будет не склад порнухи ? ))))ТС интересуется нормальной серверной платформой, наверно для дела. Смысл советовать гамно?
А если потом правильный сервер загадят всяким странным контентом это уже дело десятое.
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36962189
Берлuнгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
defecatorP.S. Я свой сервак там покупал - четыре процессора, 16 дисков в хот-свап, навороченный рейд, 24 гига рама. И всего 45 т. рублей....
список задач, которые на нем гоняешь приведи ка
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36962195
Берлuнгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevskya_shatsВведение в заблуждение (с).
Увеличение цены в 2-3 раза, увеличение производительности на задачах со случайным доступом мелкими блоками может быть и в бОльшее количество раз.Андрей, забей. Этого персонажа мы в соседнем топике пытались вразумить, это бесполезно, "Штирлиц продолжает стоять на своем. (с)". Он еще пороху не нюхал, толпы орущих менеджеров с клиентами не видел, он просто не понимает зачем нужен промышленный сервер.
еще как понимаю.
промышленный сервер нужен в промышленности.
там, где за сервер платит предприятие и 1 секунда (минута, ну час от силы) неработы сервера стоят столько же, сколько и сам сервер.
...
Рейтинг: 0 / 0
RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
    #36962203
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
БерлuнгерdefecatorP.S. Я свой сервак там покупал - четыре процессора, 16 дисков в хот-свап, навороченный рейд, 24 гига рама. И всего 45 т. рублей....
список задач, которые на нем гоняешь приведи ка

В основном, Oracle и робот для РТС, система видеонаблюдения, торренты, бэкапы рабочего компа.
Сейчас еще MSSQL будет стоять
...
Рейтинг: 0 / 0
25 сообщений из 34, страница 1 из 2
Форумы / Hardware [игнор отключен] [закрыт для гостей] / RAID на Low End серверах. Он все-таки аппратный или софтварный? Сейлз вводят в заблуждение
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]