powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Informix [игнор отключен] [закрыт для гостей] / Производительность рэйда
22 сообщений из 22, страница 1 из 1
Производительность рэйда
    #35287084
Фотография Дядя Жора
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Windows 2003 EE + Informix 9.4 TC7

Подскажите, плиз, в чём может быть причина падения производительности.
onconfig прилагаю, а onstat -... пока не привожу ибо сервер всё равно пока тестируется и не отражает реальной нагрузки.
Хотелось бы услышать мнения кто скорее всего виноват в потере производительности: железо или недоработки в настройках ибо инженеры кричат, что виноват информикс, ну а моё мнение в тормознутости контроллера.
Всё началось с того, что убойные отчёты информикса на новом железе заработали в 2 раза хуже чем на нынедействующем. Подозрения в работу контроллера закрались после того как я взял обычный большой файл и обычным far-навигатором скопировал с одного логического диска на другой. Скорость копирования оказалась в 2,5 раза медленнее чем на существующей системе. Дальше всевозможные тесты (hdtune, hd_speed, sandra, crystaldiskmark, HDTouch) показывают приблизительно одинаковую картину. При установке в них размера блока чтения до 128-256К скорость чтения на новой системе намного ниже чем на старой системе. Если размер блока выше указанной цифры, то скорость чтения выше. Речь идёт не о блоке контроллера или блока операционки, а именно о том параметре, что в этих тестилках указан, и я так понимаю блок этот подразумевает просто размер читаемых кусков по которым определяется скорость чтения.

Вырисовалось 3 основных вопроса:
1) Как интерпретировать такой результат: при чтении маленькими блоками новый контроллер работает медленнее чем старый, а на больших блоках - быстрее чем старый?
2) Копирование больших файлов обычным far-навигатором даёт падение скорости на новом сервере в 2,5 раза по сравнению со старым.
3) Одинаковые запросы построения отчётов в информиксе на новом сервере идут медленнее чем на старом.

Информикс на старом и новом железе работают с одинаковыми параметрами.

onconfig в прицепе

На старом и новом сервере RAID10 со страйпом 128К.

Размер страницы информикса величина постоянная. Пробовал менять размер блока винды. Не влияет абсолютно. Может ещё попробовать размер страйпа контроллера поменять? Или лучше сам контроллер?


Железо такое:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
Процессор
Модель : 4x Genuine Intel(R) CPU                  @  2 .93GHz
Скорость :  2 .93ГГц
Ядер на процессор :  4  единиц
Потоков на ядро :  1  единиц
Тип : Четырехъядерный
Внутренний кэш данных : 4x 32Кб, Синхронный, Сквозная запись,  8 -магистральный набор, длина строки  64  байт
Встроенный кэш L2 : 2x 4Мб, ECC, Синхронный, ATC,  16 -магистральный набор, длина строки  64  байт,  2  потоков делятся

Система
Система : Blank FRU Blank FRU
Материнская плата : Blank FRU Blank FRU
Шины : PCI PCIe IMB USB i2c/SMBus
Поддержка MP :  4  Процессор(а,ов)
MP APIC : Да
Системный BIOS : Intel Corporation SFC4UR.86B. 01 . 00 . 0020 . 010920082236 
Всего памяти : 8Гб DDR2 FB-DIMM

Чипсет
Модель : Intel  7300  Memory Controller Hub
Скорость системной шины : 4x 266МГц ( 1 .06ГГц)
Всего памяти : 8Гб DDR2 FB-DIMM
Скорость шины памяти : 2x 333МГц (666МГц)

Физические накопители
INTEL   SROMBSASFC 288Гб (RAID, NCQ) : 268Гб (C:) (D:) (E:) (K:) (L:)
Intel(R)RMM2 VDrive  1  (USB) : Н/Д (J:)
Optiarc DVD-ROM DDU810A (ATAPI33, DVD+-R, CD-R, 2Мб Кэш) : 575Мб (F:)

Логические накопители
System (C:) : 20Гб (NTFS) @ INTEL   SROMBSASFC 288Гб (RAID, NCQ)
Prog (D:) : 10Гб (NTFS) @ INTEL   SROMBSASFC 288Гб (RAID, NCQ)
Data (E:) : 61Гб (NTFS) @ INTEL   SROMBSASFC 288Гб (RAID, NCQ)
BX2EVOL_EN (F:) : 574Мб (CDFS) @ Optiarc DVD-ROM DDU810A (ATAPI33, DVD+-R, CD-R, 2Мб Кэш)
Съемный диск (J:) : Н/Д @ Intel(R)RMM2 VDrive  1  (USB)
Data64 (K:) : 29Гб (NTFS) @ INTEL   SROMBSASFC 288Гб (RAID, NCQ)
Data4 (L:) : 29Гб (NTFS) @ INTEL   SROMBSASFC 288Гб (RAID, NCQ)

Периферия
Контроллер концентратора LPC  1  : Intel 631xESB/6321ESB/ 3100  LPC Interface Controller
Контроллер концентратора LPC  2  : Intel 631xESB/6321ESB/ 3100  SMBus Controller
Последовательные порты :  2 
Контроллер USB  1  : Intel 631xESB/6321ESB/ 3100  Chipset USB Universal Host Controller # 1 
Контроллер USB  2  : Intel 631xESB/6321ESB/ 3100  Chipset USB Universal Host Controller # 2 
Контроллер USB  3  : Intel 631xESB/6321ESB/ 3100  Chipset USB Universal Host Controller # 3 
Контроллер USB  4  : Intel 631xESB/6321ESB/ 3100  Chipset USB Universal Host Controller # 4 
Контроллер USB  5  : Intel 631xESB/6321ESB/ 3100  Chipset USB2 Enhanced Host Controller
Контроллер SMBus  1  : Intel 5X00/7X00 XMB Ch  21 - 0  SMBus
Контроллер SMBus  2  : Intel 5X00/7X00 XMB Ch  21 - 1  SMBus
Контроллер SMBus  3  : Intel 5X00/7X00 XMB Ch  22 - 0  SMBus
Контроллер SMBus  4  : Intel 5X00/7X00 XMB Ch  22 - 1  SMBus
Контроллер SMBus  5  : Intel 801xx/63xx SMBus

Сетевые службы
Сетевые адаптеры : Intel(R) PRO/ 1000  EB Network Connection with I/O Acceleration (Ethernet, 1Гбит/с)

Управление Питанием
Состояние линии переменного тока : On-Line

Операционная система
Система Windows : Microsoft Windows  2003  Advanced/Enterprise Server R2  5 . 02 . 3790  (Service Pack  2 )
Platform Compliance : x86
...
Рейтинг: 0 / 0
Производительность рэйда
    #35287536
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дядя Жоранынедействующем. Подозрения в работу контроллера закрались после того как я взял обычный большой файл и обычным far-навигатором скопировал с одного логического диска на другой. Скорость копирования оказалась в 2,5 У фара Парамерты/Системные параметры/Галочку поставить Использовать системную функцию копирования. После этого цифры увеличиваются в несколько раз, если рейд с кэшем.
...
Рейтинг: 0 / 0
Производительность рэйда
    #35287541
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Статистику после переноса собрали? Планы запросов смотрели?
...
Рейтинг: 0 / 0
Производительность рэйда
    #35287794
Фотография Дядя Жора
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Журавлев ДенисСтатистику после переноса собрали? Планы запросов смотрели?

Галочка стоит. Но тут дело не в фаре. Медленно копирует и проводником и тотал-командером. Фар я для примера привёл. Статистику конечно же собирал. Но тут дело даже не в статистике. Бэкап я поднял обычным ontape как сотни раз поднимал на других резервных серверах и скорость там не падала. Т.е. даже если бы не собрал, то при таком ресторе действующая статистика не теряется.
...
Рейтинг: 0 / 0
Производительность рэйда
    #35288072
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тогда разбирайтесь с рейдом. У меня есть один hp dl380 (у меня их много штук 50), все со smartarray-ми, так вот в этом одном рейд smartarray контролер считает что 2 диска из 6-ти не ultascsi320, а Async Wide (Transfer Speed: 10 MB/Sec), и тормозят они как в 93 году.
...
Рейтинг: 0 / 0
Производительность рэйда
    #35345442
Nerich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Точно такая же проблема. Сервер построен на базе платформы INTEL S7000FC4URE
RAID 5, 8шт. SAS 2.5 10000rpm
пропускная способность не выше 93мб/с на блоках по 128кб, что в 2.5 раза меньше чем на более старом сервере.
INTEL ничего вразумительного по этому поводу не сказала.
Дядя Жора, вы смогли решить эту проблему?
если да, пожалуйста поделитесь информацией
моя почта zdelov-rus@yandex.ru
...
Рейтинг: 0 / 0
Производительность рэйда
    #35348394
Фотография Дядя Жора
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
NerichТочно такая же проблема. Сервер построен на базе платформы INTEL S7000FC4URE
RAID 5, 8шт. SAS 2.5 10000rpm
пропускная способность не выше 93мб/с на блоках по 128кб, что в 2.5 раза меньше чем на более старом сервере.
INTEL ничего вразумительного по этому поводу не сказала.
Дядя Жора, вы смогли решить эту проблему?
если да, пожалуйста поделитесь информацией
моя почта zdelov-rus@yandex.ru

У меня там оказалось, что узкое место процессоры. Т.е. может рэйд там и тормознутей, но в данном варианте я до него даже не дошёл, т.к. горлышко оказалось в другом месте. Всё дело (как объяснили мне инженеры) в стратегическом направлении интела на многоядерность. Т.е. на старом железе было два 2-х ядерных проца, а на новом четыре 4-х ядерных. Однако производительность одного ядра на новом железе хуже чем на старом (совокупность частоты, кэша, шины). Т.е. если бы у меня к примеру были сотни юзеров, то 16 ядер дали бы выигрыш в производительности даже если одно ядро и проигрывает. Однако тест который я делал был ориентирован не на массовость, а на скорость выборки так, если бы её один юзер запустил. Один трэд короче, и соответственно одно ядро. Вот я и получил проигрыш. Щас процы поменяют, поглядим что получится.
...
Рейтинг: 0 / 0
Производительность рэйда
    #35348498
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дядя ЖораУ меня там оказалось, что узкое место процессоры. Т.е. может рэйд там и тормознутей, но в данном варианте я до него даже не дошёл, т.к. горлышко оказалось в другом месте. Всё дело (как объяснили мне инженеры) вот таки где люди такую траву берут?
...
Рейтинг: 0 / 0
Производительность рэйда
    #35348576
Nerich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Да уж )
Сомневаюсь что тут дело в процессорах
на моей платформе E7350 x 4шт
...
Рейтинг: 0 / 0
Производительность рэйда
    #35348602
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
NerichДа уж )
Сомневаюсь что тут дело в процессорах
на моей платформе E7350 x 4штну а у вас диски куда воткнуты?
вот хороший форум по железу http://3nity.ru/
ну и мерять надо на блоках 4-16-32 кб, и не в кб а в iops-х
...
Рейтинг: 0 / 0
Производительность рэйда
    #35348641
Nerich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Журавлев Денисну а у вас диски куда воткнуты?
вот хороший форум по железу http://3nity.ru/
ну и мерять надо на блоках 4-16-32 кб, и не в кб а в iops-х

Спасибо за ссылку, сейчас гляну.
Воткнуты в корзину которая воткнута в SAS Riser (AFCSASRISER) с инетгрированным контроллером SROMBSASFC. Впринципе всёравно в чём мерять, так сказать,не вооружённым глазом видно, что рейд очень тормознуто работает. Даже RAID 0 не меняет ситуацию,потому подозрениепало на контроллер.
Хотя в спецификации указана максимальная пропускная способность 300mb/s.
...
Рейтинг: 0 / 0
Производительность рэйда
    #35348690
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
NerichСпасибо за ссылку, сейчас гляну.
Воткнуты в корзину которая воткнута в SAS Riser (AFCSASRISER) с инетгрированным контроллером SROMBSASFC. Впринципе всёравно в чём мерять, так сказать,не вооружённым глазом видно, что рейд очень тормознуто работает. Даже RAID 0 не меняет ситуацию,потому подозрениепало на контроллер.
Хотя в спецификации указана максимальная пропускная способность 300mb/s.
А не собирая рейд, на отдельных дисках какая скорость? Т.е. в биосе отрубить его нафиг.

300mb/s - это скорость шины sata
...
Рейтинг: 0 / 0
Производительность рэйда
    #35348704
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дядя ЖораПодозрения в работу контроллера закрались после того как я взял обычный большой файл и обычным far-навигатором скопировал с одного логического диска на другой. Скорость копирования оказалась в 2,5 раза медленнее чем на существующей системе. Дальше всевозможные тесты (hdtune, hd_speed, sandra, crystaldiskmark, HDTouch) показывают приблизительно одинаковую картину.
Ну и как даже эти ваши простые тесты могут быть следствием процов? Частота, конечно, может быть ниже, вот только для обычных операций чтения-записи это влияет слабо.

Дядя ЖораУ меня там оказалось, что узкое место процессоры. Т.е. может рэйд там и тормознутей, но в данном варианте я до него даже не дошёл, т.к. горлышко оказалось в другом месте. Всё дело (как объяснили мне инженеры) в стратегическом направлении интела на многоядерность.
Интересно, Интел об этом догадывается ? :)
Ваши инженеры мне напомнили некоторых врачей, которые с удовольствием начинают лечить у пациента ту болезнь, что сами знают, а не ту , что на самом деле у пациента :)
...
Рейтинг: 0 / 0
Производительность рэйда
    #35348741
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vasilis
Интересно, Интел об этом догадывается ? :)
Ваши инженеры мне напомнили некоторых врачей, которые с удовольствием начинают лечить у пациента ту болезнь, что сами знают, а не ту , что на самом деле у пациента :)

Напомнил хауза http://shop.seenon.com/detail.php?p=20306 это, правда про пациентов обычно
...
Рейтинг: 0 / 0
Производительность рэйда
    #35349890
Фотография Дядя Жора
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Поупражнялись в остроумии? Теперь дайте мне интерпретацию таких результатов. Стартуем информикс. Запускаем обычный селект. Смотрим на обычный виндовый счётчик фиксирующий кол-во байт/бит читаемых с физического диска. Допустим к примеру 220 секунд. Запускаем повторно. Активность диска нулевая, время выборки 77 секунд. Типа с буферного кэша считалось (или какой там аналог разделяемой памяти у информикса). Запускаем ту же выборку на старом железе. Показатели 157/46
...
Рейтинг: 0 / 0
Производительность рэйда
    #35349962
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дядя ЖораПоупражнялись в остроумии? Теперь дайте мне интерпретацию таких результатов. Стартуем информикс. Запускаем обычный селект. Смотрим на обычный виндовый счётчик фиксирующий кол-во байт/бит читаемых с физического диска. Допустим к примеру 220 секунд. Запускаем повторно. Активность диска нулевая, время выборки 77 секунд. Типа с буферного кэша считалось (или какой там аналог разделяемой памяти у информикса). Запускаем ту же выборку на старом железе. Показатели 157/46еще бы знать бы модель старого проца, и увидеть график 100% загрузки проца на одном из ядер новой системы при построении этого суперотчета, тогда да, можно было-бы поплакать.
...
Рейтинг: 0 / 0
Производительность рэйда
    #35351036
svat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Дядя ЖораВсё дело (как объяснили мне инженеры) в стратегическом направлении интела на многоядерность. Т.е. на старом железе было два 2-х ядерных проца, а на новом четыре 4-х ядерных. Однако производительность одного ядра на новом железе хуже чем на старом (совокупность частоты, кэша, шины).

:)
вспомнилась цитата из армянского мультика:
"не, не догонишь: пока ты на лошади "раз, два, три, четыре", пацан на ногах "раз-два", "раз-два". Давай коня постерегу..."

+1 к Журавлеву: дайош график со 100% загрузкой ядра при копировании / запросе.

Также неплохо было бы и глянуть на версию драйверов к рейду (по сравнению с вот этими, например :
http://www.intel-drivers.com/Intel-drivers/Intel-Storage-Server-SSR212MC2R-SAS-Hardware-RAID-Driver_75871.shtml
...фирмвари: http://downloadcenter.intel.com/Detail_Desc.aspx?strState=LIVE&ProductID=2817&DwnldID=15505&agr=N&lang=eng&PrdMap=2817)
...
Рейтинг: 0 / 0
Производительность рэйда
    #35351448
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дядя ЖораПоупражнялись в остроумии?
Судя по отсутствию смайлика у вас достаточно болезненная реакция на многие вещи... :)
Дядя ЖораТеперь дайте мне интерпретацию таких результатов. Стартуем информикс. Запускаем обычный селект. Смотрим на обычный виндовый счётчик фиксирующий кол-во байт/бит читаемых с физического диска. Допустим к примеру 220 секунд. Запускаем повторно. Активность диска нулевая, время выборки 77 секунд. Типа с буферного кэша считалось (или какой там аналог разделяемой памяти у информикса). Запускаем ту же выборку на старом железе. Показатели 157/46
Интерепретаций миллион, навскидку несколько примеров из опыта общения с заказчиками (проблема приблизительно такая же - от "перешли на новое жедезо, а ожидаемого прироста производительности нет" до "вчера все было хорошо, ничего не меняли и стало плохо"):
- вы даже не удосужились посмотреть/показать планы этих запросов, возможно уже там многое бы прояснилось
- в результате длительных выяснений и утвердительных ответов на все вопросы выяснялось, что на новой системе элементарно не сделали сбор статистики (при живом админе :)
- на новой системе не сделали (забыли...думали , что не надо :) темповые пространства
- в 5-м рейде, на который перешли, выпал/не работает диск
- "кривые", но зато новые :) драйвера, которые другой админ поставил на...

И если вы сами не будете отвечать на поставленные вопросы, а будете только упорно задавать свои, то вряд ли будет много желающих вам помогать.
Так что пока повторю свой вопрос:
Дядя ЖораПодозрения в работу контроллера закрались после того как я взял обычный большой файл и обычным far-навигатором скопировал с одного логического диска на другой. Скорость копирования оказалась в 2,5 раза медленнее чем на существующей системе. Дальше всевозможные тесты (hdtune, hd_speed, sandra, crystaldiskmark, HDTouch) показывают приблизительно одинаковую картину.
Ну и как даже эти ваши простые тесты могут быть следствием процов?

Подчеркну, что я не утверждаю, что новые процы лучше или хуже, просто нужно системно смотреть на вещи и выделять главное и второстепенное.
...
Рейтинг: 0 / 0
Производительность рэйда
    #35352841
Фотография Дядя Жора
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vasilisИнтерепретаций миллион

То-то и оно.

vasilisвы даже не удосужились посмотреть/показать планы этих запросов, возможно уже там многое бы прояснилось


Вряд ли у всех запросов дружно съехали планы. Не думаете же Вы, что я ограничился только одним запросом. Тем более, что базы на обоих серваках были подняты с одного бэкапа утилитой ontape, а соответственно и статистика у них одинакова и собирается каждую ночь. Тип рэйда у них тож одинаковый: 10-й. Я просто хочу пояснить, что я работаю в большой организации и у нас разделение труда. Инженеры делают своё дело, я - своё. В их огород я не шибко лезу, и они меня как правило никогда не подводили до сих пор. С процами это была одна из их версий, т.к. другой убедительной не было до сих пор. Вчера ситуёвина изменилась-таки в пользу драйверов. Железки не меняли, но вроде перепрошили биос и фирмварь. Производительность резко подскочила и вышла на ожидаемый уровень. Я понимаю, что наверное надо дорыть до конца, разобраться так ли это на самом деле и т.п... Но я попросил нужную мне производительность - мне выдали. Как они этого добились на самом деле - разберусь при случае. Не хочется как бы никого обидеть. Кроме истины ещё есть политика профессиональной этики.

vasilis
Дядя ЖораПодозрения в работу контроллера закрались после того как я взял обычный большой файл и обычным far-навигатором скопировал с одного логического диска на другой. Скорость копирования оказалась в 2,5 раза медленнее чем на существующей системе. Дальше всевозможные тесты (hdtune, hd_speed, sandra, crystaldiskmark, HDTouch) показывают приблизительно одинаковую картину.
Ну и как даже эти ваши простые тесты могут быть следствием процов?


Я не этими тестами грешил на процы, а на выборки с разделяемой памяти при отсутствии дисковой активности.

vasilisПодчеркну, что я не утверждаю, что новые процы лучше или хуже, просто нужно системно смотреть на вещи и выделять главное и второстепенное.

А я чем по вашему занимаюсь? Я и стараюсь отделить главное от второстепенного. :)
...
Рейтинг: 0 / 0
Производительность рэйда
    #35353258
svat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Дядя ЖораВчера ситуёвина изменилась-таки в пользу драйверов. Железки не меняли, но вроде перепрошили биос и фирмварь. Производительность резко подскочила и вышла на ожидаемый уровень.

... пожалуйста :)
...
Рейтинг: 0 / 0
Производительность рэйда
    #35353305
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А я бы разорился на самый простой железный sas контроллер, с 512 метрами озу и батарейкой (аккумулятором). Сейчас плотно сижу на hp, а там подобные контроллеры (smart array-и) стоят дешевле грязи.
...
Рейтинг: 0 / 0
Производительность рэйда
    #35355074
Выбегалло
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дядя ЖораС процами это была одна из их версий, т.к. другой убедительной не было до сих пор. Вчера ситуёвина изменилась-таки в пользу драйверов. Железки не меняли, но вроде перепрошили биос и фирмварь. Производительность резко подскочила и вышла на ожидаемый уровень. Я понимаю, что наверное надо дорыть до конца, разобраться так ли это на самом деле и т.п... Но я попросил нужную мне производительность - мне выдали. Как они этого добились на самом деле - разберусь при случае. Не хочется как бы никого обидеть. Кроме истины ещё есть политика профессиональной этики.


Да ладно вам. Инженеры навешали откровенной лапши, а вы теперь рассказываете что поверили им "из профессиональной этики".
Любой джуниор дба утверждение "файл медленно копируется потому что процессор медленный" должен немедленно распознать как явный и откровенный буллшит.
...
Рейтинг: 0 / 0
22 сообщений из 22, страница 1 из 1
Форумы / Informix [игнор отключен] [закрыт для гостей] / Производительность рэйда
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]