powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Скорость выполнения запроса через linked server
40 сообщений из 40, показаны все 2 страниц
Скорость выполнения запроса через linked server
    #40030748
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день.

Есть проблема со скоростью работы запроса через linked server между несколькими ms sql серверами. Например сервер А - источник данных, сервер Б - откуда тянут, запускают запрос через linked server. На сервере А запрос выполняется за 2 минуты, на Б если открыть в ssms подключение к А и выполнить, то примерно 3 минуты. А вот если на Б выполнять через имеющийся linked server, то уже 30+ минут.

Запроса вида:
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
SELECT id, 
   direction_id, 
   order_number, 
   request, 
   response, 
  date_time, 
  status 
FROM [linked-server].DB.dbo.Table  
WITH  
   ( 
      NOLOCK 
   )  
ORDER BY id ASC 


Интересуют варианты уменьшения этой разницы во времени выполнения. При поиске в интернете людей со схожими проблемами видел, а вот с решением как-то хуже.
Из статьи на Хабре https://habr.com/ru/post/302958 пробовал варианты с выдачей дополнительных прав у\з, через openquery и exec at - улучшения не было.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030753
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion,

неплохо-бы драйвер (и его настройки), версия (sql),
может там архаичность какая-нибудь с известными (и уже решенными в современных) багами.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030762
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vikkiv,

Версия MS SQL Server 2017 (14.0.3335.7) на обоих.
Поставщик SQL Server Native Client 11.0
Параметры с rpc и два с сортировками пробовал менять без каких-то изменений, вернул к начальным.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030782
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion,

смотрите, что происходит на удаленном сервере, это может быть не таблица.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030797
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Владислав Колосов,

Это таблица, чуть больше миллиона строк. Проблема не только с этим запросом, просто у него простая структура и на его примере удобно смотреть.
На удаленном сервере выполняется запрос, с добавлением этих tbl и col, но план выполнения совпадает с планом запроса напрямую.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030799
Фотография komrad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion,

на сервере Б проблемы с tempdb (сортировка)?
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030800
msLex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Для начала гляньте план запроса с использованием [linked-server].

Например, при выполнении на сервере A, отдельная операция сортировки может не требоваться, а при запросе через [linked-server] она появляется.

Ну если запрос чуть сложнее, чем вы показали (есть что-нибудь из top, where, join и т.п.), причин проблем может быть больше.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030801
Фотография komrad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion,

Касательно хинта NOLOCK, в видео ниже показано, что он не гарантирует предсказуемого результата

YouTube Video
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030809
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
komrad,
Сервер Б, откуда тянут, вторичная нода для чтения продуктива на AlwaysOn, процов там много, файлов tempdb тоже. Сейчас проблем с работой tempdb не наблюдается.

msLex,
Этот запрос выполняется в текущем виде. Просто кроме него проблема есть и с другими запросами.

Сейчас запустил на Б запрос через linked server и подключившись через ssms к инстансу А - план смотрел сразу на А при выполнении запросов. План был одинаковый, скриншот в теме выложил. А вот срок выполнения опять же в 10+ раз отличается.

Хотел статистику запроса посмотреть, но при запуске с показом активной статистики запроса напрямую к инстансу А большую часть времени идёт сортировка и параллелизм, а через linked server идёт вычисление скалярного значения и удаленный запрос, что информации для сравнения мало даёт.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030812
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
komrad,

Там запрос к вторичной ноде кластера AlwaysOn и реально вроде хинт не должен работать, там своя механика. Но коллеги по привычке ставят. Могу без него попробовать.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030817
Фотография env
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion,

А ожидания какие на А при выполнении запроса с Б? Может там просто "сеть тупит" между нодами и у вас вся длительность на обмен данными уходит.

упд. ожидания лучше посмотреть на обоих серверах
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030818
Фотография komrad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion,

реплика синхронная или асинхронная?
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030819
msLex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion
вычисление скалярного значения

Какого скалярного выражения?

В вашем запросе ничего такого нет.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030820
msLex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
komrad
Danion,

реплика синхронная или асинхронная?

А как это может влиять на длительность запроса?
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030829
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
msLex,

С включенным показом статистики у запроса через linked-server показывает во время выполнения удаленный запрос + вычисление скалярного значения. Дождусь окончания выполнения может что изменится.

Реплика синхронная, но не думаю, что тут сильно влияет.
Ожидания по сети есть, но это 2 ВМ размещенных на одном физическом хосте и относительно невелики. Почему при размещении на разных хостах ожидания по сети уходят в космос - дело другого разбирательства.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030830
Фотография komrad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030834
msLex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
komrad
ну может на primary меняют таблицу время от времени и на secondary запрос ждет

Как на эту проблему влияет синхронность реплик?
Синхронность оканчивается синхронной записью операции commit в log реплики. Последующее реду идет идентично.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030835
Фотография komrad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
msLex
komrad
ну может на primary меняют таблицу время от времени и на secondary запрос ждет

Как на эту проблему влияет синхронность реплик?
Синхронность оканчивается синхронной записью операции commit в log реплики. Последующее реду идет идентично.

да, верно, к теме топика тип реплики не относится
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030840
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Долгий вариант завершился, при этом в плане на сервере, где запускалось остались эти удаленные запросы и вычисление скалярного значения. Но у вычисления стоимость 0% стоит, не уверен, что на него нужно обращать внимание.
На удаленном сервере, как уже писал, план выполнения был схожий в обоих вариантах.

Попробую запустить без сортировки и посмотреть как изменится. Удаление хинта грязного чтения каких-то изменений не вызвало.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030847
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion
Попробую запустить без сортировки и посмотреть как изменится.
А версия sqlncli какая? 11.0 или 11.1 ?
в connection string что стоит? Provider=SQLNCLI11;... или Provider=SQLNCLI11.1;...

что если с учётом следующего:
--===--
> Important
The SQL Server Native Client (SQLNCLI) remains deprecated and it is not recommended to use it for new development work.
Instead, use the new Microsoft OLE DB Driver for SQL Server (MSOLEDBSQL) which will be updated with the most recent server features.

--===--
воспользоваться OLEDB драйвером ?
(который MSOLEDBSQL а не SQLOLEDB)

added:
п.с. последний декабрьский если что версии 18.5
http://docs.microsoft.com/en-us/sql/connect/oledb/download-oledb-driver-for-sql-server?view=sql-server-ver15
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030874
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vikkiv,

Похоже SQLNCLI11.

При попытке создать linked server с текущим Microsoft OLE DB Driver for SQL Server выдаёт ошибку:
Связанный сервер был создан, однако не прошел проверку соединения.
Хотя с такими же настройками SQLNCLI11 создаётся.
А для установки новой версии запрашивает отключение SQL и агента, может позже попробую. Предлагает обновить текущую версию,
не с ноля ставить.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030878
invm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion,

У медленного актуального плана в свойствах корневого SELECT посморите статистику ожиданий и времени выполнения.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030879
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion
..Предлагает обновить текущую версию,..
просто так уточнить, речь о Dev/Test конечно-же? а то будете потом бегать если что из старого функционала вдруг слетит..
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030880
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vikkiv,

Прод но не очень критичный, у этой системы нет своего теста, используется для аналитики данных с других серверов. При необходимости тестируют у коллег + бекап виртуалки и БД.
Но лучше до сбоя не доводить. Тогда пока трогать не буду. Если есть совет по текущей ошибке создания linked server, то могу попробовать поправить без обновлений.

invm,
Извиняюсь, не очень понял что смотреть.
У селекта в плане вижу информацию по размеру плана в кеше, стоимости операторов и т.д. Но не ожидания, а время выполнения равно времени всего запроса.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40030918
invm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031071
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
invm,

Из плана на сервере, где через linked server запускаю. В основном ожидание OLEDB от использования связанного сервера.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031080
invm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion
В основном ожидание OLEDB от использования связанного сервера.
Вот вам и ответ. Там полчаса с хвостиком набежало.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031081
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion
Из плана на сервере, где через linked server запускаю. В основном ожидание OLEDB от использования связанного сервера.
Понятное дело, это ожидание, пока выполнится запрос на связанном сервере.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031082
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvg
Danion
Из плана на сервере, где через linked server запускаю. В основном ожидание OLEDB от использования связанного сервера.
Понятное дело, это ожидание, пока выполнится запрос на связанном сервере.
Включая ожидание закачивания результата.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031119
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
На сервере источнике во время выполнения сессия то ждёт CXPACKET, то ASYNC_NETWORK_IO. Но там и при запуске через SSMS напрямую к инстансу эти же типы ожидания, но время выполнения в 10 раз меньше.

"Вот вам и ответ. Там полчаса с хвостиком набежало" Так вопрос то и был, почему такая разница при одинаковых планах выполнения на источнике. Что большую часть ожиданий через связанный сервер покажет OLEDB не удивило, так всегда вроде, если только селект.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031126
invm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion,

А попробуйте вот так:
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
exec [linked-server].DB.sys.sp_executesql N'SELECT id, 
   direction_id, 
   order_number, 
   request, 
   response, 
  date_time, 
  status 
FROM dbo.Table  
WITH  
   ( 
      NOLOCK 
   )  
ORDER BY id ASC';
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031172
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
invm,

По плану там селект+удаленный просмотр(remote scan), на источнике данных план совпадает с прошлыми.
38 минут выполнялось, от обычного запроса через связанный сервер не отличается.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031191
Фотография env
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion,

А сколько строк возвращает запрос?
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031194
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
env,

Около 1.1млн, последний раз было 1135242.
На следующей неделе попробуем обновить драйвер, который рекомендовали тут попробовать, может начнёт работать через него.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031196
Фотография env
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion,

Т.е. событие возникает на каждые 100 строк.

Пальцем в небо, через openquery с добавлением set nocount on - такая же картина?
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031397
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Только что у себя по быстрому проверил на всякий случай - получается 3~4 разных драйвера
вполне приемлемо работают (больше вместе с подверсиями и разными способами).

так что вполне есть из чего выбирать, можно перебрать с различными настройками.

даже с разных машин и сетей попробовать (ближе/дальше к источнику),
или принудить его по TCP самому на себя линкованный сервер сделать проверив как он запрос
на себе-же исполняет по линкованному серверу (или по openrowset указав connection string)
может у вас с сетью проблемы (лаговый route, перегружена, или качество такое что теряет пакеты)

но я-бы выборку урезал хотя-бы до пары минут, по пол часа+ ждать чисто для тестов - это жесть конечно..

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
declare @usr nvarchar(63)=N'MyLoginSQL',@pss nvarchar(128)=N'MySecretPass',@cat nvarchar(64)=N'AW17'
---- OLEDB/NCLI
EXEC master.dbo.sp_addlinkedserver @server = N'tcp:192.168.72.131,1433', @srvproduct=N'SQL Server'
EXEC master.dbo.sp_addlinkedserver @server = N'R-NCLI', @srvproduct=N'', @provider=N'SQLNCLI11', @datasrc=N'tcp:192.168.72.131,1433', @provstr=N'Provider=SQLNCLI11.1;Persist Security Info=False;Data Source=tcp:192.168.72.131,1433;Language=English;Connect Timeout=3;Workstation ID=MyTestPC;Application Intent=ReadOnly;Initial Catalog=AW17;Packet Size=8192', @catalog=@cat
EXEC master.dbo.sp_addlinkedserver @server = N'R-DRV', @srvproduct=N'', @provider=N'MSOLEDBSQL', @datasrc=N'tcp:192.168.72.131,1433', @provstr=N'Provider=MSOLEDBSQL.1;Persist Security Info=True;Data Source=tcp:192.168.72.131,1433;Language=English;Connect Timeout=3;Workstation ID=MyTestPC;Application Intent=ReadOnly;Initial Catalog=AW17;Packet Size=8192', @catalog=@cat
EXEC master.dbo.sp_addlinkedserver @server = N'R-MIX', @srvproduct=N'', @provider=N'SQLNCLI', @datasrc=N'tcp:192.168.72.131,1433', @provstr=N'Provider=SQLOLEDB.1;Persist Security Info=True;Data Source=tcp:192.168.72.131,1433;Language=English;Connect Timeout=3;Workstation ID=MyTestPC;Application Intent=ReadOnly;Initial Catalog=AW17;Packet Size=8192', @catalog=@cat
EXEC master.dbo.sp_addlinkedserver @server = N'R-PROV', @srvproduct=N'', @provider=N'SQLOLEDB', @datasrc=N'tcp:192.168.72.131,1433', @provstr=N'Provider=SQLOLEDB.1;Persist Security Info=True;Data Source=tcp:192.168.72.131,1433;Language=English;Connect Timeout=3;Workstation ID=MyTestPC;Application Intent=ReadOnly;Initial Catalog=AW17;Packet Size=8192', @catalog=@cat

EXEC master.dbo.sp_addlinkedsrvlogin @rmtsrvname=N'tcp:192.168.72.131,1433',@useself=N'False',@locallogin=NULL,@rmtuser=@usr,@rmtpassword=@pss
EXEC master.dbo.sp_addlinkedsrvlogin @rmtsrvname=N'R-NCLI',@useself=N'False',@locallogin=NULL,@rmtuser=@usr,@rmtpassword=@pss
EXEC master.dbo.sp_addlinkedsrvlogin @rmtsrvname=N'R-DRV',@useself=N'False',@locallogin=NULL,@rmtuser=@usr,@rmtpassword=@pss
EXEC master.dbo.sp_addlinkedsrvlogin @rmtsrvname=N'R-MIX',@useself=N'False',@locallogin=NULL,@rmtuser=@usr,@rmtpassword=@pss
EXEC master.dbo.sp_addlinkedsrvlogin @rmtsrvname=N'R-PROV',@useself=N'False',@locallogin=NULL,@rmtuser=@usr,@rmtpassword=@pss

---- ODBC (only x64, no x86/x32)
EXEC master.dbo.sp_addlinkedserver @server = N'ODBC64-17', @srvproduct=N'', @provider=N'MSDASQL', @datasrc=N'odbc64-17', @catalog=@cat
EXEC master.dbo.sp_addlinkedserver @server = N'ODBC64-SQL', @srvproduct=N'', @provider=N'MSDASQL', @datasrc=N'odbc64-sql', @catalog=@cat
EXEC master.dbo.sp_addlinkedserver @server = N'ODBC64-NCLI', @srvproduct=N'', @provider=N'MSDASQL', @datasrc=N'odbc64-ncli', @catalog=@cat
EXEC master.dbo.sp_addlinkedserver @server = N'ODBC64-NCLI-RDA', @srvproduct=N'', @provider=N'MSDASQL', @datasrc=N'odbc64-ncli-rda', @catalog=@cat

EXEC master.dbo.sp_addlinkedsrvlogin @rmtsrvname=N'ODBC64-17',@useself=N'False',@locallogin=NULL,@rmtuser=@usr,@rmtpassword=@pss
EXEC master.dbo.sp_addlinkedsrvlogin @rmtsrvname=N'ODBC64-SQL',@useself=N'False',@locallogin=NULL,@rmtuser=@usr,@rmtpassword=@pss
EXEC master.dbo.sp_addlinkedsrvlogin @rmtsrvname=N'ODBC64-NCLI',@useself=N'False',@locallogin=NULL,@rmtuser=@usr,@rmtpassword=@pss
EXEC master.dbo.sp_addlinkedsrvlogin @rmtsrvname=N'ODBC64-NCLI-RDA',@useself=N'False',@locallogin=NULL,@rmtuser=@usr,@rmtpassword=@pss

...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031710
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
set nocount on не помог.
Создал по примеру MSOLEDBSQL тоже без изменений.
По тестировал связанный сервер к себе же. На выбранной таблице просто селект выполняется за 1 минуту 50 секунд, а через связанный сервер за 3 минуты 51 секунд.
Пока на другом сервере попробую посмотреть через связанный к себе же насколько это типичное поведение.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031739
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vikkiv,

А что с MSOLEDBSQL может быть не так? До 18.5 обновили.
Добавляю по примеру из сообщения R-DRV с MSOLEDBSQL поменяв данные под свои и при использовании ошибка:
Внепроцессное использование поставщика OLE DB "MSOLEDBSQL" с SQL Server не поддерживается.
Меняю часть скрипта для варианта R-PROV, это в двух местах: @provider=N'SQLOLEDB', @provstr=N'Provider=SQLOLEDB.1
и нормально работает.
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031767
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Danion,

"Provider options>>Allow Inprocess" ?
да и прочих вариантов debug на месте достаточно (чтобы разобраться что не так {встало}), можно даже создать кликами через интерфейс..

для этого тестовые виртуальные среды и существуют - чтобы сбросить к началу и попробовать другим путём

p.s. мой скрипт выше был сильно урезанный - т.е. чисто для проверки по быстрому
там ещё такие настройки обычно идут
Код: sql
1.
2.
3.
--exec master.dbo.xp_enum_oledb_providers
--exec master.dbo.sp_MSset_oledb_prop
exec master.dbo.sp_serveroption @server= ....
...
Рейтинг: 0 / 0
Скорость выполнения запроса через linked server
    #40031776
Danion
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vikkiv,

Я его пока запустить хоть хотел. Allow Inprocess помогло изменить текст ошибки, удалил несколько пунктов из строки и заработало.
Только скорость такая же медленная.
...
Рейтинг: 0 / 0
40 сообщений из 40, показаны все 2 страниц
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Скорость выполнения запроса через linked server
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]