powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / [игнор отключен] [закрыт для гостей] / вынос таблиц в отдельные файловые группы
29 сообщений из 29, показаны все 2 страниц
вынос таблиц в отдельные файловые группы
    #37507143
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
подскажите какие могут возникнуть при этом сложности-трудности?

-
Чудеса случаются. Это Вам любой программист скажет.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37507217
AHDP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Когда 1С будет таблицу пересоздаст, то нужно будет её снова руками выносить.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37507245
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AHDP,

сцук =(
выход какой-нибудь есть, кроме "проверить-перенести"?
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37507284
AHDP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нет. :( Если только скрипт писать.
Сколько дисков? А то может игра свечь не стоит? В любом случае, кратное приращение вряд ли получите.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37507291
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AHDPНет. :( Если только скрипт писать.
да я о скрипте для агента и писал. можно, в принципе, написать скрипт, который будет проверять лежит ли таблица в другой группе и туда это будет запихивать ежели нет.

AHDPСколько дисков? А то может игра свечь не стоит? В любом случае, кратное приращение вряд ли получите.
дисков 8. темпы, логи разбросаны, а mdf - один и лежит на диске G.
судя по статистике, дисковая очередь: средняя - 58, в пиках до 200 пунктов. при том, что по остальным дискам очередь - 0 (ноль).
один диск свободен, потому хочу часть данных вынести на него.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37507511
AHDP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дисковая очередь 50-200 - весьма значительна, при условии что только на файл данных. А что смежные счётчики говорят? Огласите что её создаёт.

А если в сторону памяти сервера посмотреть? При нонешнем всплеске цены на диски - может оказаться сильно конкурентно.
В вашем случае 10 под данные наверное получше будет.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37507520
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AHDPДисковая очередь 50-200 - весьма значительна, при условии что только на файл данных.
только. это в часы активной работы (8:00-20:00) ночью меньше.

AHDPА что смежные счётчики говорят? Огласите что её создаёт.
какие?

AHDPА если в сторону памяти сервера посмотреть? При нонешнем всплеске цены на диски - может оказаться сильно конкурентно.
В вашем случае 10 под данные наверное получше будет.
памяти там уже не мало. если честно ) только под сервер выделено ~262ГБ + темпдб вынесли на рамдиск (~100ГБ)
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37507527
AHDP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Так что такую нагрузку создаёт? Складывается впечатление, что она на запись, но в это слабо верится.

Операций чтения, записи, % активности диска.

Что стало предпосылкой выноса темпдб в рам!? Ну ещё можно в рам её лог засунуть..., но mdf-то зачем?
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37507538
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AHDPТак что такую нагрузку создаёт? Складывается впечатление, что она на запись, но в это слабо верится.
много операций чтения/записи и пользователей (в пике уже видели 1800)

AHDPОпераций чтения, записи, % активности диска.
чтение (сегодня, день)
среднее - 329 оп/сек
максимум - 1106

запись
среднее - 518 оп/сек
максимум - 1745 оп/сек

AHDPЧто стало предпосылкой выноса темпдб в рам!? Ну ещё можно в рам её лог засунуть..., но mdf-то зачем?
мм... ну как зачем? дофига операций с темпдб - временные таблицы. раньше очередь была ещё на темпдб, разбивали на несколько файлов. недавно добавили память на сервер, появилась возможность откусить кусочек для темпа. разве это неправильно?
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37507705
AHDP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Т.к. основная нагрузка на запись - достаточно создать на разных зеркалах разные файловые группы.


Так что такую нагрузку создаёт?

При этом сравнимая нагрузка на LDF отсутствует!?

ТемпДБ в основном использует МДФ когда ей не хватает оперативки. Хотя с тенденцией к мегазапросам и временным таблицам в восьмёрке её потребность в дисковых ИО могла подрасти.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37508228
BestProgrammist
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
AHDP,

1) Добавьте две новые файловые группы например с именами Data, Index.
2) Data - установить группой но умолчанию
3) Перенести в дата все прикладные таблицы и кластерные индексы , в дальнейшем т.к это группа по умолчанию, то 1С все операции DML будет проводить в ней.
4) В группу Index перенести все некластерные индексы прикладных таблиц.
5) Периодически регламентом проверять пункт. 4.
6) Итого базовая структура Primary - Data - Index.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37508303
AHDP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BestProgrammist,

Выйгрыш будет меньше, чем от разнесения по дискам страниц таблиц, т.к. проблема с записью. А индексы можно и потом перестроить.

ЗЫ А SQL и не умеет разносить таблицу и кластерные индексы.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37508365
BestProgrammist
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
AHDP,

Речь не об идеальном, а начальном(базовом) решении требующем минимум поддержки DBA.
После оценки как используются группы data/index и станет ясно какая из них требует масштабирования.
Одна запись данных требует пересчета множества некластерных индексов сразу или асинхронно не важно, все равно индекс нужно пересчитать.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37509045
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AHDPТак что такую нагрузку создаёт?
постоянно создаются документы + промежуточные данные (сканирование месторасположения, прохождения груза)

AHDPПри этом сравнимая нагрузка на LDF отсутствует!?
вот не знаю, не замерял как-то отдельно.

AHDPТемпДБ в основном использует МДФ когда ей не хватает оперативки. Хотя с тенденцией к мегазапросам и временным таблицам в восьмёрке её потребность в дисковых ИО могла подрасти.
ну оперативки определённо нехватает. 6-8 тыс. запросов в секунду к бд происходит. очень многие с использованием временных таблиц (1с)
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37509048
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BestProgrammist1) Добавьте две новые файловые группы например с именами Data, Index.
2) Data - установить группой но умолчанию
3) Перенести в дата все прикладные таблицы и кластерные индексы , в дальнейшем т.к это группа по умолчанию, то 1С все операции DML будет проводить в ней.
4) В группу Index перенести все некластерные индексы прикладных таблиц.
5) Периодически регламентом проверять пункт. 4.
6) Итого базовая структура Primary - Data - Index.

а зачем группа Primary? почему нельзя её оставить и создать только Index, перенеся туда индексы?
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37509205
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
тут ещё интересное происходит, но это больше вопрос к 1С.

в 15:24 (почти каждый день в плюс/минус это время) сервер 1С сбрасывает самостоятельно кеш и отваливаются пользователи, которые в этот момент что-то пишут-читают.
вот хочется понять, что есть причина всплеска подключений к 1с?
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37509208
AHDP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОК, вы знаете как распределить данные для возможности паралельного доступа.

Если нагрузки на LDF нет, надо внимательно посмотреть на Кластеные и обычные индексы. Может их можно упростить? Ведь без них нагрузка на лог и данные при записи сопоставима.

Ну количество запросов на потребность в оперативке влияет опосредовано... А вот если если памяти не хватае, то зачем её надо было забирать под рам диск?
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37509227
AHDP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
наутилустут ещё интересное происходит, но это больше вопрос к 1С.

в 15:24 (почти каждый день в плюс/минус это время) сервер 1С сбрасывает самостоятельно кеш и отваливаются пользователи, которые в этот момент что-то пишут-читают.
вот хочется понять, что есть причина всплеска подключений к 1с?
rphost'ы перезапускаются?
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37509230
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AHDPОК, вы знаете как распределить данные для возможности паралельного доступа.
ок, будем дробить

AHDPЕсли нагрузки на LDF нет, надо внимательно посмотреть на Кластеные и обычные индексы. Может их можно упростить? Ведь без них нагрузка на лог и данные при записи сопоставима.
хз как смотреть. =( может и упростить, но игры с индексами приводили к таким тормозам, что просто перестали их трогать. что разработчики настроили, то и используем. ещё усложняется всё тем, что при обновлении конфигурации (а это происходит еженедельно) все добавленные/убранные индексы восстают из пепла ... или уходят туда. =(

AHDPНу количество запросов на потребность в оперативке влияет опосредовано... А вот если если памяти не хватае, то зачем её надо было забирать под рам диск?
потому что была дисковая очередь и очень много операци I/O с темпдб.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37509241
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AHDPrphost'ы перезапускаются?
да
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37509259
BestProgrammist
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
наутилус,

Это вопрос вкуса(архитектуры?), Primary - только эта группа хранит первичный файл(mdf), содержащий системные данные (таблицы, схемы, настройки...) для текущей базы, т.е все что важно SQL Server, а не приложению. Стандартная рекомендация, разделять системные и пользовательские данные. Собственно приведенная схема Primary-Data-Index-FileImage это базовый шаблон(один из) развертывания базы данных SQL Server в реальных условиях.
В случае 1С удобнее конечно сначала подготовить структуру БД, а затем развернуть в группу Data чистую конфу или выгрузку.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37509279
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BestProgrammistнаутилус,

Это вопрос вкуса(архитектуры?), Primary - только эта группа хранит первичный файл(mdf), содержащий системные данные (таблицы, схемы, настройки...) для текущей базы, т.е все что важно SQL Server, а не приложению. Стандартная рекомендация, разделять системные и пользовательские данные. Собственно приведенная схема Primary-Data-Index-FileImage это базовый шаблон(один из) развертывания базы данных SQL Server в реальных условиях.
В случае 1С удобнее конечно сначала подготовить структуру БД, а затем развернуть в группу Data чистую конфу или выгрузку.
да, я почитал про Primary, понял про системные таблицы.
подготовить-создать вряд ли получится =( придётся делать это в технологические перерывы. хочу на этих выходных вынести (для начала) пока только одну таблицу в отдельную файловую группу. она самая "проблемная" на счёт записи и чтения.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37509624
AHDP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BestProgrammist, Собственно мы с этого и начали, только вот 1С пофигу на наши админские изыски :(.

Наутилус, а эта табличка случаем не лочится при работе с другими таблицами? Может посмотреть в сторону номенклатуры/контрагентов?
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37509643
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AHDPНаутилус, а эта табличка случаем не лочится при работе с другими таблицами? Может посмотреть в сторону номенклатуры/контрагентов?

да в том и проблема, что лочится. эта таблица - "история сканирования штрихкодов". по ней определяется текущее местоположение груза и туда же пишется информация о новых событиях. можете себе представить блокировки её.
пишут и читают из неё. была идея выносить данные регламентом из неё в другую базу, оттуда читать состояние, но на сколько я общался с разработчиком этой подсистемы, бизнесспроцес на этой стадии настолько быстро происходит, что даже 3-5 секундная задержка - это много и непозволительно. (логистика, на терминале происходит компоновка, перераспределение, загрузка-выгрузка)
потому от идеи держать где-то зеркало пока отказались. точнее не придумали реализации.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37509655
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AHDP,
так а что с перезагрузкой rphost? можно бороться?
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37510151
AHDP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
По таблице:
1) Покажите её структуру с индексами.
2) Зачем она лочиться в общих транзакцииях? Может учитывать факт сканирования для отслеживания перемещения не зависимо от движений документов?
3) Над разделением её на две логические части не задумывались? Одна для истории с 2мя индексами товар и дата; вторая для актуального текущего местонахождения имеющегося товара с индексом товар.

По rphost:
1) 1С рекомендует перезагружать. С необходимость перезагружать раз в день не сталкивался. Либо не перезагружаются, либо в выходные.
2) Параметры задаются через сервер 1С. Точно надо изменить время перезапуска. Можно и частоту, пряников, кроме высвобождения памяти, не обещается.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37510699
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AHDPПо таблице:
1) Покажите её структуру с индексами.
таблица выглядит так
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
CREATE TABLE [dbo].[_InfoRg3121](
	[_Fld3122] [nvarchar]( 18 ) NOT NULL,
	[_Fld3260RRef] [binary]( 16 ) NOT NULL,
	[_Fld3205_TYPE] [binary]( 1 ) NOT NULL,
	[_Fld3205_S] [nvarchar]( 20 ) NOT NULL,
	[_Fld3205_RTRef] [binary]( 4 ) NOT NULL,
	[_Fld3205_RRRef] [binary]( 16 ) NOT NULL,
	[_Fld3206_TYPE] [binary]( 1 ) NOT NULL,
	[_Fld3206_RTRef] [binary]( 4 ) NOT NULL,
	[_Fld3206_RRRef] [binary]( 16 ) NOT NULL,
	[_Fld3261] [datetime] NOT NULL,
	[_Fld4651RRef] [binary]( 16 ) NOT NULL,
	[_SimpleKey] [binary]( 16 ) NOT NULL
) ON [PRIMARY]
индексы:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
/****** Object:  Index [_InfoRg3121_ByDims_SR]    Script Date: 11/03/2011 13:15:57 ******/
CREATE UNIQUE NONCLUSTERED INDEX [_InfoRg3121_ByDims_SR] ON [dbo].[_InfoRg3121] 
(
	[_Fld3122] ASC,
	[_Fld3260RRef] ASC
)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, SORT_IN_TEMPDB = OFF, IGNORE_DUP_KEY = OFF, DROP_EXISTING = OFF, ONLINE = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]
GO

/****** Object:  Index [_InfoRg3121_ByDims3262_RS]    Script Date: 11/03/2011 13:16:05 ******/
CREATE UNIQUE NONCLUSTERED INDEX [_InfoRg3121_ByDims3262_RS] ON [dbo].[_InfoRg3121] 
(
	[_Fld3260RRef] ASC,
	[_Fld3122] ASC
)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, SORT_IN_TEMPDB = OFF, IGNORE_DUP_KEY = OFF, DROP_EXISTING = OFF, ONLINE = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]
GO

/****** Object:  Index [_InfoRg3121_ByResource9730_TSR]    Script Date: 11/03/2011 13:16:12 ******/
CREATE UNIQUE NONCLUSTERED INDEX [_InfoRg3121_ByResource9730_TSR] ON [dbo].[_InfoRg3121] 
(
	[_Fld3261] ASC,
	[_Fld3122] ASC,
	[_Fld3260RRef] ASC
)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, SORT_IN_TEMPDB = OFF, IGNORE_DUP_KEY = OFF, DROP_EXISTING = OFF, ONLINE = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]
GO

/****** Object:  Index [_InfoRg3121_BySimpleKey_B]    Script Date: 11/03/2011 13:16:33 ******/
CREATE UNIQUE NONCLUSTERED INDEX [_InfoRg3121_BySimpleKey_B] ON [dbo].[_InfoRg3121] 
(
	[_SimpleKey] ASC
)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, SORT_IN_TEMPDB = OFF, IGNORE_DUP_KEY = OFF, DROP_EXISTING = OFF, ONLINE = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]
GO

AHDP2) Зачем она лочиться в общих транзакцииях? Может учитывать факт сканирования для отслеживания перемещения не зависимо от движений документов?
ну я ведь не могу указывать 1с как построить запрос. я просто вижу постфактумом, что выборки из неё часто происходят без (NOLOCK)

AHDP3) Над разделением её на две логические части не задумывались? Одна для истории с 2мя индексами товар и дата; вторая для актуального текущего местонахождения имеющегося товара с индексом товар.
да так и сделано, только всё равно часто очень используется историяштрихкодирования - месторасположение на дату + отчетность. да и штрихкодов этих очень много.


AHDPПо rphost:
1) 1С рекомендует перезагружать. С необходимость перезагружать раз в день не сталкивался. Либо не перезагружаются, либо в выходные.
2) Параметры задаются через сервер 1С. Точно надо изменить время перезапуска. Можно и частоту, пряников, кроме высвобождения памяти, не обещается.
=( как-то у нас не получается досидеть до ночи не перегружаясь. 1с сама сбрасывает кеш и рубает соединения.
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37510743
The Dim!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
наутилусAHDPНу количество запросов на потребность в оперативке влияет опосредовано... А вот если если памяти не хватае, то зачем её надо было забирать под рам диск?
потому что была дисковая очередь и очень много операци I/O с темпдб.

А сколько же тогда у вас оперативки что вы tempdb уместили в RAM, что сиквелю остается?
...
Рейтинг: 0 / 0
вынос таблиц в отдельные файловые группы
    #37510780
наутилус
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
The Dim!А сколько же тогда у вас оперативки что вы tempdb уместили в RAM, что сиквелю остается?
260Гб
...
Рейтинг: 0 / 0
29 сообщений из 29, показаны все 2 страниц
Форумы / [игнор отключен] [закрыт для гостей] / вынос таблиц в отдельные файловые группы
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]