|
|
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Добрый день Поделитесь своим опытом обслуживания больших БД. У меня такая ситуация - есть база ПО АСУТ S-Market ( http://s-market.ru/), размер в данный момент 210 Гб, число коннектов 270-300. Т.к. наша торговая сеть расширяется, увеличивается кол-во магазинов и следовательно число работающих в БД и её размер расширяется. Приходится делать бэкап-рестор,но интервал между ними постоянно уменьшается,а время рестора увеличивается. Для того,чтобы жилось спокойно провожу такие работы по БД: 1. Само собой бэкап-рестор раз в 2-3 месяца (чаще не могу - база работает 24/7,реже - база начинает подтормаживать,ну и рестор идет 14 часов) 2. Каждый день sweep (sweep interval давно уже в 0), после него проверка через gtat-h на предмет застрявших транзакций 3. Каждый день после sweep пересчет селективности индексов (запустил совсем недавно,пока не понятно есть польза или нет от него) 4. Обрезка таблиц перед каждым бэкап-рестором (получаем 10-30 Гб уменьшения БД) 5. Запущена трассировка на поиск медленных запросов (недавно,так что пока ничего не "поймала") 6. Firebird.conf переписан под конфигурацию сервера Теневые копии и репликацию не использую. Моё беспокойство в чем - база растет,время между b/r уменьшается, время рестора увеличивается (за год с 8 до 14 часов). Настанет скоро момент,когда ресторится придется раз в месяц и по двое суток. Как можно продлить жизнь БД или ускорить рестор? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 05:12:00 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Gallemarрепликацию не используюКак вариант увеличения доступности сделать фаиловер кластер на репликации. Пока проводишь сервисные работы на основной ноде, работает вторая, закончил обслуживание, вернул репликацию, базы выровнялись и можешь снова переключать юзеров на основную ноду. Если клиентская часть программы в будет уметь переключаться, то юзер вообще ничего не заметит, если нет, ну потратится минутка на переконнект, ни о каком даунтаме в полдня речь уже не идет. Как вообще можно говорить о работе 24х7 если нет кластера? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 08:18:46 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Ivan_Pisarevsky,я такую схему хочу с ibreplicator реализовать,разговаривал с разработчиком и Димой Сибиряковым,они одобрили. Я ещё не тестировал репликацию на продуктиве и боюсь просадки производительности. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 08:28:28 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Gallemar> 1. Само собой бэкап-рестор раз в 2-3 месяца (чаще не могу - база работает Gallemar> 24/7,реже - база начинает подтормаживать,ну и рестор идет 14 часов) А как вообще периодичность рестора выбирается и осуществляется, если 24х7? Обычно, 24х7 - это, на самом деле, такая фикция, не мешающая рестору. Ну и плюс есть nbackup (хоть и не буду его советовать) и репликация. > 2. Каждый день sweep, после него проверка через gtat-h на предмет застрявших транзакций А вот расскажи-ка про этот пункт поподробней - вручную делается или автоматизировано? > 4. Обрезка таблиц перед каждым бэкап-рестором (получаем 10-30 Гб уменьшения БД) Удаление старых записей что ли? > 5. Запущена трассировка на поиск медленных запросов > (недавно,так что пока ничего не "поймала") Так ты какой фильтр по времени-то поставил? Уменьши. > база растет,время между b/r уменьшается А почему оно уменьшается, кстати? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 09:22:59 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов Рустам, При 24/7 выбираем сутки,договариваемся что товароучет не будет работать,после согласований получаю возможность проводить работы. Репликация и nbackup не ускорят БД,а b/r провожу именно с этой целью. Nbackup кстати у меня меня есть как альтернатива gbak. После свипа запускается gstat -h >C:\S-Market\LOG\db_stat_%date%_%VTime%.txt, ну и смотришь данные по счетчикам. Я смотрю сам,а другие через 1с, там есть обработка для этого. Обрезку данных осуществляю обрезкой старых данных. Трассировку запустил вчера,так что статистики просто не набрал. Почему уменьшается время рестора - так база на месте не стоит и "подрастает" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 09:35:51 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Gallemar> Репликация и nbackup не ускорят БД,а b/r провожу именно с этой целью Странная цель. Тем более, если ничего в этой части (мусор, счётчики) особо не тормозит, о чём тебе уже говорили. > ну и смотришь данные по счетчикам. Я смотрю сам, В смысле глазами или парсишь? > а другие через 1с, там есть обработка для этого. В смысле, 1С конкретно к FB привязывается или свю внутреннюю слежубную инфу сообщает? Я просто не в курсе, аж интересно стало. > Обрезку данных осуществляю обрезкой старых данных. Дык я и спрашиваю - в чём она заключается? Это архивные данные, которые в оперативном бэкапе не нужны (ибо есть в архивах) ? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 10:01:14 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов Рустам, База начинает торможить к концу второго месяца после рестора. Данные по gstat -h смотрю глазами, руки не доходят автоматизировать,т.к. проблема с счетчиками вылезает раз в 2 года. 1с целяется по odbc и тянет запрос из mon$database, потом высчитывается разницу,если больше n - делает оповещение. Данные обрезаются по документам и продажам,т.к. они есть в OLAP и держать в оперативной базе их не надо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 10:15:58 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Gallemar> База начинает торможить к концу второго месяца после рестора. Это глазами видно и измеряемо? При ежедневном свипе-то? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 10:38:32 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
roadster Модератор: Не надо устраивать тут филиал ПТ, пришел в наш раздел, говори по делу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 10:39:55 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Gallemar База начинает торможить к концу второго месяца после рестора. Маловероятно конечно, но такое впечатление что по симптомам смахивает на чрезмерную фрагментацию fs. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 10:41:55 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
тормоза через два месяца могли быть вызваны как раз отсутствием пересчета статистики. Сейчас, когда это добавлено, имеет смысл посмотреть возникнет ли снова проблема или нет. Ибо свип + пересчет статистики это вполне достаточная замена рестора с т.з. производительности. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 10:43:44 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
dimitr> тормоза через два месяца могли быть вызваны как раз отсутствием пересчета статистики. Насколько я понимаю, стабильная периодическая проблема с индексами может быть при высокой нагрузке и индексах по датам. Да и то - шибко постараться надо, наверное. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 10:45:31 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Gallemar1. Само собой бэкап-рестор раз в 2-3 месяцаЭто ни разу не само-собой. Это путь в никуда, и ты это уже начинаешь ощущать. Мониторь запросы, когда "база начинает подтормаживать" и делай выводы. Возможно тебе достаточно пару индексов перестроить, а не всю БД пересоздавать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 10:48:26 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов РустамGallemar> База начинает торможить к концу второго месяца после рестора. Это глазами видно и измеряемо? При ежедневном свипе-то? Измерить не получает,но при работе с ПО ощутимо (медленные выборки,медленные отчеты,медленная запись документов). Если свип убрать база начнет тормозить уже через пару-тройку недель. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 11:04:10 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
dimitrтормоза через два месяца могли быть вызваны как раз отсутствием пересчета статистики. Сейчас, когда это добавлено, имеет смысл посмотреть возникнет ли снова проблема или нет. Ибо свип + пересчет статистики это вполне достаточная замена рестора с т.з. производительности. Ок,буду смотреть что станет с БД через пару месяцев. Вообще,в начале работы свип отсутствовал вообще (sweep interval выставили в нуль,а запуск вручную зачем то закомментировали), и база начинала тормозить через три недели,после включения свипа вручную - работала три месяца. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 11:07:33 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
GallemarГаджимурадов РустамGallemar> База начинает торможить к концу второго месяца после рестора. Это глазами видно и измеряемо? При ежедневном свипе-то? Измерить не получает,но при работе с ПО ощутимо (медленные выборки,медленные отчеты,медленная запись документов). Если свип убрать база начнет тормозить уже через пару-тройку недель. как вариант, на вскидку, b/r создаёт файл в котором таьблицы/индексы и прочие данные расположены упорядочено, если есть запросы идущие natural-ом, то из-за особенностей ввода вывода даже на маленьких табличках, может идти постепенное уменьшение производительности ( после b/r всё работает шустро, но fullscan по размазанной по файлу/диску таблице, в которой пограничная длина строки сильно замедляется ). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 11:13:21 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
NikolayV81> по размазанной по файлу/диску таблице, NikolayV81> в которой пограничная длина строки сильно замедляется Это ппц сколько бреда в одном посте про SSD можно написать... Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 11:18:11 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
NikolayV81из-за особенностей ввода выводаУ автора вроде на ssd все. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 11:18:23 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Ivan_Pisarevsky,верно,SSD OCZ Vertex 3 Max Iops, 8 штук, RAID10 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 11:28:13 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов РустамNikolayV81> по размазанной по файлу/диску таблице, NikolayV81> в которой пограничная длина строки сильно замедляется Это ппц сколько бреда в одном посте про SSD можно написать... Не увидел в теме, беру свои слова обратно... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 11:32:54 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Gallemar, могу порекомендовать следующее 1.поддерживайте статистику БД в актуальном состоянии, особенно по тем таблицам, по которым большой % изменений I/U/D от общего объема таблицы; 2. также следует следить за выполняющимися SQL, отыскивать медленные, проводить их анализ и оптимизацию. Возможно, существующие индексы становятся неэффективными или опять же, виновата статистика; 3. задумайтесь о репликации данных на slave-server, в перспективе нужно иметь отказоустойчивый кластер. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 12:15:53 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
heckfi, по поводу пункта 3 - собираюсь делать репликацию через Ibreplicator, планы вынашивал давно, но пока воздерживался от установки на продуктив. Вызывает опасение возможность сильной просадки по производительности. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 12:19:35 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
Gallemar, ibtm ставил? статистика по транзакциям собирается? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 12:26:53 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
heckfi, могу порекомендовать следующее 1. почитать предыдущие ответы, а не только первый пост. 2. присоединиться к советам, опровергнуть их или дописать свои, но не выступать в качестве К.О. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 12:28:11 |
|
||
|
Обслуживание больших (>250 Гб) баз
|
|||
|---|---|---|---|
|
#18+
GallemarИзмерить не получает,но при работе с ПО ощутимо (медленные выборки,медленные отчеты,медленная запись документов). А использовать в этот момент gstat и IBAnalyst, конечно же, ни у кого руки не дошли... Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2014, 12:28:18 |
|
||
|
|

start [/forum/topic.php?fid=40&msg=38607945&tid=1563701]: |
0ms |
get settings: |
5ms |
get forum list: |
19ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
179ms |
get topic data: |
7ms |
get forum data: |
1ms |
get page messages: |
38ms |
get tp. blocked users: |
1ms |
| others: | 217ms |
| total: | 473ms |

| 0 / 0 |
