Добрый день. просьба не судить за некоторые огрехи. Я чайник :) Точнее нечто среднее :)

Если все изложу не так - лучше подскажите как объяснить а не кидайте тапками

Суть такова - сеть магазинов - в каждом стоит (опять не надо кидать тапками оно уже есть оно работает и переделывать на мега правильный образец не кто не будет - оно же работает, пока оно вообще не перестанет работать, жадность она такая) по i3 и 16-32 гига оперативы винты под систему винты под базу (малочисленные магазины 1 винт на все), количество пользователей от 5 до 15 . Базы уже по 30+ или от 20+ гигов. Первое на единичных серваках собраных по принципу i3 + HDDSata 3 система бекапы + NVME база + temp все (база, винда, пользователи) тут база даже разбита на 2 файла и 3% занимает от основной базы свободное место на остальных более 10% + при этом бекапы на одинаковых базах на той где 3% свободного места - 7 гигов (модель восстановления простая) а на там где более 10% в одних так же 7 гигов в других 10 в третьих 12 или 13 гигов. В среднем базы по 30 + гигов

Беда в том что бекапы надо свести к минимуму - ибо свыше 10 гигов уже долго выкачиваются на сервер центральный за ночь не успевают. Пережимать через 1с каждую неделю долго - не автоматизируешь. и по ночам спать хочется :)
Да и сами базы с сильно большим свободным местом резервируемым под себя пугают

На сервере теперь уже выполняются регламентные:
раз в неделю - (бекап, проверка базы, переиндексация выборочная ввиде скрипта, обновление статистики, чистка кеша, полный бекап, чистка журнала свыше недели, подрезка журнала транзакций)
каждую ночь - тоже самое без проверки на ошибки
каждое утро - переиндексация выборочная ввиде скрипта, обновление статистики и чистка кэша
днем - переиндексация выборочная ввиде скрипта чистка кэша

Научите неразумного где и что делать - как избавиться от сильно разного по обьему бекапа ? как уменьшать сжать базу что бы бэкапы были нормальные по размерам ?

Модератор: Тема перенесена из форума "MySQL".

L_argoК-л ценные советы по сабжу маловетоятны.

- Поставьте сильнее железо.
как оно повлияет на размер бекапа и физически увеличивающее место у самой базы - оно резервируется под что ?
- Найдите другую работу :)
и что это мне добавит знаний ?

Batman1978,

Вот лучше вообще не писать такие ответы .. я совета толкового попросил а не флуд

Andy_OLAP,

Я правильно вас понимаю - что если я сейчас из того бекапа который мне кажется большим - не смогу восстановить базу - тогда это решение проблемы ? А если смогу - тогда что ?

alexeyvgBatman1978Научите неразумного где и что делать - как избавиться от сильно разного по обьему бекапа ? как уменьшать сжать базу что бы бэкапы были нормальные по размерам ?
Размер бакапа зависит от размера данных в базе
Это все понятно, я же не совсем глупый раз планов по наделал :)
но на одинаковых по размерам базах (одни показывают доступное место 13 гигов - другие 1% свободного) а по факту база под 30 гигов плюс минус 2-3 гига.. Но при этом бекап варируется от 6 до 13 гигов.
, и не зависит от размера свободного места. (за исключением влияния заполненности страниц)
это все тоже понятно но мы же смотрим на факт база весит 30 гигов ... пережимаешь через ДТ из под 1с и у базы уходит свободное место она чуть ужимается (2-3 гига) и бекап падает с 13 до 6 гигов но через день и перестроение индексов снова у базы раздувает свободное место
Соответственно, уменьшить бакапы можно уменьшением количества данных.
не вариант это торговая база - там и так делается удаление удаленных обьектов

Ещё вариант - можно сжимать бакапы какой нибудь утилитой, это более эффективно, чем штатное сжатие бакапа.
у меня в настройках сервера стоит сжатие модель восстановление простая - в самом плане тоже в бекапе стоит сжатие на случай если кто умный чета на сервере поправит .... это на всех серверах такие настройки. еще его зипом пережать ? сомневаюсь что будет результат
но я попробую .. вот прям сейчас начал

Кстати, надеюсь, сжатие бакапа вы используете?
о да

alexeyvg,

Не совсем понял у меня бекапы делаются в 10 вечера и в 5 утра - что бы не мешать магазину работать ибо тормоза дикие при бекапах от 6 гигов и выше хоть он на не SSD винтах делается 8 минут - магазин в это в время просто колом стоит на ссд 7.5 гигов с примерно такой же базы делается 52 секунды
но все равно ... за год работы у нас только 1 раз упала база и то ... сама по себе перешла в режим емердженсе и синг юзер ... за 3 дня я ее отреставрировал собрал новый сервак и теперь она самая лучшая по скорости работы

какой смысл ?

Владимир ЗатуливетерКак уже посоветовали попробуйте сжатие если не используете пока.

+ Посмотрите что еще в базах лежит, может быть есть что-то что можно просто грохнуть?...

подскажите как ?

Владимир ЗатуливетерКак уже посоветовали попробуйте сжатие если не используете пока.

У меня 2 раза стоит сжатие по умолчанию на сервере и в планах обслуживания по бекапам
читайте внимательнее

+ Посмотрите что еще в базах лежит, может быть есть что-то что можно просто грохнуть?...

alexeyvgBatman1978Научите неразумного где и что делать - как избавиться от сильно разного по обьему бекапа ? как уменьшать сжать базу что бы бэкапы были нормальные по размерам ?Размер бакапа зависит от размера данных в базе, и не зависит от размера свободного места. (за исключением влияния заполненности страниц)
Соответственно, уменьшить бакапы можно уменьшением количества данных.

Ещё вариант - можно сжимать бакапы какой нибудь утилитой, это более эффективно, чем штатное сжатие бакапа.
сегодня выкатил без сжатия 35 гигов - сжал сен зип - на 12% пожало лучше чем скуль - скуль 10400 зип 9200 но зип это делал 3 часа на i5 а скуль за 8 минут :)

Кстати, надеюсь, сжатие бакапа вы используете?

SERG1257я бы перевел базы в FULL RECOVERY и организовал log shipping на центральный сервер.
читайте выше - запрещено использовать диф бекапы
Переиндексацию оставил на раз в неделю
при том что у меня торговля бьет по 2 тыщи чеков если не больше - постоянно что-то принимают на склад .. удаляют доки создаю новые - я пробывал реже делать - тогда я буду чаще через дт и 1с перегонять базу - при 30 гигах и без постоянного переиндексирования - она умирает ... может вы путаете с перестроением ?
у меня скрипты с выборочной переиндексацией - работает на много быстрее и эфективнее чем скульное все перестроить все переиндексировать - я бы еще спасибо сказал за скрипт обновления статистики оптимальный - так как скулевский ну все подряд обновляет - а если там не было записей ?
Полный бакап - раз в неделю сразу после переиндексации
за это меня руководство просто уволит и все - падение винта - без бекапа ... не лучше сразу по собственному
DBCC CHECKDB раз в неделю
так и делаю - я же писал какие планы в шапке

Andy_OLAPBatman1978Andy_OLAP,

Я правильно вас понимаю - что если я сейчас из того бекапа который мне кажется большим - не смогу восстановить базу - тогда это решение проблемы ? А если смогу - тогда что ?
Это такая шутка? А Вы хотя бы один раз пробовали восстанавливать базу из бэкапа, на другой сервер, не поверх существующей? Или
вчера специально развернул в очередной раз на другом железе бекап смущающего меня магазина - вытащил из него простой не сжатый снова сжал зипером

Вам как новенькому поставлена задача обеспечить наличие бэкапов, а в час X, когда все умрет, начальство вызовет суперспециалиста, и уже он посмотрит, какие бэкапы свежие, какие в каком порядке накатывать и так далее?
да и не раз - я себе для тестирования той или иной проблемы постоянно бекапы с магазина забираю - разворачиваю базу и тестирую ошибки 1с исправляю и т.д.
не на живой же базе - а если что-то пойдет не так

вы можете без стеба предложить что-то дельное ?
что вы мне все время про жизнь ?
я написал сюда не скуки ради

есть дельный совет ? нет - проходите мимо
почитайте лучше что другие пишут

alexeyvgBatman1978но на одинаковых по размерам базах (одни показывают доступное место 13 гигов - другие 1% свободного) а по факту база под 30 гигов плюс минус 2-3 гига.. Но при этом бекап варируется от 6 до 13 гигов.Вы сделайте 2 раза бакап одной базы, с паузой минут 10 между бакапами

У меня есть такой опыт, когда бакапы файлов базы монотонно и постепенно возрастают в размерах, если их делать друг за другом без паузы. От 10 гигов до 30. Если делать с паузой, то всегда 10

Попробуйте, любопытно.

mag1_backup_2018_09_25_221903_9740445.bak в 22:24 закончился 10,4 гига
на диске 9,99 ГБ (10 732 314 624 байт)
mag1_backup_2018_09_25_223001_4048445.bak d 22:33 закончился 10.4 гига
на диске 9,99 ГБ (10 732 298 240 байт)

причем - это было в 22 вечера бекап по плану бекапирования но запустился позже я винты тестировал
а второй по плану обслуживания сделан
не монотонно в разные временные отрезки - эффекта радующего не видно

Batman1978,

Меня волнует вопрос - почему база себе резервирует много свободного места ?
может вам так понятнее будет - я подписал старые новые и где на ссд стоит база
причем на ссд база емкостью 90 гигобайт так же мало места резервирует себе а емкостью 200 гигов тоже на быстрых nvme резервирует порядка 20 гигов

Batman1978,

Batman1978,

Это на простом не ссд и свеже созданная буквально с болванки с апреля работает

Batman1978,

Старая база но на новом сервере ссд 970evo nvme pci x4

Batman1978,

Одна из первых баз на простом сервере без ссд

Batman1978,

не подписал первых два скрина там где 200 гиговая это на голдах сервер базы на 960 серии эво лежит

вторая картинка свеже пережатая через дт база все они делают кроме первого магазина по 6 гигов бекапы 200 гиговую не с чем сравнить

AndrFBatman1978На сервере теперь уже выполняются регламентные

Я правильно понимаю, что бэкапы вы делаете только Full, а Diff и Log не поймете зачем нужны?

Batman1978подрезка журнала транзакций)

Случаем не переводом базы в Simple?


неправильно меня поняли - Я знаю разницу между дифом и полным

у меня база в симпле

читайте всю ветку внимательно

не выдерайте из контекста слова

Andy_OLAPBatman1978у меня бекапы делаются в 10 вечера и в 5 утра - что бы не мешать магазину работать ибо тормоза дикие при бекапах от 6 гигов и выше хоть он на не SSD винтах делается 8 минут - магазин в это в время просто колом стоит на ссд 7.5 гигов с примерно такой же базы делается 52 секунды

Давайте таки проясним такую деталь. У Вас на каждом из магазинных серверов стоит по три диска HDD или SSD, "HDDSata 3 система бекапы + NVME база + temp все где лежат", получается, что файлы базы .mdf и файлы журналов .ldf лежат на диске D, который NMVE, а файлы бэкапов .bak на диске C, который или HDD, или SSD?

--Нет стандартный набор для магазина Сата3 на систему Сата 3 на бекапы временные (перед новым бекапом он удаляется и пишется новый) и базу MDF и LDF лежат на одном диске - только не надо сразу вой о том что надо на разные диски в рейды и т.д. я про это все знаю я струдом уговорил вообще поставить отдельно диск - раньше вообще все на одном было как в ноуте 1 винт в сервере
пока базы были новые и в них было мало данных все замечтательно работало. Пока не будет диких тормозов бизнес не даст добро на модифицирование сервера .. я и так с трудом 1 магазин сделал на новой версии - 1 винт под систему - 1 винт под беки - и НВМЕ под базу.
Прошу принять за данность и больше к обсуждению моих недостатков не возвращаться :)

У Вас для NMVE используются родные драйверы Samsung/Toshiba/Plextor или стандартный от Microsoft? Вы в курсе, что стандартный драйвер из Редмонда по дефолту включает дополнительную защиту от потери питания и поэтому не позволяет контроллеру производить упорядочивание операций записи, а когда чтение в рамках бэкапа совмещается с записью сразу в mdf и ldf на том же физическом PCI Express диске - у Вас и начинаются дикие тормоза.
--Давайте сразу рамки поставим - беки делаются в нерабочее время - это 5 и 10 утра ... в это время крутятся только регламенты - они там не нагружают винты скорее процы шелестят
- но ваша мысль мне интересна я проверю сайт самсов на драйваера - поставлю их на 2 серверах и проверю разницу до - у меня как раз есть синтетика на базе кристал диска по скоростям - могу выложить вам для сравнения - кстати там ссд на сата3 интеловые хорошие nwme на m2 в материнке (вот кто придумал это - руки отрубить ему - так убить скоростя на винте еще надо бы придумать) и разные модели ево нвме на pci x4


наконец таки от вас пошел конструктив, но опять же помоему вы все не туда смотрите - я тоже часто использую метод научного тыка :) поразительные порой дает результаты

SiemarglAndrF,

1 магазин, а база 20-30Гб o_O

наверное за 300 лет с не собранными логами

вот далось оно вам ?

чистая база с 30 тысячами или больше номенклатуры цены справочники еще черт знает сколько всего - без движений без документов - заготовка для нового магазина 22 гига - что там не собранных логов отчего им там быть

не уводите и не сбивайте с темы народ

alexeyvgBatman1978Меня волнует вопрос - почему база себе резервирует много свободного места ?Свободное место появляется либо при удалении данных, либо при росте файла, если установлен большой шаг прироста базы. Но этот шаг нежелательно делать слишком маленьким, т.к. будет медленно работать.

каждая база это близнец другой отличие только в одной песка 100 мешков в другой 300
ели что-то удалится много значит удалится в другой все магазины торгуют одним и тем же товаром в разных точках
рост файла 200 мб
лог прирост 50 мб

alexeyvgBatman1978Меня волнует вопрос - почему база себе резервирует много свободного места ?Свободное место появляется либо при удалении данных, либо при росте файла, если установлен большой шаг прироста базы. Но этот шаг нежелательно делать слишком маленьким, т.к. будет медленно работать.

операция - выгружаем базу в ДТ - потом удаляем на сервере - создаем пустую - заливаем опять из ДТ
у нас чистая база - пережатая переиндексированная и т.д. от 1с - свободного места менее 1%
проходит день - ночью после переиндексации выборочной - кому надо индексироваться того и индексироем - обновляем статистику - на следующий день база резервирует 10 гигов себе места я скрин выложил маг 8
что за день успели удалить 20 тысяч чеков - бред
чек диск базы ошибок не показывает

просто взять и залить данные в новую базу ? 10 гигов инфы через обмен представляете сколько это времени уйдет на просто проверить ?

[quot AndrF]alexeyvgпропущено...


Ну тогда это его первая ошибка. Правильное расписание бэкапа позволило бы создавать их быстро (все же Diff и Log делаются заметно быстрей чем Full и имеют маленький размер) и иметь возможность восстановления практически на любое время.

А 30..100 GB база - это вообще мелочь...

Диф не обсуждается - я же писал выше
Все фул и режим базы симпл

PizzaPizzaBatman1978В среднем базы по 30 + гигов

Шо, рили?
Простой вопрос: а нафига? Ну вот ради даже интереса - неужели в магазинах используют все 30 гигов данных каждый день, ну или раз в квартал хотя бы?

Я бы сделал партицирование, старые данные поставил бы в RO и не бекапировал по сто раз, тогда и не придется гонять гиги по сети.

оборачиваемость - аналитика прошлый год - чистая база без данных 22 гига

AndrFBatman1978--Давайте сразу рамки поставим - беки делаются в нерабочее время - это 5 и 10 утра ... в это время крутятся только регламенты - они там не нагружают винты скорее процы шелестят

Вообще же бэкап базы в ~30 GB на диск делается за 3..5 минут . Если у вас явно больше, то дело в железе...


Да дело не во времени создания бекапа - да хоть полтара часа пусть делается
Дело в том что - близнецы базы - одна бекап делает 6 гигов другая 10 - пережму через 1с.дт файл будет делать 6 гигов
мне нужно решение средства скуля - 1с я так не автоматизирую процесс - ну ладно а 80 гигов - уходит полночи пережатие
200 гигов - посчитает сколько уйдет времени ?
каждая из баз в 21:00 можно начать и к 7 утра все должно быть готово быть в работе
у меня есть днем работа а ночью почему то хочется спать

AndrFBatman1978Диф не обсуждается - я же писал выше
Все фул и режим базы симпл

Ваше дело, конечно. Хотите хранить кучу больших файлов - храните.

Но почему вы не желаете делать бэкапирование по нормальному - хоть бы объяснили, а то интересно...
откройте первую страницу и начните сначала читать

Batman1978Добрый день. просьба не судить за некоторые огрехи. Я чайник :) Точнее нечто среднее :)

Если все изложу не так - лучше подскажите как объяснить а не кидайте тапками

Суть такова - сеть магазинов - в каждом стоит (опять не надо кидать тапками оно уже есть оно работает и переделывать на мега правильный образец не кто не будет - оно же работает, пока оно вообще не перестанет работать, жадность она такая) по i3 и 16-32 гига оперативы винты под систему винты под базу (малочисленные магазины 1 винт на все), количество пользователей от 5 до 15 . Базы уже по 30+ или от 20+ гигов. Первое на единичных серваках собраных по принципу i3 + HDDSata 3 система бекапы + NVME база + temp все (база, винда, пользователи) тут база даже разбита на 2 файла и 3% занимает от основной базы свободное место на остальных более 10% + при этом бекапы на одинаковых базах на той где 3% свободного места - 7 гигов (модель восстановления простая) а на там где более 10% в одних так же 7 гигов в других 10 в третьих 12 или 13 гигов. В среднем базы по 30 + гигов

Беда в том что бекапы надо свести к минимуму - ибо свыше 10 гигов уже долго выкачиваются на сервер центральный за ночь не успевают. Пережимать через 1с каждую неделю долго - не автоматизируешь. и по ночам спать хочется :)
Да и сами базы с сильно большим свободным местом резервируемым под себя пугают

На сервере теперь уже выполняются регламентные:
раз в неделю - (бекап, проверка базы, переиндексация выборочная ввиде скрипта, обновление статистики, чистка кеша, полный бекап, чистка журнала свыше недели, подрезка журнала транзакций)


каждую ночь - тоже самое без проверки на ошибки
каждое утро - переиндексация выборочная ввиде скрипта, обновление статистики и чистка кэша
днем - переиндексация выборочная ввиде скрипта чистка кэша

Научите неразумного где и что делать - как избавиться от сильно разного по обьему бекапа ? как уменьшать сжать базу что бы бэкапы были нормальные по размерам ?

Модератор: Тема перенесена из форума "MySQL".

специально для ттех кто ленится открыть и почитать