Добрый день. просьба не судить за некоторые огрехи. Я чайник :) Точнее нечто среднее :)

Если все изложу не так - лучше подскажите как объяснить а не кидайте тапками

Суть такова - сеть магазинов - в каждом стоит (опять не надо кидать тапками оно уже есть оно работает и переделывать на мега правильный образец не кто не будет - оно же работает, пока оно вообще не перестанет работать, жадность она такая) по i3 и 16-32 гига оперативы винты под систему винты под базу (малочисленные магазины 1 винт на все), количество пользователей от 5 до 15 . Базы уже по 30+ или от 20+ гигов. Первое на единичных серваках собраных по принципу i3 + HDDSata 3 система бекапы + NVME база + temp все (база, винда, пользователи) тут база даже разбита на 2 файла и 3% занимает от основной базы свободное место на остальных более 10% + при этом бекапы на одинаковых базах на той где 3% свободного места - 7 гигов (модель восстановления простая) а на там где более 10% в одних так же 7 гигов в других 10 в третьих 12 или 13 гигов. В среднем базы по 30 + гигов

Беда в том что бекапы надо свести к минимуму - ибо свыше 10 гигов уже долго выкачиваются на сервер центральный за ночь не успевают. Пережимать через 1с каждую неделю долго - не автоматизируешь. и по ночам спать хочется :)
Да и сами базы с сильно большим свободным местом резервируемым под себя пугают

На сервере теперь уже выполняются регламентные:
раз в неделю - (бекап, проверка базы, переиндексация выборочная ввиде скрипта, обновление статистики, чистка кеша, полный бекап, чистка журнала свыше недели, подрезка журнала транзакций)
каждую ночь - тоже самое без проверки на ошибки
каждое утро - переиндексация выборочная ввиде скрипта, обновление статистики и чистка кэша
днем - переиндексация выборочная ввиде скрипта чистка кэша

Научите неразумного где и что делать - как избавиться от сильно разного по обьему бекапа ? как уменьшать сжать базу что бы бэкапы были нормальные по размерам ?

Модератор: Тема перенесена из форума "MySQL".

L_argoК-л ценные советы по сабжу маловетоятны.

- Поставьте сильнее железо.
как оно повлияет на размер бекапа и физически увеличивающее место у самой базы - оно резервируется под что ?
- Найдите другую работу :)
и что это мне добавит знаний ?

Batman1978,

Вот лучше вообще не писать такие ответы .. я совета толкового попросил а не флуд

Andy_OLAP,

Я правильно вас понимаю - что если я сейчас из того бекапа который мне кажется большим - не смогу восстановить базу - тогда это решение проблемы ? А если смогу - тогда что ?

alexeyvgBatman1978Научите неразумного где и что делать - как избавиться от сильно разного по обьему бекапа ? как уменьшать сжать базу что бы бэкапы были нормальные по размерам ?
Размер бакапа зависит от размера данных в базе
Это все понятно, я же не совсем глупый раз планов по наделал :)
но на одинаковых по размерам базах (одни показывают доступное место 13 гигов - другие 1% свободного) а по факту база под 30 гигов плюс минус 2-3 гига.. Но при этом бекап варируется от 6 до 13 гигов.
, и не зависит от размера свободного места. (за исключением влияния заполненности страниц)
это все тоже понятно но мы же смотрим на факт база весит 30 гигов ... пережимаешь через ДТ из под 1с и у базы уходит свободное место она чуть ужимается (2-3 гига) и бекап падает с 13 до 6 гигов но через день и перестроение индексов снова у базы раздувает свободное место
Соответственно, уменьшить бакапы можно уменьшением количества данных.
не вариант это торговая база - там и так делается удаление удаленных обьектов

Ещё вариант - можно сжимать бакапы какой нибудь утилитой, это более эффективно, чем штатное сжатие бакапа.
у меня в настройках сервера стоит сжатие модель восстановление простая - в самом плане тоже в бекапе стоит сжатие на случай если кто умный чета на сервере поправит .... это на всех серверах такие настройки. еще его зипом пережать ? сомневаюсь что будет результат
но я попробую .. вот прям сейчас начал

Кстати, надеюсь, сжатие бакапа вы используете?
о да

alexeyvg,

Не совсем понял у меня бекапы делаются в 10 вечера и в 5 утра - что бы не мешать магазину работать ибо тормоза дикие при бекапах от 6 гигов и выше хоть он на не SSD винтах делается 8 минут - магазин в это в время просто колом стоит на ссд 7.5 гигов с примерно такой же базы делается 52 секунды
но все равно ... за год работы у нас только 1 раз упала база и то ... сама по себе перешла в режим емердженсе и синг юзер ... за 3 дня я ее отреставрировал собрал новый сервак и теперь она самая лучшая по скорости работы

какой смысл ?

Владимир ЗатуливетерКак уже посоветовали попробуйте сжатие если не используете пока.

+ Посмотрите что еще в базах лежит, может быть есть что-то что можно просто грохнуть?...

подскажите как ?

Владимир ЗатуливетерКак уже посоветовали попробуйте сжатие если не используете пока.

У меня 2 раза стоит сжатие по умолчанию на сервере и в планах обслуживания по бекапам
читайте внимательнее

+ Посмотрите что еще в базах лежит, может быть есть что-то что можно просто грохнуть?...

alexeyvgBatman1978Научите неразумного где и что делать - как избавиться от сильно разного по обьему бекапа ? как уменьшать сжать базу что бы бэкапы были нормальные по размерам ?Размер бакапа зависит от размера данных в базе, и не зависит от размера свободного места. (за исключением влияния заполненности страниц)
Соответственно, уменьшить бакапы можно уменьшением количества данных.

Ещё вариант - можно сжимать бакапы какой нибудь утилитой, это более эффективно, чем штатное сжатие бакапа.
сегодня выкатил без сжатия 35 гигов - сжал сен зип - на 12% пожало лучше чем скуль - скуль 10400 зип 9200 но зип это делал 3 часа на i5 а скуль за 8 минут :)

Кстати, надеюсь, сжатие бакапа вы используете?

SERG1257я бы перевел базы в FULL RECOVERY и организовал log shipping на центральный сервер.
читайте выше - запрещено использовать диф бекапы
Переиндексацию оставил на раз в неделю
при том что у меня торговля бьет по 2 тыщи чеков если не больше - постоянно что-то принимают на склад .. удаляют доки создаю новые - я пробывал реже делать - тогда я буду чаще через дт и 1с перегонять базу - при 30 гигах и без постоянного переиндексирования - она умирает ... может вы путаете с перестроением ?
у меня скрипты с выборочной переиндексацией - работает на много быстрее и эфективнее чем скульное все перестроить все переиндексировать - я бы еще спасибо сказал за скрипт обновления статистики оптимальный - так как скулевский ну все подряд обновляет - а если там не было записей ?
Полный бакап - раз в неделю сразу после переиндексации
за это меня руководство просто уволит и все - падение винта - без бекапа ... не лучше сразу по собственному
DBCC CHECKDB раз в неделю
так и делаю - я же писал какие планы в шапке

Andy_OLAPBatman1978Andy_OLAP,

Я правильно вас понимаю - что если я сейчас из того бекапа который мне кажется большим - не смогу восстановить базу - тогда это решение проблемы ? А если смогу - тогда что ?
Это такая шутка? А Вы хотя бы один раз пробовали восстанавливать базу из бэкапа, на другой сервер, не поверх существующей? Или
вчера специально развернул в очередной раз на другом железе бекап смущающего меня магазина - вытащил из него простой не сжатый снова сжал зипером

Вам как новенькому поставлена задача обеспечить наличие бэкапов, а в час X, когда все умрет, начальство вызовет суперспециалиста, и уже он посмотрит, какие бэкапы свежие, какие в каком порядке накатывать и так далее?
да и не раз - я себе для тестирования той или иной проблемы постоянно бекапы с магазина забираю - разворачиваю базу и тестирую ошибки 1с исправляю и т.д.
не на живой же базе - а если что-то пойдет не так

вы можете без стеба предложить что-то дельное ?
что вы мне все время про жизнь ?
я написал сюда не скуки ради

есть дельный совет ? нет - проходите мимо
почитайте лучше что другие пишут

alexeyvgBatman1978но на одинаковых по размерам базах (одни показывают доступное место 13 гигов - другие 1% свободного) а по факту база под 30 гигов плюс минус 2-3 гига.. Но при этом бекап варируется от 6 до 13 гигов.Вы сделайте 2 раза бакап одной базы, с паузой минут 10 между бакапами

У меня есть такой опыт, когда бакапы файлов базы монотонно и постепенно возрастают в размерах, если их делать друг за другом без паузы. От 10 гигов до 30. Если делать с паузой, то всегда 10

Попробуйте, любопытно.

mag1_backup_2018_09_25_221903_9740445.bak в 22:24 закончился 10,4 гига
на диске 9,99 ГБ (10 732 314 624 байт)
mag1_backup_2018_09_25_223001_4048445.bak d 22:33 закончился 10.4 гига
на диске 9,99 ГБ (10 732 298 240 байт)

причем - это было в 22 вечера бекап по плану бекапирования но запустился позже я винты тестировал
а второй по плану обслуживания сделан
не монотонно в разные временные отрезки - эффекта радующего не видно

Batman1978,

Меня волнует вопрос - почему база себе резервирует много свободного места ?
может вам так понятнее будет - я подписал старые новые и где на ссд стоит база
причем на ссд база емкостью 90 гигобайт так же мало места резервирует себе а емкостью 200 гигов тоже на быстрых nvme резервирует порядка 20 гигов

Batman1978,

Batman1978,

Это на простом не ссд и свеже созданная буквально с болванки с апреля работает