Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Windows [игнор отключен] [закрыт для гостей] / Программное удаление устаревших файлов / 25 сообщений из 50, страница 1 из 2
15.08.2006, 02:45
    #33917827
kkv
kkv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
К именам файлов бэкапов (SQL Server) приписываю дату создания, например: db_backup_full_20060815.bak. Нужно программно удялять файлы бэкапов с датой, которая старше текущей на заданное в процедуре количество дней. Сейчас я это делаю с помощью команды del, но очень некрасивым способом :

Код: plaintext
1.
2.
3.
set @cmd = 'del ' + @backup_dir + @dbname + '_backup_full_' 
   + convert(varchar, getdate() - @retaindays,  112 ) + '*' + '.bak'
set @sql = 'master..xp_cmdshell ' + '''' + @cmd + ''''
exec(@sql)

где @retaindays - заданное количество дней, после которых архивные копии можно удалять. Естественно, что таким способом я могу удалить только те файлы , которые строго соответствуют условию [текущая дата] - [заданное количество дней]. Если же бэкап по каким-то причинам не прошел (например, из-за ошибок сети), то на следующий день запущенная процедура нужных файлов для удаления уже не увидит (не найдет по дате, зашитой в имя файла), что, естественно, может повлечь за собой переполнение диска устаревшими архивами. Следовательно, нужно как-то реализовать такой нехитрый алгоритм.

Код: plaintext
1.
если [дата создания файла] <= [заданной даты]
то <удалить ВСЕ файлы старше заданной даты]

С уважением, kkv
...
Рейтинг: 0 / 0
15.08.2006, 07:31
    #33917882
Biz©
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
kkvК именам файлов бэкапов (SQL Server) приписываю дату создания, например: db_backup_full_20060815.bak. Нужно программно удялять файлы бэкапов с датой, которая старше текущей на заданное в процедуре количество дней. Сейчас я это делаю с помощью команды del, но очень некрасивым способом :

Код: plaintext
1.
2.
3.
set @cmd = 'del ' + @backup_dir + @dbname + '_backup_full_' 
   + convert(varchar, getdate() - @retaindays,  112 ) + '*' + '.bak'
set @sql = 'master..xp_cmdshell ' + '''' + @cmd + ''''
exec(@sql)

где @retaindays - заданное количество дней, после которых архивные копии можно удалять. Естественно, что таким способом я могу удалить только те файлы , которые строго соответствуют условию [текущая дата] - [заданное количество дней]. Если же бэкап по каким-то причинам не прошел (например, из-за ошибок сети), то на следующий день запущенная процедура нужных файлов для удаления уже не увидит (не найдет по дате, зашитой в имя файла), что, естественно, может повлечь за собой переполнение диска устаревшими архивами. Следовательно, нужно как-то реализовать такой нехитрый алгоритм.

Код: plaintext
1.
если [дата создания файла] <= [заданной даты]
то <удалить ВСЕ файлы старше заданной даты]

С уважением, kkv
а чо, в сиквел-сервере нет штатной процедуры для этого ? апупеть ...
...
Рейтинг: 0 / 0
15.08.2006, 07:50
    #33917890
sanek842
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
или можно на wsh скрипт написать
...
Рейтинг: 0 / 0
15.08.2006, 09:14
    #33917975
ScareCrow
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
сиквелу можно указать - сколько хранить быкапы..


Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
15.08.2006, 09:16
    #33917978
GeT
GeT
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
Вот таким скриптом можно удалять файлы старше 2 недель:
автор
set fso=Wscript.CreateObject("Scripting.FileSystemObject")

dir="c:\tmp\"
set f = fso.GetFolder(dir)
Set fc = f.Files
For Each f1 in fc
d= f1.DateCreated
diff=DateDiff("d",d,Now)
if diff>14 Then
WScript.Echo "DELETE! " & f1.name
fso.DeleteFile(dir & "\" & f1.name)
end if
Next

Соответственно меняя 14 на что-то другое, выставляешь нужное количество дней. Только проверь сначала на чем-то не очень важном :)
...
Рейтинг: 0 / 0
15.08.2006, 09:29
    #33918009
GeT
GeT
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
Забыл сказать. Если тебе запрос на удаление не нужен (а я думаю что не нужен), то удали строчку:
WScript.Echo "DELETE! " & f1.name
...
Рейтинг: 0 / 0
15.08.2006, 10:00
    #33918108
kkv
kkv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
Biz©а чо, в сиквел-сервере нет штатной процедуры для этого ? апупеть ...В SQL Server есть штатное средство бэкапирования, здесь же стоит задача управлять файлами на уровне операционной системы.

ScareCrowсиквелу можно указать - сколько хранить быкапы.. Можно. Только при этом все файлы будут накладываться друг на друга и перезатираться будут не самые ранние, а сразу все бэкапы из одного устройства . Там просто указывается опция WITH INIT (с перезаписью) и RETAINDAYS (через какое количество дней это можно сделать).

С уважением, kkv
...
Рейтинг: 0 / 0
15.08.2006, 10:02
    #33918112
kkv
kkv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
GeT, спасибо, буду пробовать.

С уважением, kkv
...
Рейтинг: 0 / 0
15.08.2006, 10:10
    #33918131
Anatoly Podgoretsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
kkv Biz©[quot ScareCrow]сиквелу можно указать - сколько хранить быкапы..
Можно. Только при этом все файлы будут накладываться друг на друга и перезатираться будут не самые ранние, а сразу все бэкапы из одного устройства . Там просто указывается опция WITH INIT (с перезаписью) и RETAINDAYS (через какое количество дней это можно сделать).
Сам придумал или тебе кто то это сказал?
...
Рейтинг: 0 / 0
15.08.2006, 10:22
    #33918163
kkv
kkv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
Anatoly Podgoretsky kkv Biz©[quot ScareCrow]сиквелу можно указать - сколько хранить быкапы..
Можно. Только при этом все файлы будут накладываться друг на друга и перезатираться будут не самые ранние, а сразу все бэкапы из одного устройства . Там просто указывается опция WITH INIT (с перезаписью) и RETAINDAYS (через какое количество дней это можно сделать).
Сам придумал или тебе кто то это сказал?
И BOL читал, и на практике проверял. Так что полегче насчет "придумал".
автор INIT

Specifies that all backup sets should be overwritten , but preserves the media header. If INIT is specified, any existing backup set data on that device is overwritten.

The backup media is not overwritten if any one of the following conditions is met:

All backup sets on the media have not yet expired. For more information, see the EXPIREDATE and RETAINDAYS options.

The backup set name given in the BACKUP statement, if provided, does not match the name on the backup media. For more information, see the NAME clause.
Use the SKIP option to override these checks. For more information about interactions when using SKIP, NOSKIP, INIT, and NOINIT, see the Remarks section.

Note If the backup media is password protected, SQL Server does not write to the media unless the media password is supplied. This check is not overridden by the SKIP option. Password-protected media may be overwritten only by reformatting it. For more information, see the FORMAT option.
...
Рейтинг: 0 / 0
15.08.2006, 10:45
    #33918227
kkv
kkv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
В догонку. Это вполне стандартная задача перезатирать старые бэкапы, но при этом внутри устройства бэкапа нельзя удалить отдельный бэкап . Поэтому и разрабатываются подобные административные процедуры. Кстати, порыскал по форуму и нашел практически свою задачу - backup и время хранения .

С уважением, kkv
...
Рейтинг: 0 / 0
15.08.2006, 10:47
    #33918243
JohnS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
GeTВот таким скриптом можно удалять файлы старше 2 недель:
автор
set fso=Wscript.CreateObject("Scripting.FileSystemObject")

dir="c:\tmp\"
set f = fso.GetFolder(dir)
Set fc = f.Files
For Each f1 in fc
d= f1.DateCreated
diff=DateDiff("d",d,Now)
if diff>14 Then
WScript.Echo "DELETE! " & f1.name
fso.DeleteFile(dir & "\" & f1.name)
end if
Next

Соответственно меняя 14 на что-то другое, выставляешь нужное количество дней. Только проверь сначала на чем-то не очень важном :)

+5 . Давно хотел такое сделать . А то для винды это непреодолимая проблема , чистить TMP :-)
...
Рейтинг: 0 / 0
15.08.2006, 10:55
    #33918276
Green2
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
2 kkv
Чем вам ваше старое решение не нравится???
--



Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
15.08.2006, 10:55
    #33918278
--null--
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
авторЗабыл сказать. Если тебе запрос на удаление не нужен (а я думаю что не нужен), то удали строчку:
WScript.Echo "DELETE! " & f1.name

Это- совсем не запрос на удаление, а просто echo.
Предполагалось, что запуск идет из-под cscript, поэтому echo просто в консоли мелькнет.


первоисточник
...
Рейтинг: 0 / 0
15.08.2006, 11:13
    #33918334
GeT
GeT
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
--null-- авторЗабыл сказать. Если тебе запрос на удаление не нужен (а я думаю что не нужен), то удали строчку:
WScript.Echo "DELETE! " & f1.name

Это- совсем не запрос на удаление, а просто echo.
Предполагалось, что запуск идет из-под cscript, поэтому echo просто в консоли мелькнет.


первоисточник
Согласен, не правильно выразился.
Насчет первоисточника, не знаю. По-моему я его откуда-то с iXBT, брал (а может и отсюда). Точно не помню, давно было.
...
Рейтинг: 0 / 0
15.08.2006, 11:26
    #33918390
Ramin Hashimzade
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
с помощи делфи и WINAPI можно делать за 10 мин!
у меня есть компонент RaminDelphi можеш скачать здес www.hramin.jino-net.ru
вот там есть такая функция GetFileTime....

сперва пишеш рекурсию который будет по одному выбрать файлы потом проверяеш
Код: plaintext
if GetFileTime(....)<= [заданной даты] then delete


________________________________________
Я Знаю только то, что я ничего незнаю!
И чем я больше знаю, тем больше понимаю, что ничего не знаю!
www.hramin.jino-net.ru
...
Рейтинг: 0 / 0
15.08.2006, 12:05
    #33918558
kkv
kkv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
Green22 kkv
Чем вам ваше старое решение не нравится???
А тем и не нравится что удаление файлов происходит не по временному диапазону, а по точному соответствию имени файла (см. 1-й пост топика).

С уважением, kkv
...
Рейтинг: 0 / 0
15.08.2006, 12:18
    #33918592
Biz©
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
kkv Biz©а чо, в сиквел-сервере нет штатной процедуры для этого ? апупеть ...В SQL Server есть штатное средство бэкапирования, здесь же стоит задача управлять файлами на уровне операционной системы.

любая достойная система бэкапа имеет средства для очистки всего старого, што уже не входит в задаваемый ретеншн период ...
авторТолько при этом все файлы будут накладываться друг на друга и перезатираться будут не самые ранние, а сразу все бэкапы из одного устройства. Там просто указывается опция WITH INIT (с перезаписью) и RETAINDAYS (через какое количество дней это можно сделать).
вобще-то даже в африке INIT - это "инициализация", т.е. то што вы и имеете - удаление всего содержимого ... нет ли там чеголибо типа with replace, with overwrite и т.п. ?
...
Рейтинг: 0 / 0
15.08.2006, 13:11
    #33918776
Anatoly Podgoretsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
Biz©вобще-то даже в африке INIT - это "инициализация", т.е. то што вы и имеете - удаление всего содержимого ... нет ли там чеголибо типа with replace, with overwrite и т.п. ?
Есть, Maintnance Plan - именно он занимается удалением старых архивов базы и логов и работает нормально, у меня годами в папке архивы за две последнии недели, никакиъ ручек и скриптов. MS SQL сервер все делает сам и делает великолепно, помнит всю историю архивов. Удалять с помощью файловых операций находится на грани непрофессионализма. Убеждать автора не собираюсь, каждый ССЗБ
...
Рейтинг: 0 / 0
15.08.2006, 13:15
    #33918787
kkv
kkv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
Biz©любая достойная система бэкапа имеет средства для очистки всего старого, што уже не входит в задаваемый ретеншн период ...
Давайте не будем обсуждать достоинства и недостатки SQL Server, ибо это тема даже не для соответствующего форума, а для форума "Сравнение СУБД". Просто это такая политика - бэкапы делаются на устройства и если указывать опцию with noinit, то файлы будут добавляться туда до тех пор пока место на диске не закончится. Поэтому и сделана опция with init которая в сочетании с опциями retaindays, expiredate, skip, noskip препятствует (или наоборот, позволяет обходить это ограничение) перезаписывать все бэкапы из одного устройства через какой-то определенный промежуток времени. Предполагается, что АБД периодически архивирует бэкапы куда-то на внешние носители, а потому перезатирать нужно сразу все бэкапы из одного устройства. Еще раз повторюсь - внутри одного устройства нельзя удалить отдельный бэкап . Либо все, либо ничего. Рассматривать этот факт как недостаток или, напротив, как достоинство системы, (фактор, дисциплинирующий АБД) - это предмет длительной дискуссии. Если же вы еще раз внимательно перечитаете этот постинг с соответствующими ссылками, то поймете почему подобная задача периодически возникает у администраторов баз данных.

Biz© kkvТолько при этом все файлы будут накладываться друг на друга и перезатираться будут не самые ранние, а сразу все бэкапы из одного устройства. Там просто указывается опция WITH INIT (с перезаписью) и RETAINDAYS (через какое количество дней это можно сделать).
вобще-то даже в африке INIT - это "инициализация", т.е. то што вы и имеете - удаление всего содержимого ... нет ли там чеголибо типа with replace, with overwrite и т.п. ?
Опция with replace, разумеется, имеется, только она относится не к backup database, а к команде restore database, что в данном случае "ария из совершенно другой оперы".

P.S. И вообще, разговор изначально шел не о достоинствах или недостатках SQL Server, а о способах удаления устаревших файлов с помощью команд операционной системы. В принципе, я уже приблизительно понял идею как это реализовать, просто сейчас у меня эта задача, находится, как говорится, в фоновом режиме.

С уважением, kkv
...
Рейтинг: 0 / 0
15.08.2006, 13:34
    #33918859
kkv
kkv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
Anatoly PodgoretskyЕсть, Maintnance Plan - именно он занимается удалением старых архивов базы и логов и работает нормально, у меня годами в папке архивы за две последнии недели, никакиъ ручек и скриптов. MS SQL сервер все делает сам и делает великолепно, помнит всю историю архивов. Удалять с помощью файловых операций находится на грани непрофессионализма. Убеждать автора не собираюсь, каждый ССЗБ
Это все замечательно, как вы сказали, работает, спорить не буду. Но только в случае статичности системы. В реальной же жизни базы иногда переезжают с одного сервера на другой, появляются новые базы, да и сами планы резервного копирования/восстановления тоже отнюдь не постоянны. Для каждой базы перенастраивать свой план исполнения? Кому как, а мне лично больше по душе написать один раз хранимую процедуру, в которую помимо бэкапов вложить еще кучу всякой другой сопутствующей работы и просто из джобов автоматически ее вызывать с соответствующими параметрами. Это особенно актуально тогда, когда само количество администрируемых баз отнюдь не три-пять, а гораздо больше.

С уважением, kkv
...
Рейтинг: 0 / 0
15.08.2006, 13:59
    #33918942
Anatoly Podgoretsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
Ты бы все таки задал этот в форуме по MS SQL там подскажут более оптимальный путь, кроме того даже в случае файловых операций, сервер их в состоянии выполнять, без всяких бат файлов.

Мне кажется, что ты неправильным путем идешь.
...
Рейтинг: 0 / 0
15.08.2006, 14:42
    #33919081
Yanis
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
Anatoly Podgoretsky> каждый ССЗБ

А кто такой ССЗБ?
Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
15.08.2006, 15:46
    #33919301
trubb
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
тындекс говорит - сам себе злобный буратина,...
...
Рейтинг: 0 / 0
15.08.2006, 19:27
    #33919925
kkv
kkv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Программное удаление устаревших файлов
Anatoly Podgoretsky... кроме того даже в случае файловых операций, сервер их в состоянии выполнять, без всяких бат файлов.
Вот ты прицепился к сиквелу! Да причем тут SQL Server вообще?! Нужно было проще поставить вопрос, а именно спросить что-то типа: "мне надо программно удалять файлы старше некоторой даты, покажите набор команд из консоли", при этом не уточняя для чего именно и в какой среде. Разговор идет не о возможностях сиквела, а об несколько усложненных способах работы с файлами средствами самой операционной системы. Подобные задачи могут возникнуть абсолютно в любой СУБД или при программировании абсолютно на любом языке. И все они решаются путем обращения к командам ОС, в данном случае SQL Server просто посылает команду del на консоль (xp_cmdschell). Сервер баз данных не умеет, да и не должен уметь выполнять работу операционной системы, у него своей работы хватает. Для того и было разработано средство обращения сервера к командой строке xp_cmdschell, ведь все равно файловые операции будет выполнять именно ОС на понятном ей языке, а вовсе никакой не SQL Server (Oracle, DB2, Access, FoxPro и т.д.). К тому же речи о бат-файлах не было вообще, я говорил о хранимой процедуре, это далеко не одно и тоже. А почему мне нужен именно такой подход, а не через Maintenance Plan я уже объяснял выше, но попробую чуточку добавить. Вот, например, в моем случае бэкапы делаются трех видов: полный, дифферинциальный и журнала транзакций. При удалении устаревшего полного бэкапа нужно автоматически удалять и все последующие дифферинциальные бэкапы и бэкапы логов транзакций (без полного бэкапа это просто лишние файлы на диске, воспользоваться ими уже будет невозможно). Причем нужно не просто удалить все последующие дифы и логи, но до первого сделанного full-бэкапа. Можно ли такое реализовать с помощью Maintenance Plan? Сильно сомневаюсь... А бэкапчики у меня будь здоров, по 130 Гб, да и диффы с логами тоже нельзя сквозь пальцы рассматривать - в сумме по ним набегает порядка 80 гигов. Если все это вовремя не удалять, то никаких дисков не напасешься. И это только один пример, могу привести еще много причин по которым я не использую Maintenance Plan, но это уже совершенно другая тема и для другого форума. Maintenance Plan - отличный инструмент администрирования, но далеко не всегда и далеко не все задачи можно решать с его помощью. Целесообразность его применения нужно рассматривать в каждом конкретном случае.

Anatoly PodgoretskyМне кажется, что ты неправильным путем идешь.Когда кажется - креститься надо. Предложи тогда свой, правильный путь, а не только голословно навешивая ярлыки непрофессионализма только лишь потому что с помощью Maintenance Plan "никаких ручек и скриптов".

Anatoly PodgoretskyТы бы все таки задал этот в форуме по MS SQL там подскажут более оптимальный путь.Выше я уже приводил ссылку где разбиралась аналогичная задача. Даже не просто аналогичная, а практически та же самая. Так что ответ на свой вопрос я уже получил, заодно и почерпнув новые знания. Нашел я, правда, этот топик уже после того, как создал свой. Видимо там тоже идут неправильным путем...

С уважением, kkv
...
Рейтинг: 0 / 0
Форумы / Windows [игнор отключен] [закрыт для гостей] / Программное удаление устаревших файлов / 25 сообщений из 50, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]