powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / дедупликация полного бэкапа на ZFS
13 сообщений из 13, страница 1 из 1
дедупликация полного бэкапа на ZFS
    #38278037
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
есть ли аналог опции DEDUP_DEVICE ?
...
Рейтинг: 0 / 0
дедупликация полного бэкапа на ZFS
    #38282915
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
неужели никто не использует дедупликацию для полных бэкапов?
...
Рейтинг: 0 / 0
дедупликация полного бэкапа на ZFS
    #38282962
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sanyock2неужели никто не использует дедупликацию для полных бэкапов?Скорее всего большинство здесь вообще не знает что это такое, например как я. Я вообще думал вы форумом ошиблись.
Да и большинство проектов на Cache работают под Windows. Где с ZFS проблемы.
...
Рейтинг: 0 / 0
дедупликация полного бэкапа на ZFS
    #38283280
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DAiMorДа и большинство проектов на Cache работают под Windows.Как Вы смело )) У нас это не так, примерно поровну обе платформы. На мелких внедрениях - пожалуй, да, большинство Windows, на крупных - ровно наоборот; последние 3 года - практически один Linux.

Но дело даже не в этом, и не в ZFS. Какая-то форма сжатия бэкапа "на лету" в Cache не помешала бы, дедупликация - вообще было бы здорово.
...
Рейтинг: 0 / 0
дедупликация полного бэкапа на ZFS
    #38284046
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey MaslovDAiMorДа и большинство проектов на Cache работают под Windows.Как Вы смело )) У нас это не так, примерно поровну обе платформы. На мелких внедрениях - пожалуй, да, большинство Windows, на крупных - ровно наоборот; последние 3 года - практически один Linux.
Ну я прикинул в общем по всем, я проработал в 3 организациях, во всех используется преимущественно Windows.
по большей части из-за отсутствия админов под Linux. на последнем месте, есть только я кто мог бы поддерживать и поддерживаю Linux для тех клиентов кто его использует, а их у нас по сравнению с Windows очень мало. И этот факт не дает мне возможности уговорить на переход на Linux на больших нац.проектах которые мы поддерживаем т.к. не хватает нужных спецов на местах в казахстане и украине. те что есть порой и Windows угробить могут.
...
Рейтинг: 0 / 0
дедупликация полного бэкапа на ZFS
    #38284216
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да, такая проблема есть.
Но не всё так плохо: знаю нескольких админов, для кого Cache стало первым серьёзным приложением, внедрённым в Linux-е, по крайней мере в варианте Red Hat. Сейчас изучить азы Linux-а намного проще, чем это было, скажем, лет 8 назад.

А вот что проще угробить, ещё неизвестно... )))
...
Рейтинг: 0 / 0
дедупликация полного бэкапа на ZFS
    #38284619
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
т.е. хотелось бы получить полный бэкап пригодный для дедупликации, т.е. в котором будет много повторов по тем же смещениям, что и раньше

в DB2 подобное реализовано и включается опцией dedup_device:
http://ibmdatamag.com/2012/03/optimizing-backup-images-for-data-deduplication-devices

в firebird - nbackup

а в Cache? может уже оптимален для дедупликации? пока не пробовал
...
Рейтинг: 0 / 0
дедупликация полного бэкапа на ZFS
    #38284621
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey MaslovА вот что проще угробить, ещё неизвестно... )))
в отпуске венда сама может
...
Рейтинг: 0 / 0
дедупликация полного бэкапа на ZFS
    #38284777
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sanyock2а в Cache? может уже оптимален для дедупликации? пока не пробовалС одной стороны, Cache backup пишет блоки из различных БД (~ table space в DB2) последовательно, без перемешивания.
С другой стороны, хранение данных в Cache сильно отличается от большинства других БД, где индексы и данные хранятся отдельно и по-разному, и, видимо, "чанки" получаются в основном в области данных. Сильно упрощая: Cache хранит в B*-дереве как индексы, так и данные. В листьях дерева они перемешаны, причём к индексам уже применена компрессия ключей.
Обычные архиваторы обычно жмут БД Cache в 5-10 раз.
Так что пробуйте - и обязательно расскажите, что получилось.
...
Рейтинг: 0 / 0
дедупликация полного бэкапа на ZFS
    #38285049
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey MaslovОбычные архиваторы обычно жмут БД Cache в 5-10 раз.


архиваторы ищут дубли внутри файла, а меня интересуют дубли во "вчерашних" бэкапах, поэтому и смещения нужны фиксированные
...
Рейтинг: 0 / 0
дедупликация полного бэкапа на ZFS
    #38285209
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sanyock2,

т.е. будут просматриваться предыдущий файл бэкапа, и с ним пойдёт сравнение? В таком случае совпадения смещений в нескольких файлах можно ожидать, только если бэкапится одна БД. Редкий случай, хотя у кого-то, наверное, бывает. Попробуйте.

Вообще-то в Cache есть инкрементный и кумулятивный бэкапы, они выполняют эту работу сами. На выходе - файл, содержащий только измененные блоки с момента последнего любого или (соответственно) полного бэкапа.
...
Рейтинг: 0 / 0
дедупликация полного бэкапа на ZFS
    #38285276
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey Maslovsanyock2,

т.е. будут просматриваться предыдущий файл бэкапа, и с ним пойдёт сравнение? В таком случае совпадения смещений в нескольких файлах можно ожидать, только если бэкапится одна БД. Редкий случай, хотя у кого-то, наверное, бывает. Попробуйте.

Вообще-то в Cache есть инкрементный и кумулятивный бэкапы, они выполняют эту работу сами. На выходе - файл, содержащий только измененные блоки с момента последнего любого или (соответственно) полного бэкапа.

полные удобнее с учетом того, что дедупликация позволяет потреблять места как инкрементальные
ZFS deduplication работает на поблочном уровне файловой системы
...
Рейтинг: 0 / 0
дедупликация полного бэкапа на ZFS
    #38285439
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sanyock2,

это я понял. Осталось проверить теорию практикой ))
...
Рейтинг: 0 / 0
13 сообщений из 13, страница 1 из 1
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / дедупликация полного бэкапа на ZFS
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]