powered by simpleCommunicator - 2.0.35     © 2025 Programmizd 02
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Комментарий Торвальдса относительно ZFS
25 сообщений из 94, страница 3 из 4
Комментарий Торвальдса относительно ZFS
    #39914498
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
OoCc
Leonid Kudryavtsev

пропущено...

Какая разница?
Главное, что бы в лог попал момент снятия снапшота.

Ну так снапшот то делается средствами ZFS. СУБД об этом ничего не знает. И как же ты предлагаешь снять снапшот с двух разных пулов в один и тот же момент? ZFS это поддерживает? Сомневаюсь


Зачем в один и тот же момент?

Главное, что бы за время снятия снапшота(ов) "круг Redo Log'ов" по новой не пошел. Это как же нужно со снапшотами тормозить, что бы Log'и пролюбить.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914555
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev
OoCc
пропущено...

Ну так снапшот то делается средствами ZFS. СУБД об этом ничего не знает. И как же ты предлагаешь снять снапшот с двух разных пулов в один и тот же момент? ZFS это поддерживает? Сомневаюсь


Зачем в один и тот же момент?

Главное, что бы за время снятия снапшота(ов) "круг Redo Log'ов" по новой не пошел. Это как же нужно со снапшотами тормозить, что бы Log'и пролюбить.

Возможно тут я сморозил ересть. Давно не занимался СУБД. В любом случае клон открытой базы данных через ZFS это грязный хак. Неспроста оракул советует это делать через стандбай бд.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914567
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не уходите в сторону, обсуждается нужен ZFS или нет

Категорическое нет - неправильно. Есть и используется, и пусть будет
Кому-то это нужно
А по поводу клонирования БД - "Рыба есть, ловить нужно уметь ...(С)"

PS/ Никто не предлагал класть продуктивную БД на ZFS on linux,
просто продемонстрировано, что он в каких-то случаях нужен и полезен
И никто не предлагал делать снапшоты на живой БД, хотя это тоже работать будет.
При наличии ZoL реализовать технологию Oracle не так сложно, тот же "ручной" стендбай тоже несложно сделать
Не нужно категорически заявлять "Не нужен, он не для этого и т п ..."
Пусть каждый сам решает нужен или не нужен и как его использовать
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914570
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
OoCc
В любом случае клон открытой базы данных через ZFS это грязный хак

не вижу хака
клон почти и есть синоним слова снапшот
если оборудование/файловая_система __корректно__ поддерживает снапшоты, то почему ими не пользоваться

видел репликацию/снапшоты между территориально распределенными площадками через возможности storage, насколько это "грязный хак" сказать не могу. Но вроде и организации солидные и в процессе продажи/рекомендации/внедрения сам вендор принимал участие

Снятие снапшота и последующий запуск на снятом снапшоте - аналог нажатия Reset. При __корректно__ работающей дисковой подсистеме и вменяемых настройках, Oracle от такого умирать не должен.

Неспроста оракул советует это делать через стандбай бд.

теплое и мягкое
что делать тем, у кого нет стандбай?

Первый попавшийся документ в гугле (сам читал только по диагонали)

Cloning an Oracle Database to the Same Server Using Snapshot and Volume Copy
august 2010
https://www.oracle.com/technetwork/articles/systems-hardware-architecture/cloning-db-using-snapshot-vc-170904.pdf

Benefits of Using Snapshot

The Snapshot premium feature lets you create a point-in-time copy of data on a volume. This copy is
the logical equivalent of data on the complete base volume, but the point-in-time copy is created much
faster than a complete physical copy, typically, within a few seconds. Due to the architecture of
Snapshot, creating the copy typically requires much less drive space. Snapshot volumes become a
read/write volume that can be assigned to the same host or to a secondary host depending on the
content of the volume. You can use the Snapshot volumes for many purposes, such as application
backups, while leaving the base volume online and accessible to the user.


Хотя они рекомендуют BEGIN BACKUP перед снятием снапшота.
1. Quiesce the database in preparation for a Snapshot and Volume Copy. Enter the
following commands.

SQL> alter system switch logfile;
SQL> alter database begin backup;
SQL> alter system quiesce restricted;
SQL> select active_state from v$instance;

2. Create a new snapshot using .....

3. Bring the source database back online. Enter the following commands.
SQL> alter system unquiesce
SQL> alter database end backup;
SQL> alter system switch logfile;


На мой взгляд, масло-масленное. BEGIN BACKUP и так запись в дата файлы останавливает. Зачем еще quiesce не очень понятно (остановить запись в Redo?). Ну и не говоря о том, что если snapshot выполняется корректно, то, _теоретически_ и от отсутвия BEGIN BACKUP плохо быть не должно.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914588
Фотография Scott Tiger
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
begin/end backup в случае ZFS-снапшотов нужен на случай, если файлы БД лежат на разных ФС, чтобы обеспечить консистентность редулогов датафайлам, а тех - контролфайлам, т.к. снапшоты разных ФС - это разные снапшоты. Для БД, целиком располагающихся на одной ФС (датафайлы + редулоги + контролфайлы в случае оракла) такого делать не нужно.

Вот из свежего личного опыта - PostgreSQL, очень требовательная к времени отклика и активная БД в ~терабайт размером целиком на NVMe (ZFS mirror из двух девайсов), за счёт компрессии (lz4) собственно на NVMe занято около 400 Гб, эффективность сжатия 2.43x. Экономия просто за счёт ценника NVMe приличная. Бэкапится снапшотами и репликацией этих снапшотов на файлопомойку. Solaris, разумеется.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914611
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
landy
Чем делать?

У нас второй сервак для этого, который накатывается из беклогов утром и по желанию.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914613
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
landy
Категорическое нет - неправильно.

Оно лицензионно грязная, отсюда и категорическое не нужно. После истории с андроидом никто не хочет связываться с ораклом, поэтому поддержка сбоку со всеми вытекающими. Ну, юзать можно, пока её поддерживают, но, если что, не расстраивайтесь.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914619
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster

У нас второй сервак для этого, который накатывается из беклогов утром и по желанию.

Да понятно все как в Oracle это делать, вопрос не в этом.
Опять же, судя по всему у вас редакция EE с соответствующими лицензиями?
Чтобы так делать - либо стойка нужна соответствующая(для SE), либо Oracle EE
При текущих конфигурациях железа предлагаете пойти и попросить ~1 лям зеленых(ну или поменьше в случае со стойкой)
на организацию копий БД?
Тут про ненужность/нужность ZFS
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914620
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster

Оно лицензионно грязная, отсюда и категорическое не нужно. После истории с андроидом никто не хочет связываться с ораклом, поэтому поддержка сбоку со всеми вытекающими. Ну, юзать можно, пока её поддерживают, но, если что, не расстраивайтесь.


Про лицензионность никто не спорит, но какое это имеет отношение к смене API интерфейсов ядра ввода/вывода и
вставке палок в колеса конкретно для ZFS?
Насколько я понял Линуса просили не менять(или часто не менять, или сделать стабильный API?) это.
А его ответы(к слову заметить он не эксперт в ФС) про ппроизводительность и ненужность, а так же неподдержку разработки -
вообще детский лепет(хотя он уже не может свои мысли высказывать без оглядки - денег платить не будут)
Почему-то API для блобов не меняют, а вот для ZFS конкретно - это по полной
Ну делают люди ZFS и пусть делают, не хочешь включать в ядро - не включай
Вы же не подаете иски к поизводителям молотков из-за того, что кого-то молотком убили?
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914628
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
landy
но какое это имеет отношение к смене API интерфейсов ядра ввода/вывода

Такое, что гугл судят именно за API.
landy
а вот для ZFS конкретно - это по полной

Там нет никакого API конкретно для ZFS, он про это и говорил, что оно не нужно, потому что засудят.
landy
Почему-то API для блобов не меняют

Думаю там нет нигде API. Linux - монолит, который работает через void*. Поменялся какой-то внутренний функционал, стал падать модуль.
landy
Вы же не подаете иски к поизводителям молотков из-за того, что кого-то молотком убили?

Вы будете смеяться, но некоторые таки подают и выигрывают.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914692
Sergey Orlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не буду спорить про фичи zfs, но во фре она показала себя с лучшей стороны, как в смысле устойчивости (вырубание электричества и т.д.) так и по сервисам (создание снапшотов, их пересылка, клонирование, восстановление, создание различных массивов, замена дисков).
Внимательнее читать надо что выразил Торвальдс, сказано же, на сегодня лицензия под которой открыт код ZFS, не позволяет поставлять модуль ZFS в бинарном виде в ядре, которое имеет лицензию GPL, в противном случае возможны претензии правообладателя, отсюда вытекают его действия, Торвальдса, в отношении zfs. Если правообладатель заключит с ним соглашение, то возможно включение этого кода в ядро.
Можно поставлять код zfs в исходниках, но не в бинарном виде, вы также можете как конечный пользователь сами скомпилировать бинарник и его использовать, но только у себя...
Oracle же как правообладатель кода, может поставлять его в своем дистрибутиве как хочет...
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914697
Фотография bga83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sergey Orlov
Не буду спорить про фичи zfs, но во фре она показала себя с лучшей стороны, как в смысле устойчивости (вырубание электричества и т.д.) так и по сервисам (создание снапшотов, их пересылка, клонирование, восстановление, создание различных массивов, замена дисков).
лет 6 назад на работе сталкивались с проблемами производительности zfs в солярке при заполнении ФС более 70%, причем даже сапорт толком не мог помочь нам
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914786
Sergey Orlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bga83
Sergey Orlov
Не буду спорить про фичи zfs, но во фре она показала себя с лучшей стороны, как в смысле устойчивости (вырубание электричества и т.д.) так и по сервисам (создание снапшотов, их пересылка, клонирование, восстановление, создание различных массивов, замена дисков).
лет 6 назад на работе сталкивались с проблемами производительности zfs в солярке при заполнении ФС более 70%, причем даже сапорт толком не мог помочь нам

Ну тогда мы и готовить ее не умели под конкретику, память да и ссд-ки под кеш были дороги... У меня трудности начинались где-то под 85%, а все из-за ненужных, старых, снапшотов в пуле, поубиваиш их и все нормализуется...
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914808
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Даже без снапшотов zfs реагировала на удаление файлов достаточно с длинной реакцией.
Фактически освобождение места происходило не сразу а через несколько минут.

Это на моём медленном экономном WesternDigital 2Тб класса Green.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914810
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Но но поиск дубликатов через fdupe работал проазительно быстро. Я еще проверю этот факт
сегодня вечером в сравнении с ext4. Я не знаю видит ли контрольные суммы утилита fdupe
или нет но если она особым образом работает с zfs - это большой плюс.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914868
Фотография bga83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sergey Orlov
bga83
пропущено...
лет 6 назад на работе сталкивались с проблемами производительности zfs в солярке при заполнении ФС более 70%, причем даже сапорт толком не мог помочь нам

Ну тогда мы и готовить ее не умели под конкретику, память да и ссд-ки под кеш были дороги... У меня трудности начинались где-то под 85%, а все из-за ненужных, старых, снапшотов в пуле, поубиваиш их и все нормализуется...
у нас на сторвайзах вроде 7000-х все крутилось, без ссд конечно, но все равно складывалось впечатление что отнюдь не само железо виновато
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39914884
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У меня как-то была идея лет 5 назад для крупного проекта соптимизировать build с использованием Copy-On-Write.
Там maven+gradle постояно чето копировали-перекопировали.

Но для билда размером 500Мб кода это не имело столь сильного эффекта. В общей сложности компиллятор и Zip
упаковщик пожирали все полезное время. Так что не взлетело.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39915168
х.з.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
landy
Пример:
- Бэкап БД идет 15-18 часов
- считай спримерно столько же - восстановление
- БД редакции SE

Тебе нужно сделать актуальную копию БД для тестирования или разработки(иногда несколько раз на дню)
Стойка без снапшотирования, БД работает 24x7

Чем делать?

по мне так прям сильно высосанный из пальца пример.

бэкап идет 18 часов и редакция SE. да еще все это счастье на ZFS разместили )) И раз 24х7 то это прод, а ты тут такой копию для разработки поднимаешь

авторА какая разница?

Датафайлы может и неконсистентны, но ведь Redo Log'и же будут. После востановления станут консистентными
большая!

чудес не бывает, ты либо стендбай из наката выводишь, либо свой 24х7 прод закрываешь. вот ораклы честно об этом пишут в описании к многомиллионной железяке.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39915170
х.з.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev


Главное, что бы за время снятия снапшота(ов) "круг Redo Log'ов" по новой не пошел. Это как же нужно со снапшотами тормозить, что бы Log'и пролюбить.

друг, возможно ты крут в сисадминстве, но в оракловые дела тебе лезть не стоит. добрый совет.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39915174
х.з.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Scott Tiger

Вот из свежего личного опыта - PostgreSQL, очень требовательная к времени отклика и активная БД в ~терабайт размером целиком на NVMe (ZFS mirror из двух девайсов), за счёт компрессии (lz4) собственно на NVMe занято около 400 Гб, эффективность сжатия 2.43x. Экономия просто за счёт ценника NVMe приличная. Бэкапится снапшотами и репликацией этих снапшотов на файлопомойку. Solaris, разумеется.

надеюсь вы разворачивали Бд из тех снапшотов и пользовались ей?

мы тоже плотно игрались на 12 ораклах со всякими снапшотами(и средствами дисковых массивов в том числе). Открытые БД клонили и стендбаи в накате. Ловили кучу проблем: ora-600, нечитаемые lob-ы, corruption blocks... В конце перешли на клонирование со стендбаев которые предварительно гасятся. Пара минут простоя, зато все проблемы как рукой сняло.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39915176
х.з.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bga83
лет 6 назад на работе сталкивались с проблемами производительности zfs в солярке при заполнении ФС более 70%, причем даже сапорт толком не мог помочь нам

это не баг, это фича - у нее алгоритм записи меняется при заполнении.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39915187
Фотография Scott Tiger
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
х.з.
Scott Tiger

Вот из свежего личного опыта - PostgreSQL, очень требовательная к времени отклика и активная БД в ~терабайт размером целиком на NVMe (ZFS mirror из двух девайсов), за счёт компрессии (lz4) собственно на NVMe занято около 400 Гб, эффективность сжатия 2.43x. Экономия просто за счёт ценника NVMe приличная. Бэкапится снапшотами и репликацией этих снапшотов на файлопомойку. Solaris, разумеется.

надеюсь вы разворачивали Бд из тех снапшотов и пользовались ей?


Разумеется: при многоэтапной миграции в неё данных происходили прикладные ошибки, из-за которых приходилось откатываться на снапшоты, которые делались по окончании каждого этапа. zfs rollback занимает несколько секунд. Аналогично и на файлопомойке снапшоты представляют заведомо консистентную копию ФС.

х.з.
мы тоже плотно игрались на 12 ораклах со всякими снапшотами(и средствами дисковых массивов в том числе). Открытые БД клонили и стендбаи в накате. Ловили кучу проблем: ora-600, нечитаемые lob-ы, corruption blocks... В конце перешли на клонирование со стендбаев которые предварительно гасятся. Пара минут простоя, зато все проблемы как рукой сняло.


Думаю, дело в том, как именно вы делали снапшоты и как они фактически делались (или неправильно делали, или есть ошибки в реализации). Скорее всего, не обеспечивали консистентность _между_ разными ФС/LUN-ами, т.е. это был набор разных снапшотов. В случае ZFS и единственной ФС, на которой лежат все файлы БД, восстановление с такого снапшота идентично crash recovery.
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39915219
Sergey Orlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А я всегда по жизни тормозил сервисы, делал снапшот, снова запускал сервиы, обычно до 10 минту простоя не больше, на все уходило, ну а снапшот или пересылал на другой сервак, его либо восстанавливал либо подмонтировал, и уже с этого делал backup... В зависимости от размера базы получалось быстрее, нежели делать backup баз силами sql-сервера...
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39915229
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
х.з.

бэкап идет 18 часов и редакция SE. да еще все это счастье на ZFS разместили )) И раз 24х7 то это прод, а ты тут такой копию для разработки поднимаешь


В каком месте сказано, что продуктив на ZFS? Не фантазируйте
Пример был приведен для кричащих, что ZFS не нужен. Не нужен - не пользуйтесь, чего орать-то?
...
Рейтинг: 0 / 0
Комментарий Торвальдса относительно ZFS
    #39915636
dekloper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Relic Hunter
mayton,
А причем тут Торвальдс?

ваще не при чем..
с рать мы на него хотели..
спелся тока с л.элисоном.., гадёныш..!
Relic Hunter
Но для современных дата сторожей zfs кагбе стандарт уже.

нормальные пасаны соляру юзают.. или FreeBSD :)
...
Рейтинг: 0 / 0
25 сообщений из 94, страница 3 из 4
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Комментарий Торвальдса относительно ZFS
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]