|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
OoCc Leonid Kudryavtsev пропущено... Какая разница? Главное, что бы в лог попал момент снятия снапшота. Ну так снапшот то делается средствами ZFS. СУБД об этом ничего не знает. И как же ты предлагаешь снять снапшот с двух разных пулов в один и тот же момент? ZFS это поддерживает? Сомневаюсь Зачем в один и тот же момент? Главное, что бы за время снятия снапшота(ов) "круг Redo Log'ов" по новой не пошел. Это как же нужно со снапшотами тормозить, что бы Log'и пролюбить. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2020, 18:03 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev OoCc пропущено... Ну так снапшот то делается средствами ZFS. СУБД об этом ничего не знает. И как же ты предлагаешь снять снапшот с двух разных пулов в один и тот же момент? ZFS это поддерживает? Сомневаюсь Зачем в один и тот же момент? Главное, что бы за время снятия снапшота(ов) "круг Redo Log'ов" по новой не пошел. Это как же нужно со снапшотами тормозить, что бы Log'и пролюбить. Возможно тут я сморозил ересть. Давно не занимался СУБД. В любом случае клон открытой базы данных через ZFS это грязный хак. Неспроста оракул советует это делать через стандбай бд. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2020, 20:07 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
Не уходите в сторону, обсуждается нужен ZFS или нет Категорическое нет - неправильно. Есть и используется, и пусть будет Кому-то это нужно А по поводу клонирования БД - "Рыба есть, ловить нужно уметь ...(С)" PS/ Никто не предлагал класть продуктивную БД на ZFS on linux, просто продемонстрировано, что он в каких-то случаях нужен и полезен И никто не предлагал делать снапшоты на живой БД, хотя это тоже работать будет. При наличии ZoL реализовать технологию Oracle не так сложно, тот же "ручной" стендбай тоже несложно сделать Не нужно категорически заявлять "Не нужен, он не для этого и т п ..." Пусть каждый сам решает нужен или не нужен и как его использовать ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2020, 20:34 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
OoCc В любом случае клон открытой базы данных через ZFS это грязный хак не вижу хака клон почти и есть синоним слова снапшот если оборудование/файловая_система __корректно__ поддерживает снапшоты, то почему ими не пользоваться видел репликацию/снапшоты между территориально распределенными площадками через возможности storage, насколько это "грязный хак" сказать не могу. Но вроде и организации солидные и в процессе продажи/рекомендации/внедрения сам вендор принимал участие Снятие снапшота и последующий запуск на снятом снапшоте - аналог нажатия Reset. При __корректно__ работающей дисковой подсистеме и вменяемых настройках, Oracle от такого умирать не должен. Неспроста оракул советует это делать через стандбай бд. теплое и мягкое что делать тем, у кого нет стандбай? Первый попавшийся документ в гугле (сам читал только по диагонали) Cloning an Oracle Database to the Same Server Using Snapshot and Volume Copy august 2010 https://www.oracle.com/technetwork/articles/systems-hardware-architecture/cloning-db-using-snapshot-vc-170904.pdf Benefits of Using Snapshot The Snapshot premium feature lets you create a point-in-time copy of data on a volume. This copy is the logical equivalent of data on the complete base volume, but the point-in-time copy is created much faster than a complete physical copy, typically, within a few seconds. Due to the architecture of Snapshot, creating the copy typically requires much less drive space. Snapshot volumes become a read/write volume that can be assigned to the same host or to a secondary host depending on the content of the volume. You can use the Snapshot volumes for many purposes, such as application backups, while leaving the base volume online and accessible to the user. Хотя они рекомендуют BEGIN BACKUP перед снятием снапшота. 1. Quiesce the database in preparation for a Snapshot and Volume Copy. Enter the following commands. SQL> alter system switch logfile; SQL> alter database begin backup; SQL> alter system quiesce restricted; SQL> select active_state from v$instance; 2. Create a new snapshot using ..... 3. Bring the source database back online. Enter the following commands. SQL> alter system unquiesce SQL> alter database end backup; SQL> alter system switch logfile; На мой взгляд, масло-масленное. BEGIN BACKUP и так запись в дата файлы останавливает. Зачем еще quiesce не очень понятно (остановить запись в Redo?). Ну и не говоря о том, что если snapshot выполняется корректно, то, _теоретически_ и от отсутвия BEGIN BACKUP плохо быть не должно. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2020, 20:54 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
begin/end backup в случае ZFS-снапшотов нужен на случай, если файлы БД лежат на разных ФС, чтобы обеспечить консистентность редулогов датафайлам, а тех - контролфайлам, т.к. снапшоты разных ФС - это разные снапшоты. Для БД, целиком располагающихся на одной ФС (датафайлы + редулоги + контролфайлы в случае оракла) такого делать не нужно. Вот из свежего личного опыта - PostgreSQL, очень требовательная к времени отклика и активная БД в ~терабайт размером целиком на NVMe (ZFS mirror из двух девайсов), за счёт компрессии (lz4) собственно на NVMe занято около 400 Гб, эффективность сжатия 2.43x. Экономия просто за счёт ценника NVMe приличная. Бэкапится снапшотами и репликацией этих снапшотов на файлопомойку. Solaris, разумеется. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2020, 23:27 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
landy Чем делать? У нас второй сервак для этого, который накатывается из беклогов утром и по желанию. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2020, 05:03 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
landy Категорическое нет - неправильно. Оно лицензионно грязная, отсюда и категорическое не нужно. После истории с андроидом никто не хочет связываться с ораклом, поэтому поддержка сбоку со всеми вытекающими. Ну, юзать можно, пока её поддерживают, но, если что, не расстраивайтесь. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2020, 05:08 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
crutchmaster У нас второй сервак для этого, который накатывается из беклогов утром и по желанию. Да понятно все как в Oracle это делать, вопрос не в этом. Опять же, судя по всему у вас редакция EE с соответствующими лицензиями? Чтобы так делать - либо стойка нужна соответствующая(для SE), либо Oracle EE При текущих конфигурациях железа предлагаете пойти и попросить ~1 лям зеленых(ну или поменьше в случае со стойкой) на организацию копий БД? Тут про ненужность/нужность ZFS ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2020, 06:14 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
crutchmaster Оно лицензионно грязная, отсюда и категорическое не нужно. После истории с андроидом никто не хочет связываться с ораклом, поэтому поддержка сбоку со всеми вытекающими. Ну, юзать можно, пока её поддерживают, но, если что, не расстраивайтесь. Про лицензионность никто не спорит, но какое это имеет отношение к смене API интерфейсов ядра ввода/вывода и вставке палок в колеса конкретно для ZFS? Насколько я понял Линуса просили не менять(или часто не менять, или сделать стабильный API?) это. А его ответы(к слову заметить он не эксперт в ФС) про ппроизводительность и ненужность, а так же неподдержку разработки - вообще детский лепет(хотя он уже не может свои мысли высказывать без оглядки - денег платить не будут) Почему-то API для блобов не меняют, а вот для ZFS конкретно - это по полной Ну делают люди ZFS и пусть делают, не хочешь включать в ядро - не включай Вы же не подаете иски к поизводителям молотков из-за того, что кого-то молотком убили? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2020, 06:25 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
landy но какое это имеет отношение к смене API интерфейсов ядра ввода/вывода Такое, что гугл судят именно за API. landy а вот для ZFS конкретно - это по полной Там нет никакого API конкретно для ZFS, он про это и говорил, что оно не нужно, потому что засудят. landy Почему-то API для блобов не меняют Думаю там нет нигде API. Linux - монолит, который работает через void*. Поменялся какой-то внутренний функционал, стал падать модуль. landy Вы же не подаете иски к поизводителям молотков из-за того, что кого-то молотком убили? Вы будете смеяться, но некоторые таки подают и выигрывают. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2020, 07:52 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
Не буду спорить про фичи zfs, но во фре она показала себя с лучшей стороны, как в смысле устойчивости (вырубание электричества и т.д.) так и по сервисам (создание снапшотов, их пересылка, клонирование, восстановление, создание различных массивов, замена дисков). Внимательнее читать надо что выразил Торвальдс, сказано же, на сегодня лицензия под которой открыт код ZFS, не позволяет поставлять модуль ZFS в бинарном виде в ядре, которое имеет лицензию GPL, в противном случае возможны претензии правообладателя, отсюда вытекают его действия, Торвальдса, в отношении zfs. Если правообладатель заключит с ним соглашение, то возможно включение этого кода в ядро. Можно поставлять код zfs в исходниках, но не в бинарном виде, вы также можете как конечный пользователь сами скомпилировать бинарник и его использовать, но только у себя... Oracle же как правообладатель кода, может поставлять его в своем дистрибутиве как хочет... ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2020, 10:37 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
Sergey Orlov Не буду спорить про фичи zfs, но во фре она показала себя с лучшей стороны, как в смысле устойчивости (вырубание электричества и т.д.) так и по сервисам (создание снапшотов, их пересылка, клонирование, восстановление, создание различных массивов, замена дисков). ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2020, 10:41 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
bga83 Sergey Orlov Не буду спорить про фичи zfs, но во фре она показала себя с лучшей стороны, как в смысле устойчивости (вырубание электричества и т.д.) так и по сервисам (создание снапшотов, их пересылка, клонирование, восстановление, создание различных массивов, замена дисков). Ну тогда мы и готовить ее не умели под конкретику, память да и ссд-ки под кеш были дороги... У меня трудности начинались где-то под 85%, а все из-за ненужных, старых, снапшотов в пуле, поубиваиш их и все нормализуется... ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2020, 13:28 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
Даже без снапшотов zfs реагировала на удаление файлов достаточно с длинной реакцией. Фактически освобождение места происходило не сразу а через несколько минут. Это на моём медленном экономном WesternDigital 2Тб класса Green. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2020, 14:12 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
Но но поиск дубликатов через fdupe работал проазительно быстро. Я еще проверю этот факт сегодня вечером в сравнении с ext4. Я не знаю видит ли контрольные суммы утилита fdupe или нет но если она особым образом работает с zfs - это большой плюс. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2020, 14:13 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
Sergey Orlov bga83 пропущено... лет 6 назад на работе сталкивались с проблемами производительности zfs в солярке при заполнении ФС более 70%, причем даже сапорт толком не мог помочь нам Ну тогда мы и готовить ее не умели под конкретику, память да и ссд-ки под кеш были дороги... У меня трудности начинались где-то под 85%, а все из-за ненужных, старых, снапшотов в пуле, поубиваиш их и все нормализуется... ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2020, 15:37 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
У меня как-то была идея лет 5 назад для крупного проекта соптимизировать build с использованием Copy-On-Write. Там maven+gradle постояно чето копировали-перекопировали. Но для билда размером 500Мб кода это не имело столь сильного эффекта. В общей сложности компиллятор и Zip упаковщик пожирали все полезное время. Так что не взлетело. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2020, 15:56 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
landy Пример: - Бэкап БД идет 15-18 часов - считай спримерно столько же - восстановление - БД редакции SE Тебе нужно сделать актуальную копию БД для тестирования или разработки(иногда несколько раз на дню) Стойка без снапшотирования, БД работает 24x7 Чем делать? по мне так прям сильно высосанный из пальца пример. бэкап идет 18 часов и редакция SE. да еще все это счастье на ZFS разместили )) И раз 24х7 то это прод, а ты тут такой копию для разработки поднимаешь авторА какая разница? Датафайлы может и неконсистентны, но ведь Redo Log'и же будут. После востановления станут консистентными большая! чудес не бывает, ты либо стендбай из наката выводишь, либо свой 24х7 прод закрываешь. вот ораклы честно об этом пишут в описании к многомиллионной железяке. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2020, 08:36 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev Главное, что бы за время снятия снапшота(ов) "круг Redo Log'ов" по новой не пошел. Это как же нужно со снапшотами тормозить, что бы Log'и пролюбить. друг, возможно ты крут в сисадминстве, но в оракловые дела тебе лезть не стоит. добрый совет. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2020, 08:39 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
Scott Tiger Вот из свежего личного опыта - PostgreSQL, очень требовательная к времени отклика и активная БД в ~терабайт размером целиком на NVMe (ZFS mirror из двух девайсов), за счёт компрессии (lz4) собственно на NVMe занято около 400 Гб, эффективность сжатия 2.43x. Экономия просто за счёт ценника NVMe приличная. Бэкапится снапшотами и репликацией этих снапшотов на файлопомойку. Solaris, разумеется. надеюсь вы разворачивали Бд из тех снапшотов и пользовались ей? мы тоже плотно игрались на 12 ораклах со всякими снапшотами(и средствами дисковых массивов в том числе). Открытые БД клонили и стендбаи в накате. Ловили кучу проблем: ora-600, нечитаемые lob-ы, corruption blocks... В конце перешли на клонирование со стендбаев которые предварительно гасятся. Пара минут простоя, зато все проблемы как рукой сняло. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2020, 08:55 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
bga83 лет 6 назад на работе сталкивались с проблемами производительности zfs в солярке при заполнении ФС более 70%, причем даже сапорт толком не мог помочь нам это не баг, это фича - у нее алгоритм записи меняется при заполнении. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2020, 08:56 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
х.з. Scott Tiger Вот из свежего личного опыта - PostgreSQL, очень требовательная к времени отклика и активная БД в ~терабайт размером целиком на NVMe (ZFS mirror из двух девайсов), за счёт компрессии (lz4) собственно на NVMe занято около 400 Гб, эффективность сжатия 2.43x. Экономия просто за счёт ценника NVMe приличная. Бэкапится снапшотами и репликацией этих снапшотов на файлопомойку. Solaris, разумеется. надеюсь вы разворачивали Бд из тех снапшотов и пользовались ей? Разумеется: при многоэтапной миграции в неё данных происходили прикладные ошибки, из-за которых приходилось откатываться на снапшоты, которые делались по окончании каждого этапа. zfs rollback занимает несколько секунд. Аналогично и на файлопомойке снапшоты представляют заведомо консистентную копию ФС. х.з. мы тоже плотно игрались на 12 ораклах со всякими снапшотами(и средствами дисковых массивов в том числе). Открытые БД клонили и стендбаи в накате. Ловили кучу проблем: ora-600, нечитаемые lob-ы, corruption blocks... В конце перешли на клонирование со стендбаев которые предварительно гасятся. Пара минут простоя, зато все проблемы как рукой сняло. Думаю, дело в том, как именно вы делали снапшоты и как они фактически делались (или неправильно делали, или есть ошибки в реализации). Скорее всего, не обеспечивали консистентность _между_ разными ФС/LUN-ами, т.е. это был набор разных снапшотов. В случае ZFS и единственной ФС, на которой лежат все файлы БД, восстановление с такого снапшота идентично crash recovery. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2020, 09:29 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
А я всегда по жизни тормозил сервисы, делал снапшот, снова запускал сервиы, обычно до 10 минту простоя не больше, на все уходило, ну а снапшот или пересылал на другой сервак, его либо восстанавливал либо подмонтировал, и уже с этого делал backup... В зависимости от размера базы получалось быстрее, нежели делать backup баз силами sql-сервера... ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2020, 10:09 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
х.з. бэкап идет 18 часов и редакция SE. да еще все это счастье на ZFS разместили )) И раз 24х7 то это прод, а ты тут такой копию для разработки поднимаешь В каком месте сказано, что продуктив на ZFS? Не фантазируйте Пример был приведен для кричащих, что ZFS не нужен. Не нужен - не пользуйтесь, чего орать-то? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2020, 10:21 |
|
Комментарий Торвальдса относительно ZFS
|
|||
---|---|---|---|
#18+
Relic Hunter mayton, А причем тут Торвальдс? ваще не при чем.. с рать мы на него хотели.. спелся тока с л.элисоном.., гадёныш..! Relic Hunter Но для современных дата сторожей zfs кагбе стандарт уже. нормальные пасаны соляру юзают.. или FreeBSD :) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2020, 19:09 |
|
|
start [/forum/topic.php?fid=25&msg=39915636&tid=1481044]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
41ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
61ms |
get tp. blocked users: |
2ms |
others: | 271ms |
total: | 418ms |
0 / 0 |