ReSQL.ru
     
powered by simpleCommunicator - 2.0.35     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Комментарий Торвальдса относительно ZFS
94 сообщений из 94, показаны все 4 страниц
  все  
Комментарий Торвальдса относительно ZFS
    #39912698
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Со ссылкой на сюда https://itsfoss.com/linus-torvalds-zfs/
можно прочитать несколько вот таких вот цитат.

Обсудите.
...
Рейтинг: 0 / 0
11.01.2020, 01:24
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39912704
Фотография Relic Hunter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Relic Hunter
Участник
mayton,

А причем тут Торвальдс? Не хочeт, пусть не пользует. Но для современных дата сторожей zfs кагбе стандарт уже.
...
Рейтинг: 0 / 0
11.01.2020, 02:31
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39912737
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Да я уже свои бэкапы фоток и видосов под zfs положил.
...
Рейтинг: 0 / 0
11.01.2020, 11:42
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39912781
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Меня беспокоит чтоб после очередного апдейта ядра на Ubuntu 18.x.x я не получил отказ в использовании модуля zfs.

Чортов любитель пингвинов...
...
Рейтинг: 0 / 0
11.01.2020, 14:53
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913075
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
mayton
Обсудите.

zfs не нужен. Что тут обсуждать?
mayton
Да я уже свои бэкапы фоток и видосов под zfs положил.

Ну и зря.
...
Рейтинг: 0 / 0
13.01.2020, 05:43
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913077
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
mayton
Меня беспокоит чтоб после очередного апдейта ядра на Ubuntu 18.x.x я не получил отказ в использовании модуля zfs

Так не обновляй. Фетиш на бета-софт?
...
Рейтинг: 0 / 0
13.01.2020, 05:49
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913141
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
13.01.2020 05:49, crutchmaster пишет:
>
> Так не обновляй.

оно само... (С)
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
13.01.2020, 11:54
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913165
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
Мимопроходящий
оно само... (С)

Там можно хоть 10 версий ядра поставить рядом и загружать какое хочешь. Никаких проблем. Плюс zfs в принципе пока еще поддерживают, просто не со стороны ядра, а сбоку. Да и не думаю, что ментейнеры убунты выпустят что-то ломающее, если zfs у них с 16 версии из коробки.
...
Рейтинг: 0 / 0
13.01.2020, 12:32
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913173
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
crutchmaster
mayton
Меня беспокоит чтоб после очередного апдейта ядра на Ubuntu 18.x.x я не получил отказ в использовании модуля zfs

Так не обновляй. Фетиш на бета-софт?

Увы мне увы. Обновляю Ubuntu LTS 18.x как только так сразу.
...
Рейтинг: 0 / 0
13.01.2020, 12:48
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913183
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
mayton,

Поставь тогда арч/генту. Гулять так гулять.
Да нихрена не будет твоей zfs, если серьёзно. В крайнем случае наделают патчей и припрут сбоку костылями.
...
Рейтинг: 0 / 0
13.01.2020, 13:02
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913187
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
совершенно непонятны как восторги по поводу zfs, так и огульное охаивание.
ну есть таковая, ну и ладно.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
13.01.2020, 13:10
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913254
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
mayton
Со ссылкой на сюда https://itsfoss.com/linus-torvalds-zfs/
можно прочитать несколько вот таких вот цитат.

Обсудите.

Если я правильно понял, не будет в ядре. Но, я так понимаю, его и сейчас там нет. Т.ч. ничего не поменяется

В целом, позиция совершенно правильная.

Мимопроходящийсовершенно непонятны как восторги по поводу zfs, так и огульное охаивание.

Как раз совершенно понятны. Если я правильно понимаю, оно реализовано в copy-on-write парадигме, т.ч. подходить НЕ для всякой нагрузки

Например файлы баз данных лично я бы подумал, можно и нужно ли их класть на ZFS

А фотки или файловую помойку, почему бы и нет.
...
Рейтинг: 0 / 0
13.01.2020, 15:24
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913262
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
У zfs много плюшек которые мне нравятся.
...
Рейтинг: 0 / 0
13.01.2020, 15:31
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913265
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
13.01.2020 15:31, mayton пишет:
> У zfs много плюшек которые мне нравятся.

10 лет тому взад, Оракел активно двигал zfs
https://docs.oracle.com/cd/E19253-01/819-5461/zfsover-2/index.html

но время шло, у Оракела появилась btrfs
и теперь zfs объявлена сукссом.

зы: такое же узконишевое го@но.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
13.01.2020, 15:42
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913268
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
Они и сейчас не бросают ZFS https://www.oracle.com/storage/nas/zs7-2/
...
Рейтинг: 0 / 0
13.01.2020, 15:45
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913449
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
mayton
У zfs много плюшек которые мне нравятся.

Например?
...
Рейтинг: 0 / 0
14.01.2020, 04:33
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913473
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
Например: снапшоты/клоны и как результат - создание копии БД(тест, разработка) практически мгновенно независимо от размера БД

Не нужно бездумно пихать все что есть куда ни попадя, каждому инструменту - свои задачи в конкретных условиях
В преддверии - купите стойку с поддержкой снапшотов - денег дадите, купим
...
Рейтинг: 0 / 0
14.01.2020, 08:35
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913482
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
landy
Например: снапшоты/клоны и как результат - создание копии БД(тест, разработка) практически мгновенно независимо от размера БД

Но это не копии, это именно снапшоты и они read-only же.
...
Рейтинг: 0 / 0
14.01.2020, 09:06
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913496
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
crutchmaster,

Нет - они RW
...
Рейтинг: 0 / 0
14.01.2020, 09:32
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913497
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
crutchmaster,

снапшот - RO, клон со снапшота - RW
...
Рейтинг: 0 / 0
14.01.2020, 09:33
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913516
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
Если вдумчиво настроить - то можно нагрузку на диски тоже уменьшить.
Но все зависит от характера нагрузки - смотреть нужно

Например - 3 инстанса БД на одном пуле, у каждой свой датасет (разработка, тест, предпрод)

 
Статистика arc
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
# arcstat 1
    time  read  miss  miss%  dmis  dm%  pmis  pm%  mmis  mm%  arcsz     c  
08:41:09     0     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:10    35     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:11    30     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:12   268     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:13    32     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:14    35     1      2     1    2     0    0     0    0   7.6G  8.0G  
08:41:15  7.7K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:16   20K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:17   22K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:18   21K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:19   21K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:20   21K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:21   19K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:22   22K     1      0     1    0     0    0     0    0   7.6G  8.0G  
08:41:23   22K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:24   22K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:25   22K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:26   21K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:27   22K     1      0     1    0     0    0     0    0   7.6G  8.0G  
08:41:29   16K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:30   16K     0      0     0    0     0    0     0    0   7.7G  8.0G  
08:41:31   22K     0      0     0    0     0    0     0    0   7.8G  8.0G  
08:41:32  8.8K     0      0     0    0     0    0     0    0   7.8G  8.0G  
08:41:33  7.5K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:34   11K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:35   11K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:36   11K     0      0     0    0     0    0     0    0   7.7G  8.0G  
08:41:37   11K     0      0     0    0     0    0     0    0   7.7G  8.0G  
08:41:38   17K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:39   24K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:40   35K     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:41  8.3K     2      0     2    0     0    0     0    0   7.6G  8.0G  
08:41:42    20     0      0     0    0     0    0     0    0   7.6G  8.0G  
08:41:43   556     0      0     0    0     0    0     0    0   7.6G  8.0G


 
Статистика дисков по вводу/выводу в этот период
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
08:40:01 AM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util

08:40:01 AM    dev2-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
08:40:01 AM   dev8-48     66.60    284.50    922.78     18.13      0.10      1.48      1.29      8.56
08:40:01 AM   dev8-16     83.91     26.46   4655.92     55.81      0.19      2.22      0.99      8.34
08:40:01 AM   dev8-32     96.32     25.24   5092.16     53.13      0.23      2.34      0.93      8.97
08:40:01 AM   dev8-64     69.53     24.68   3826.16     55.39      0.16      2.24      0.93      6.48
08:40:01 AM    dev8-0      1.97     16.40     41.88     29.55      0.02      8.87      2.13      0.42
08:50:01 AM    dev2-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00


Т е разогретый кэш БД и ARC cache ZFS - iops(в среднем 10 К ) по чтению ложатся на кэш, диски не насилуются
Но опять же, повторюсь, нужно смотреть и не всегда получается так сделать, но это не зависит от ФС
У ZFS есть и плюсы и недостатки, но при всех ее недостатках плюсов достаточно много, чтобы ее использовать
...
Рейтинг: 0 / 0
14.01.2020, 10:25
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39913959
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
OoCc
Участник
В любом случае не кричите на диски, они этого не любят

YouTube Video
YouTube Video
...
Рейтинг: 0 / 0
14.01.2020, 20:56
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914057
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
landy,

В смысле можно сделать форк от состояние фс и вести две версии одного файла одновременно?
...
Рейтинг: 0 / 0
15.01.2020, 05:42
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914061
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
crutchmaster,
Да,см насример тут https://docs.oracle.com/cd/E19253-01/820-0836/gbcxz/index.html
...
Рейтинг: 0 / 0
15.01.2020, 05:54
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914073
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
landy,

Это уже комбайн, кмк. Хотя фичи интересные.
...
Рейтинг: 0 / 0
15.01.2020, 07:59
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914254
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
OoCc
Участник
landy
crutchmaster,
Да,см насример тут https://docs.oracle.com/cd/E19253-01/820-0836/gbcxz/index.html

хрень неудобная. Версионная файловая система была еще в RSX-11 (ОС РВ) в намного намного удобном виде.
...
Рейтинг: 0 / 0
15.01.2020, 13:05
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914260
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
15.01.2020 13:05, OoCc пишет:
> Версионная файловая система была еще в RSX-11 (ОС РВ) в намного намного удобном виде.

ну, касаемо удобства - спорный вопрос.
постоянно приходилось руками грохать устаревшие версии файлов,
которые плодились при банальном редактирование текста в ted'е.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.01.2020, 13:10
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914269
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
OoCc
Участник
Мимопроходящий

15.01.2020 13:05, OoCc пишет:
> Версионная файловая система была еще в RSX-11 (ОС РВ) в намного намного удобном виде.

ну, касаемо удобства - спорный вопрос.
постоянно приходилось руками грохать устаревшие версии файлов,
которые плодились при банальном редактирование текста в ted'е.

Но зато всегда знал что можно откатится куда нужно.
...
Рейтинг: 0 / 0
15.01.2020, 13:20
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914297
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
15.01.2020 13:20, OoCc пишет:
>
> Но зато всегда знал что можно откатится куда нужно.

оно не всегда нужно.
а диски (тогдашнего размера) засерались очень быстро.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.01.2020, 13:45
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914305
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
OoCc
Участник
Мимопроходящий

15.01.2020 13:20, OoCc пишет:
>
> Но зато всегда знал что можно откатится куда нужно.

оно не всегда нужно.
а диски (тогдашнего размера) засерались очень быстро.

Сразу виден взгляд администратора. У нас у каждого был свой диск.
Cначала были по 2.5 мегабайта, а когда пошли по 16 (кажется) мегабайт так вообще было шикарно.
...
Рейтинг: 0 / 0
15.01.2020, 13:52
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914309
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
буржуи!
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.01.2020, 13:58
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914319
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
OoCc,

Вспомнила бабка первый поцелуй )
И как это может помочь в текущих реалиях?
...
Рейтинг: 0 / 0
15.01.2020, 14:08
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914333
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
OoCc
Участник
landy
OoCc,

Вспомнила бабка первый поцелуй )
И как это может помочь в текущих реалиях?



Тем, что этой фичей пользоваться неудобно до уровня её бесполезности. Ну, это ИМХО.
...
Рейтинг: 0 / 0
15.01.2020, 14:19
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914344
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
OoCc,

Ну может где-то и не удобно
Но быстрое создание клонов БД при отсутствии аппаратной возможности - вполне себе замена, быстро и дешево
...
Рейтинг: 0 / 0
15.01.2020, 14:32
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914347
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
Пример:
- Бэкап БД идет 15-18 часов
- считай спримерно столько же - восстановление
- БД редакции SE

Тебе нужно сделать актуальную копию БД для тестирования или разработки(иногда несколько раз на дню)
Стойка без снапшотирования, БД работает 24x7

Чем делать?
...
Рейтинг: 0 / 0
15.01.2020, 14:37
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914349
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
OoCc
Участник
landy
OoCc,

Ну может где-то и не удобно
Но быстрое создание клонов БД при отсутствии аппаратной возможности - вполне себе замена, быстро и дешево

И как же ты сделаешь с помощью этой фичи клон открытой базы данных? Она же может быть в неконсистант состоянии на диске.
...
Рейтинг: 0 / 0
15.01.2020, 14:37
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914355
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
OoCc
landy
OoCc,

Ну может где-то и не удобно
Но быстрое создание клонов БД при отсутствии аппаратной возможности - вполне себе замена, быстро и дешево

И как же ты сделаешь с помощью этой фичи клон открытой базы данных? Она же может быть в неконсистант состоянии на диске.

А какая разница?

Датафайлы может и неконсистентны, но ведь Redo Log'и же будут. После востановления станут консистентными

IMHO & AFAIK
...
Рейтинг: 0 / 0
15.01.2020, 14:45
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914357
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
OoCc,

Ну я то делаю - вот просто задачу нарисовал
Ваши предложения для решения?
...
Рейтинг: 0 / 0
15.01.2020, 14:46
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914359
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
OoCc
Участник
Leonid Kudryavtsev
OoCc
пропущено...

И как же ты сделаешь с помощью этой фичи клон открытой базы данных? Она же может быть в неконсистант состоянии на диске.

А какая разница?

Датафайлы может и неконсистентны, но ведь Redo Log'и же будут. После востановления станут консистентными

IMHO & AFAIK

Лог может находится на другом диске. Например на SLC Даже с точки зрения ZFS - на другом томе/пуле.
...
Рейтинг: 0 / 0
15.01.2020, 14:52
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914360
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
OoCc
Участник
landy
OoCc,

Ну я то делаю - вот просто задачу нарисовал
Ваши предложения для решения?

Это очень частный случай.

Моё предложение - Пользоваться сертифицированным методом бэкапа.
...
Рейтинг: 0 / 0
15.01.2020, 14:54
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914364
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
15.01.2020 14:54, OoCc пишет:
> Пользоваться сертифицированным методом бэкапа.

+1
ибо полную гарантию даёт только страховой полис (С)
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.01.2020, 14:59
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914380
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
OoCc,

Ну вообще-то клонирование средствами ZFS Oracle как бы тоже рекомендует
Так что можно считать это сертифицированный метод
Они под это даже железо продают
см ZFS Storage Appliance Administration Guide
...
Рейтинг: 0 / 0
15.01.2020, 15:26
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914394
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
OoCc
Участник
landy
OoCc,

Ну вообще-то клонирование средствами ZFS Oracle как бы тоже рекомендует
Так что можно считать это сертифицированный метод
Они под это даже железо продают
см ZFS Storage Appliance Administration Guide

Странное понимание сертификации бэкапа базы данных.
...
Рейтинг: 0 / 0
15.01.2020, 15:49
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914412
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
OoCc
Участник
landy,


https://www.oracle.com/technetwork/database/features/availability/maa-db-clone-szfssa-172997.pdf


Oracle Database Cloning Architecture and Procedure

Strategy Overview

The cloning of the standby database is performed using the snapshot and clone features of the
Sun ZFS Storage Appliance. General procedures are given below.

Set Up a new Standby Database on Sun ZFS Storage Appliance

Note: This is a one-time set-up process.
● From the appliance, set up project and file systems for storing and serving the standby
database.
● Mount the file systems in the database server.
● Using Oracle Recovery Manager (RMAN), duplicate the primary production database for the
standby database.
● Set up Oracle Data Guard or Active Data Guard and establish real-time replication between
the primary and new standby sites.
● Enable the managed recovery procedure. If you are using Oracle versions 11gR2 (or higher),
you can also establish cascaded standby.


Database Cloning procedure

● Stop the managed recovery to place the standby database in a consistent state.
● Using the Sun ZFS Storage Appliance's snapshot feature, take snapshot of the project that
stores the standby database.
● Resume the managed recovery of the standby database.
● From the snapshot taken in step # 2, clone the file systems in the Sun ZFS Storage Appliance.
● Mount the NFS cloned file systems in the database server.
● Convert the cloned standby database into a read/writable database for test, development, and
QA.
...
Рейтинг: 0 / 0
15.01.2020, 16:16
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914427
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
OoCc,

Я не говорил про бэкап
Вопрос - как быстро сделать клон БД
Благодаря ZFS клон делается практически мгновенно.
Вы говорите ZFS не нужно - предложите замену.

Можно использовать BTRFS для этого - но под большой нагрузкой она почему-то периодически разваливается

Не нужно кидаться из крайности в крайность
Как тут уже говорили - есть ZFS и пусть себе будет
Ее же не рекомендуют как серебряную пулю

По поводу стендбая - суть накат архивлогов на БД, вполне можно себе организовать в ручном режиме
Но опять же, повторюсь - какая задача, требования к ней, соответственно есть методы достижения цели
ZFS свою задачу неплохо решает
...
Рейтинг: 0 / 0
15.01.2020, 16:30
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914448
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
OoCc, цитате не к месту
Standby все же не полноценная база, подозреваю, что на ней как раз защиты целостности (Redo Log'ов) то и нет

Наверное можно во время снятиея снапшоте делать

ALTER DATABASE BEGIN BACKUP
ALTER DATABASE END BACKUP

тогда будет штатным образом?

Лог может находится на другом диске. Например на SLC Даже с точки зрения ZFS - на другом томе/пуле.

Какая разница?
Главное, что бы в лог попал момент снятия снапшота.
...
Рейтинг: 0 / 0
15.01.2020, 17:08
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914459
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
OoCc
Участник
Leonid Kudryavtsev
OoCc, цитате не к месту
Standby все же не полноценная база, подозреваю, что на ней как раз защиты целостности (Redo Log'ов) то и нет

Наверное можно во время снятиея снапшоте делать

ALTER DATABASE BEGIN BACKUP
ALTER DATABASE END BACKUP

тогда будет штатным образом?

Лог может находится на другом диске. Например на SLC Даже с точки зрения ZFS - на другом томе/пуле.

Какая разница?
Главное, что бы в лог попал момент снятия снапшота.
Правильно! это самый правильный метод.

То что я показал - Оракловская методика бэкапирования с помощю ZFS
Это был ответ на
landyНу вообще-то клонирование средствами ZFS Oracle как бы тоже рекомендует
Так что можно считать это сертифицированный метод
Они под это даже железо продают
см ZFS Storage Appliance Administration Guide
...
Рейтинг: 0 / 0
15.01.2020, 17:28
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914465
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
OoCc
Участник
Leonid Kudryavtsev

OoCcЛог может находится на другом диске. Например на SLC Даже с точки зрения ZFS - на другом томе/пуле.

Какая разница?
Главное, что бы в лог попал момент снятия снапшота.
Ну так снапшот то делается средствами ZFS. СУБД об этом ничего не знает. И как же ты предлагаешь снять снапшот с двух разных пулов в один и тот же момент? ZFS это поддерживает? Сомневаюсь
...
Рейтинг: 0 / 0
15.01.2020, 17:34
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914477
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Будет вам. Под оракл там Btrfs специально пилился. ZFS - она помедленнее будет. Очень детально считает
контрольные хеши для файлов. И вообще перегружена фичами явно для файлового хранилища чем для БД.
...
Рейтинг: 0 / 0
15.01.2020, 17:41
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914481
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
15.01.2020 17:41, mayton пишет:
> вообще перегружена фичами, явно для файлового хранилища

+1
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.01.2020, 17:44
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914498
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
OoCc
Leonid Kudryavtsev

пропущено...

Какая разница?
Главное, что бы в лог попал момент снятия снапшота.

Ну так снапшот то делается средствами ZFS. СУБД об этом ничего не знает. И как же ты предлагаешь снять снапшот с двух разных пулов в один и тот же момент? ZFS это поддерживает? Сомневаюсь


Зачем в один и тот же момент?

Главное, что бы за время снятия снапшота(ов) "круг Redo Log'ов" по новой не пошел. Это как же нужно со снапшотами тормозить, что бы Log'и пролюбить.
...
Рейтинг: 0 / 0
15.01.2020, 18:03
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914555
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
OoCc
Участник
Leonid Kudryavtsev
OoCc
пропущено...

Ну так снапшот то делается средствами ZFS. СУБД об этом ничего не знает. И как же ты предлагаешь снять снапшот с двух разных пулов в один и тот же момент? ZFS это поддерживает? Сомневаюсь


Зачем в один и тот же момент?

Главное, что бы за время снятия снапшота(ов) "круг Redo Log'ов" по новой не пошел. Это как же нужно со снапшотами тормозить, что бы Log'и пролюбить.

Возможно тут я сморозил ересть. Давно не занимался СУБД. В любом случае клон открытой базы данных через ZFS это грязный хак. Неспроста оракул советует это делать через стандбай бд.
...
Рейтинг: 0 / 0
15.01.2020, 20:07
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914567
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
Не уходите в сторону, обсуждается нужен ZFS или нет

Категорическое нет - неправильно. Есть и используется, и пусть будет
Кому-то это нужно
А по поводу клонирования БД - "Рыба есть, ловить нужно уметь ...(С)"

PS/ Никто не предлагал класть продуктивную БД на ZFS on linux,
просто продемонстрировано, что он в каких-то случаях нужен и полезен
И никто не предлагал делать снапшоты на живой БД, хотя это тоже работать будет.
При наличии ZoL реализовать технологию Oracle не так сложно, тот же "ручной" стендбай тоже несложно сделать
Не нужно категорически заявлять "Не нужен, он не для этого и т п ..."
Пусть каждый сам решает нужен или не нужен и как его использовать
...
Рейтинг: 0 / 0
15.01.2020, 20:34
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914570
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
OoCc
В любом случае клон открытой базы данных через ZFS это грязный хак

не вижу хака
клон почти и есть синоним слова снапшот
если оборудование/файловая_система __корректно__ поддерживает снапшоты, то почему ими не пользоваться

видел репликацию/снапшоты между территориально распределенными площадками через возможности storage, насколько это "грязный хак" сказать не могу. Но вроде и организации солидные и в процессе продажи/рекомендации/внедрения сам вендор принимал участие

Снятие снапшота и последующий запуск на снятом снапшоте - аналог нажатия Reset. При __корректно__ работающей дисковой подсистеме и вменяемых настройках, Oracle от такого умирать не должен.

Неспроста оракул советует это делать через стандбай бд.

теплое и мягкое
что делать тем, у кого нет стандбай?

Первый попавшийся документ в гугле (сам читал только по диагонали)

Cloning an Oracle Database to the Same Server Using Snapshot and Volume Copy
august 2010
https://www.oracle.com/technetwork/articles/systems-hardware-architecture/cloning-db-using-snapshot-vc-170904.pdf

Benefits of Using Snapshot

The Snapshot premium feature lets you create a point-in-time copy of data on a volume. This copy is
the logical equivalent of data on the complete base volume, but the point-in-time copy is created much
faster than a complete physical copy, typically, within a few seconds. Due to the architecture of
Snapshot, creating the copy typically requires much less drive space. Snapshot volumes become a
read/write volume that can be assigned to the same host or to a secondary host depending on the
content of the volume. You can use the Snapshot volumes for many purposes, such as application
backups, while leaving the base volume online and accessible to the user.


Хотя они рекомендуют BEGIN BACKUP перед снятием снапшота.
1. Quiesce the database in preparation for a Snapshot and Volume Copy. Enter the
following commands.

SQL> alter system switch logfile;
SQL> alter database begin backup;
SQL> alter system quiesce restricted;
SQL> select active_state from v$instance;

2. Create a new snapshot using .....

3. Bring the source database back online. Enter the following commands.
SQL> alter system unquiesce
SQL> alter database end backup;
SQL> alter system switch logfile;


На мой взгляд, масло-масленное. BEGIN BACKUP и так запись в дата файлы останавливает. Зачем еще quiesce не очень понятно (остановить запись в Redo?). Ну и не говоря о том, что если snapshot выполняется корректно, то, _теоретически_ и от отсутвия BEGIN BACKUP плохо быть не должно.
...
Рейтинг: 0 / 0
15.01.2020, 20:54
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914588
Фотография Scott Tiger
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Scott Tiger
Участник
begin/end backup в случае ZFS-снапшотов нужен на случай, если файлы БД лежат на разных ФС, чтобы обеспечить консистентность редулогов датафайлам, а тех - контролфайлам, т.к. снапшоты разных ФС - это разные снапшоты. Для БД, целиком располагающихся на одной ФС (датафайлы + редулоги + контролфайлы в случае оракла) такого делать не нужно.

Вот из свежего личного опыта - PostgreSQL, очень требовательная к времени отклика и активная БД в ~терабайт размером целиком на NVMe (ZFS mirror из двух девайсов), за счёт компрессии (lz4) собственно на NVMe занято около 400 Гб, эффективность сжатия 2.43x. Экономия просто за счёт ценника NVMe приличная. Бэкапится снапшотами и репликацией этих снапшотов на файлопомойку. Solaris, разумеется.
...
Рейтинг: 0 / 0
15.01.2020, 23:27
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914611
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
landy
Чем делать?

У нас второй сервак для этого, который накатывается из беклогов утром и по желанию.
...
Рейтинг: 0 / 0
16.01.2020, 05:03
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914613
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
landy
Категорическое нет - неправильно.

Оно лицензионно грязная, отсюда и категорическое не нужно. После истории с андроидом никто не хочет связываться с ораклом, поэтому поддержка сбоку со всеми вытекающими. Ну, юзать можно, пока её поддерживают, но, если что, не расстраивайтесь.
...
Рейтинг: 0 / 0
16.01.2020, 05:08
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914619
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
crutchmaster

У нас второй сервак для этого, который накатывается из беклогов утром и по желанию.

Да понятно все как в Oracle это делать, вопрос не в этом.
Опять же, судя по всему у вас редакция EE с соответствующими лицензиями?
Чтобы так делать - либо стойка нужна соответствующая(для SE), либо Oracle EE
При текущих конфигурациях железа предлагаете пойти и попросить ~1 лям зеленых(ну или поменьше в случае со стойкой)
на организацию копий БД?
Тут про ненужность/нужность ZFS
...
Рейтинг: 0 / 0
16.01.2020, 06:14
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914620
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
crutchmaster

Оно лицензионно грязная, отсюда и категорическое не нужно. После истории с андроидом никто не хочет связываться с ораклом, поэтому поддержка сбоку со всеми вытекающими. Ну, юзать можно, пока её поддерживают, но, если что, не расстраивайтесь.


Про лицензионность никто не спорит, но какое это имеет отношение к смене API интерфейсов ядра ввода/вывода и
вставке палок в колеса конкретно для ZFS?
Насколько я понял Линуса просили не менять(или часто не менять, или сделать стабильный API?) это.
А его ответы(к слову заметить он не эксперт в ФС) про ппроизводительность и ненужность, а так же неподдержку разработки -
вообще детский лепет(хотя он уже не может свои мысли высказывать без оглядки - денег платить не будут)
Почему-то API для блобов не меняют, а вот для ZFS конкретно - это по полной
Ну делают люди ZFS и пусть делают, не хочешь включать в ядро - не включай
Вы же не подаете иски к поизводителям молотков из-за того, что кого-то молотком убили?
...
Рейтинг: 0 / 0
16.01.2020, 06:25
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914628
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
landy
но какое это имеет отношение к смене API интерфейсов ядра ввода/вывода

Такое, что гугл судят именно за API.
landy
а вот для ZFS конкретно - это по полной

Там нет никакого API конкретно для ZFS, он про это и говорил, что оно не нужно, потому что засудят.
landy
Почему-то API для блобов не меняют

Думаю там нет нигде API. Linux - монолит, который работает через void*. Поменялся какой-то внутренний функционал, стал падать модуль.
landy
Вы же не подаете иски к поизводителям молотков из-за того, что кого-то молотком убили?

Вы будете смеяться, но некоторые таки подают и выигрывают.
...
Рейтинг: 0 / 0
16.01.2020, 07:52
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914692
Sergey Orlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sergey Orlov
Участник
Не буду спорить про фичи zfs, но во фре она показала себя с лучшей стороны, как в смысле устойчивости (вырубание электричества и т.д.) так и по сервисам (создание снапшотов, их пересылка, клонирование, восстановление, создание различных массивов, замена дисков).
Внимательнее читать надо что выразил Торвальдс, сказано же, на сегодня лицензия под которой открыт код ZFS, не позволяет поставлять модуль ZFS в бинарном виде в ядре, которое имеет лицензию GPL, в противном случае возможны претензии правообладателя, отсюда вытекают его действия, Торвальдса, в отношении zfs. Если правообладатель заключит с ним соглашение, то возможно включение этого кода в ядро.
Можно поставлять код zfs в исходниках, но не в бинарном виде, вы также можете как конечный пользователь сами скомпилировать бинарник и его использовать, но только у себя...
Oracle же как правообладатель кода, может поставлять его в своем дистрибутиве как хочет...
...
Рейтинг: 0 / 0
16.01.2020, 10:37
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914697
Фотография bga83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bga83
Участник
Sergey Orlov
Не буду спорить про фичи zfs, но во фре она показала себя с лучшей стороны, как в смысле устойчивости (вырубание электричества и т.д.) так и по сервисам (создание снапшотов, их пересылка, клонирование, восстановление, создание различных массивов, замена дисков).
лет 6 назад на работе сталкивались с проблемами производительности zfs в солярке при заполнении ФС более 70%, причем даже сапорт толком не мог помочь нам
...
Рейтинг: 0 / 0
16.01.2020, 10:41
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914786
Sergey Orlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sergey Orlov
Участник
bga83
Sergey Orlov
Не буду спорить про фичи zfs, но во фре она показала себя с лучшей стороны, как в смысле устойчивости (вырубание электричества и т.д.) так и по сервисам (создание снапшотов, их пересылка, клонирование, восстановление, создание различных массивов, замена дисков).
лет 6 назад на работе сталкивались с проблемами производительности zfs в солярке при заполнении ФС более 70%, причем даже сапорт толком не мог помочь нам

Ну тогда мы и готовить ее не умели под конкретику, память да и ссд-ки под кеш были дороги... У меня трудности начинались где-то под 85%, а все из-за ненужных, старых, снапшотов в пуле, поубиваиш их и все нормализуется...
...
Рейтинг: 0 / 0
16.01.2020, 13:28
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914808
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Даже без снапшотов zfs реагировала на удаление файлов достаточно с длинной реакцией.
Фактически освобождение места происходило не сразу а через несколько минут.

Это на моём медленном экономном WesternDigital 2Тб класса Green.
...
Рейтинг: 0 / 0
16.01.2020, 14:12
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914810
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Но но поиск дубликатов через fdupe работал проазительно быстро. Я еще проверю этот факт
сегодня вечером в сравнении с ext4. Я не знаю видит ли контрольные суммы утилита fdupe
или нет но если она особым образом работает с zfs - это большой плюс.
...
Рейтинг: 0 / 0
16.01.2020, 14:13
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914868
Фотография bga83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bga83
Участник
Sergey Orlov
bga83
пропущено...
лет 6 назад на работе сталкивались с проблемами производительности zfs в солярке при заполнении ФС более 70%, причем даже сапорт толком не мог помочь нам

Ну тогда мы и готовить ее не умели под конкретику, память да и ссд-ки под кеш были дороги... У меня трудности начинались где-то под 85%, а все из-за ненужных, старых, снапшотов в пуле, поубиваиш их и все нормализуется...
у нас на сторвайзах вроде 7000-х все крутилось, без ссд конечно, но все равно складывалось впечатление что отнюдь не само железо виновато
...
Рейтинг: 0 / 0
16.01.2020, 15:37
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39914884
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
У меня как-то была идея лет 5 назад для крупного проекта соптимизировать build с использованием Copy-On-Write.
Там maven+gradle постояно чето копировали-перекопировали.

Но для билда размером 500Мб кода это не имело столь сильного эффекта. В общей сложности компиллятор и Zip
упаковщик пожирали все полезное время. Так что не взлетело.
...
Рейтинг: 0 / 0
16.01.2020, 15:56
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39915168
х.з.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
х.з.
Участник
landy
Пример:
- Бэкап БД идет 15-18 часов
- считай спримерно столько же - восстановление
- БД редакции SE

Тебе нужно сделать актуальную копию БД для тестирования или разработки(иногда несколько раз на дню)
Стойка без снапшотирования, БД работает 24x7

Чем делать?

по мне так прям сильно высосанный из пальца пример.

бэкап идет 18 часов и редакция SE. да еще все это счастье на ZFS разместили )) И раз 24х7 то это прод, а ты тут такой копию для разработки поднимаешь

авторА какая разница?

Датафайлы может и неконсистентны, но ведь Redo Log'и же будут. После востановления станут консистентными
большая!

чудес не бывает, ты либо стендбай из наката выводишь, либо свой 24х7 прод закрываешь. вот ораклы честно об этом пишут в описании к многомиллионной железяке.
...
Рейтинг: 0 / 0
17.01.2020, 08:36
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39915170
х.з.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
х.з.
Участник
Leonid Kudryavtsev


Главное, что бы за время снятия снапшота(ов) "круг Redo Log'ов" по новой не пошел. Это как же нужно со снапшотами тормозить, что бы Log'и пролюбить.

друг, возможно ты крут в сисадминстве, но в оракловые дела тебе лезть не стоит. добрый совет.
...
Рейтинг: 0 / 0
17.01.2020, 08:39
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39915174
х.з.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
х.з.
Участник
Scott Tiger

Вот из свежего личного опыта - PostgreSQL, очень требовательная к времени отклика и активная БД в ~терабайт размером целиком на NVMe (ZFS mirror из двух девайсов), за счёт компрессии (lz4) собственно на NVMe занято около 400 Гб, эффективность сжатия 2.43x. Экономия просто за счёт ценника NVMe приличная. Бэкапится снапшотами и репликацией этих снапшотов на файлопомойку. Solaris, разумеется.

надеюсь вы разворачивали Бд из тех снапшотов и пользовались ей?

мы тоже плотно игрались на 12 ораклах со всякими снапшотами(и средствами дисковых массивов в том числе). Открытые БД клонили и стендбаи в накате. Ловили кучу проблем: ora-600, нечитаемые lob-ы, corruption blocks... В конце перешли на клонирование со стендбаев которые предварительно гасятся. Пара минут простоя, зато все проблемы как рукой сняло.
...
Рейтинг: 0 / 0
17.01.2020, 08:55
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39915176
х.з.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
х.з.
Участник
bga83
лет 6 назад на работе сталкивались с проблемами производительности zfs в солярке при заполнении ФС более 70%, причем даже сапорт толком не мог помочь нам

это не баг, это фича - у нее алгоритм записи меняется при заполнении.
...
Рейтинг: 0 / 0
17.01.2020, 08:56
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39915187
Фотография Scott Tiger
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Scott Tiger
Участник
х.з.
Scott Tiger

Вот из свежего личного опыта - PostgreSQL, очень требовательная к времени отклика и активная БД в ~терабайт размером целиком на NVMe (ZFS mirror из двух девайсов), за счёт компрессии (lz4) собственно на NVMe занято около 400 Гб, эффективность сжатия 2.43x. Экономия просто за счёт ценника NVMe приличная. Бэкапится снапшотами и репликацией этих снапшотов на файлопомойку. Solaris, разумеется.

надеюсь вы разворачивали Бд из тех снапшотов и пользовались ей?


Разумеется: при многоэтапной миграции в неё данных происходили прикладные ошибки, из-за которых приходилось откатываться на снапшоты, которые делались по окончании каждого этапа. zfs rollback занимает несколько секунд. Аналогично и на файлопомойке снапшоты представляют заведомо консистентную копию ФС.

х.з.
мы тоже плотно игрались на 12 ораклах со всякими снапшотами(и средствами дисковых массивов в том числе). Открытые БД клонили и стендбаи в накате. Ловили кучу проблем: ora-600, нечитаемые lob-ы, corruption blocks... В конце перешли на клонирование со стендбаев которые предварительно гасятся. Пара минут простоя, зато все проблемы как рукой сняло.


Думаю, дело в том, как именно вы делали снапшоты и как они фактически делались (или неправильно делали, или есть ошибки в реализации). Скорее всего, не обеспечивали консистентность _между_ разными ФС/LUN-ами, т.е. это был набор разных снапшотов. В случае ZFS и единственной ФС, на которой лежат все файлы БД, восстановление с такого снапшота идентично crash recovery.
...
Рейтинг: 0 / 0
17.01.2020, 09:29
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39915219
Sergey Orlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sergey Orlov
Участник
А я всегда по жизни тормозил сервисы, делал снапшот, снова запускал сервиы, обычно до 10 минту простоя не больше, на все уходило, ну а снапшот или пересылал на другой сервак, его либо восстанавливал либо подмонтировал, и уже с этого делал backup... В зависимости от размера базы получалось быстрее, нежели делать backup баз силами sql-сервера...
...
Рейтинг: 0 / 0
17.01.2020, 10:09
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39915229
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
х.з.

бэкап идет 18 часов и редакция SE. да еще все это счастье на ZFS разместили )) И раз 24х7 то это прод, а ты тут такой копию для разработки поднимаешь


В каком месте сказано, что продуктив на ZFS? Не фантазируйте
Пример был приведен для кричащих, что ZFS не нужен. Не нужен - не пользуйтесь, чего орать-то?
...
Рейтинг: 0 / 0
17.01.2020, 10:21
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39915636
dekloper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dekloper
Гость
Relic Hunter
mayton,
А причем тут Торвальдс?

ваще не при чем..
с рать мы на него хотели..
спелся тока с л.элисоном.., гадёныш..!
Relic Hunter
Но для современных дата сторожей zfs кагбе стандарт уже.

нормальные пасаны соляру юзают.. или FreeBSD :)
...
Рейтинг: 0 / 0
17.01.2020, 19:09
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39915638
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Sergey Orlov
А я всегда по жизни тормозил сервисы, делал снапшот, снова запускал сервиы, обычно до 10 минту простоя не больше, на все уходило, ну а снапшот или пересылал на другой сервак, его либо восстанавливал либо подмонтировал, и уже с этого делал backup... В зависимости от размера базы получалось быстрее, нежели делать backup баз силами sql-сервера...

Последний раз в 2005 году на Windows да на девятке. Писал скрипт. Over 500 файлов и штук 30 tablespaces.
Каждому тс - begin backup. Потом скриптогенератор на VisualBasic мне делал батник. Запускал его.
И погнал с PROD на STANDBY. Такой у нас был технологический процесс.

Потом со стендбая делали экспорт.

Сейчас конешно с ASM/RMAN круто все стало. Но уж 10 лет как не брал в руки шашек. Да и неинтересно как-то RMAN
стало. С файловыми системами - шикарные фокусы можно было вытворять. Мдя.
...
Рейтинг: 0 / 0
17.01.2020, 19:17
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39915639
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
dekloper
Relic Hunter
mayton,
А причем тут Торвальдс?

ваще не при чем..
с рать мы на него хотели..
спелся тока с л.элисоном.., гадёныш..!
Relic Hunter
Но для современных дата сторожей zfs кагбе стандарт уже.

нормальные пасаны соляру юзают.. или FreeBSD :)

Я с интересом читаю блоги Торвальдса. Человек он конечно генийальный.
Но характер - прескверный. Мудаковатый такой.

Сравнительно недавно чуть со всеми контрибуторами не посрался.
...
Рейтинг: 0 / 0
17.01.2020, 19:19
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39915794
dekloper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dekloper
Гость
mayton

Но характер - прескверный. Мудаковатый такой.

100% - в точку..
"мудаковатости" торвальдса часто подвержены поклонники этой системы..
вроде и чел не дурак и не му**к.., так, слегка мудаковат ))
толи дело настоящий BSD-шник в борьбе за дело КПСС с акулами бизнеса..
...
Рейтинг: 0 / 0
18.01.2020, 16:25
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39916163
х.з.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
х.з.
Участник
Scott Tiger
Скорее всего, не обеспечивали консистентность _между_ разными ФС/LUN-ами, т.е. это был набор разных снапшотов.

вот это возможно. Нам в АСМ выдается куча лунов (там они в пул объединяются). А на уровне SAN эти луны обединены в группу. И сисадмины через гуй жмакают кнопку "создать снапшот" на уровне этой группы.
...
Рейтинг: 0 / 0
20.01.2020, 03:22
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39916164
х.з.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
х.з.
Участник
landy

В каком месте сказано, что продуктив на ZFS? Не фантазируйте

каюсь. с фантазией у меня плохо. Не могу себе представить ситуацию с БД 24х7 бэкап которой идет 18 часов и не имеется стендбая. Иначе (если бы он был) зачем бэкапить эту критичную БД.
...
Рейтинг: 0 / 0
20.01.2020, 03:28
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39916192
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
х.з.,

Там SE
...
Рейтинг: 0 / 0
20.01.2020, 08:51
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39916207
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
dekloper
"мудаковатости" торвальдса

Это такая общая черта многих сишников. Проф.деформация, слишком ценные спецы.
...
Рейтинг: 0 / 0
20.01.2020, 09:32
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39916361
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Попытался собрать инфу. Какие ФС поддерживают COW.
Пока нашел: ReiserFS, BtrFS, Zfs.
...
Рейтинг: 0 / 0
20.01.2020, 14:34
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39916371
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
всё это от лукавого...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.01.2020, 14:52
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39916373
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
По работе надо.
...
Рейтинг: 0 / 0
20.01.2020, 14:56
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39916473
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
XFS еще.
...
Рейтинг: 0 / 0
20.01.2020, 17:37
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39943665
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Мда. Когда на zfs-томе размером в 1.5 Тб остается порядка 25Гб - все операции зависают.
Потом через несколько минут том оказывается отмонтированным.

После перезагрузки - ситуация чуть лучше. Вроде даже +1 Гб появляется. Но я решил от
этой штуки пока отказаться. Не на бэкапах. Там пускай себе стоит. А на разделе где
торрент-качалка качает сериалы.
...
Рейтинг: 0 / 0
03.04.2020, 19:56
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39943738
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
mayton
Мда. Когда на zfs-томе размером в 1.5 Тб остается порядка 25Гб - все операции зависают.

ИМХО ты zfs не по назначению используешь, оно заточено на представление как один логический диск на петабайты из кучи физических носителей.

PS NTFS`у тоже будет плохо если один процент места останется, но он не упадет.
...
Рейтинг: 0 / 0
03.04.2020, 22:21
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39944024
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Переношу все архивы на btrfs. Мне пригодятся ништяки вроде COW/compression/snapshots.
...
Рейтинг: 0 / 0
04.04.2020, 21:32
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39944047
Sergey Orlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sergey Orlov
Участник
mayton
Мда. Когда на zfs-томе размером в 1.5 Тб остается порядка 25Гб - все операции зависают.
Потом через несколько минут том оказывается отмонтированным.

После перезагрузки - ситуация чуть лучше. Вроде даже +1 Гб появляется. Но я решил от
этой штуки пока отказаться. Не на бэкапах. Там пускай себе стоит. А на разделе где
торрент-качалка качает сериалы.

Есть такое, обычно наступает при свободном месте меньше 10%, вы можете нарастить память и
подтюнинговать zfs и тормоза наступят при меньшей свободной дисковой памяти, а вообще
почитайте про zfs и ее алгоритмы, там ведь плюсы связаны с минусами...
...
Рейтинг: 0 / 0
05.04.2020, 02:58
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39944448
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Хм. Странно. Есть вопрос.

Вот этого толстяка (storage-pool на 1.5 Тб) надо прибить из пула. И потом прибить и сам пул.
Спаплен на /storage => /dev/sdb5 (это я точно знаю по размеру разделов).

Код: sql
1.
2.
3.
4.
root@ryzen-ssd:~# zpool list
NAME           SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
backup-pool       -      -      -      -      -  FAULTED  -
storage-pool  1.35T  28.9M  1.35T     0%  1.00x  ONLINE  -



Пробую последовательно. Сначала погрузить его в оффлайн. Потом дестрой пула....

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
root@ryzen-ssd:~# zpool status
  pool: backup-pool
 state: FAULTED
status: One or more devices could not be used because the label is missing 
	or invalid.  There are insufficient replicas for the pool to continue
	functioning.
action: Destroy and re-create the pool from
	a backup source.
   see: http://www.sun.com/msg/ZFS-8000-5E
 scrub: none requested
config:

	NAME        STATE     READ WRITE CKSUM
	backup-pool  FAULTED      0     0     0  corrupted data
	  sdc       UNAVAIL      0     0     0  corrupted data

  pool: storage-pool
 state: ONLINE
 scrub: none requested
config:

	NAME                                                         STATE     READ WRITE CKSUM
	storage-pool                                                 ONLINE       0     0     0
	  disk/by-id/ata-WDC_WD20EURX-63T0FY0_WD-WCC4M0572152-part5  ONLINE       0     0     0

errors: No known data errors



Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
root@ryzen-ssd:~# umount /storage
umount: /storage: not mounted.

root@ryzen-ssd:~# zfs destroy -r storage-pool/
cannot open 'storage-pool/': invalid dataset name

root@ryzen-ssd:~# zfs destroy -r storage-pool/disk/by-id/ata-WDC_WD20EURX-63T0FY0_WD-WCC4M0572152-part5
cannot open 'storage-pool/disk/by-id/ata-WDC_WD20EURX-63T0FY0_WD-WCC4M0572152-part5': dataset does not exist
root@ryzen-ssd:~# 
root@ryzen-ssd:~# zfs destroy -r storage-pool/ata-WDC_WD20EURX-63T0FY0_WD-WCC4M0572152-part5
cannot open 'storage-pool/ata-WDC_WD20EURX-63T0FY0_WD-WCC4M0572152-part5': dataset does not exist



Чортов Оракл. Чортов Эллисон... чтоб ты тапком подавился. И документация ничего не проясняет.
Как понять где в этой номенклатуре device? Id?

Ребят. Подскажите.
...
Рейтинг: 0 / 0
07.04.2020, 01:02
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39944452
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
Просто zpool destroy не помогает?
...
Рейтинг: 0 / 0
07.04.2020, 02:22
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39944462
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
Если погуглить destroy faulted zfs pool , то "во первЫх строках" списках находится дока, где сказано про опцию -f.

P.S.
"И документация ничего не проясняет" - эмоции, недостойные настоящего айтишника
Какая документация?
Зачем вообще понадобились идентификаторы устройств, если задача - разрушить zfs пул?
Почему вы пытаетесь произвести "массовую зачистку" вместо приличествующего случаю "индивидуального террора"?
...
Рейтинг: 0 / 0
07.04.2020, 07:21
| Ответить | Цитировать | Написать  
Комментарий Торвальдса относительно ZFS
    #39944550
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Вячеслав Любомудров
Просто zpool destroy не помогает?


Да. Помогло. Спс.
Код: sql
1.
2.
3.
4.
5.
root@ryzen-ssd:~# zpool destroy storage-pool
root@ryzen-ssd:~# 
root@ryzen-ssd:~# zpool list
NAME          SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
backup-pool      -      -      -      -      -  FAULTED  -
...
Рейтинг: 0 / 0
07.04.2020, 13:37
| Ответить | Цитировать | Написать  
94 сообщений из 94, показаны все 4 страниц
  все  
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Комментарий Торвальдса относительно ZFS
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=25&tid=1481044]:
 0ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 52ms
get topic data:
 9ms
get forum data:
 3ms
get page messages:
 102ms
get tp. blocked users:
 1ms
others: 278ms
total:  475ms
созд. / загр.: 475ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]