Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
Gallemarну к этому я уже пришел.Получилось? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2016, 14:11 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
rdb_devТут, похоже, дело именно в идентификаторе копии базы, которую пытаются "погасить" из того же инстанса сервера FB Раздельными физическими файлами эти БД быть не могут в принципе. А поскольку они логические, то если бы у них были разные идентификаторы (для ФБ) - мы бы уже тут слышали крики Gallemar, что у него убилась база. Отсюда я делаю вывод, что любые попытки модифицировать снапшот приводят к перенаправлению xtremio всех изменений в основной файл. То есть, Gallemar-у только кажется, что файлов два. А он один, просто "размазанный". Каким бы умным ни был xtremio, он не может обеспечить "репликацию" изменений из основной БД в снапшот так, чтобы снапшот мог быть самостоятельно модифицируемым. Так что это все фантазии, основанные только на том, что при снапшоте БД появляется якобы какой-то другой файл БД. Я уже сказал, что никак невозможно "скопировать" файл 400 гиг за 2 секунды. А у Gallemar - 480 гиг. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2016, 15:39 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
kdvА поскольку они логические, то если бы у них были разные идентификаторы (для ФБ) - мы бы уже тут слышали крики Gallemar, что у него убилась база. Отсюда я делаю вывод, что любые попытки модифицировать снапшот приводят к перенаправлению xtremio всех изменений в основной файл. То есть, Gallemar-у только кажется, что файлов два. А он один, просто "размазанный". А копия подключается каждый день. И не два файла,а пять. Еще есть для обучения,тестирования и т.п. Но это скоро закончится. На старом железе я делал копию через nbackup - дольше,но по скорости работы лучше. Ну и разработчик порадовал дописками и вывод процессов на копию больше не нужен. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2016, 15:48 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
Gallemar На старом железе я делал копию через nbackup - дольше,но по скорости работы лучше. потому что nbackup - это ФИЗИЧЕСКАЯ ПОЛНАЯ копия БД. Я не знаю, сколько еще слов нужно написать чтобы ты понял разницу между логической копией своей xtremio и физической копией файла. Был бы ты поближе, я бы тебе в пределах одного бокала пива все на листочке объяснил, за 5 минут. p.s. как показывает практика, народ очень туго понимает как работает nbackup, и вообще всю эту фигню со снимками копий, виртуалок, и прочим бардаком. Почему - хрен его знает. Видимо, если раньше концепцию файлов изучали сразу, то нынче про файлы уже почти никто не понимает. Как минимум, телепортации не существует. И если кто-то говорит, что он создает копию файла в 480 гиг за 2 секунды, либо он врет, либо это не копия файла. А раз это не копия, значит надо разбираться, что она собой представляет. А значит надо изучать техдокументацию на xtremio. Если не изучать, то конечно, можно и к колдуну пойти, который за 1 секунду будет по 5 таких копий файлов выдавать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 00:18 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
GallemarА менеджер блокировок по guid базы отличает,,?Нет. Используется комбинация <номер тома> <индекс файла> (см GetFileInformationByHandle ) И если индекс файла на томе-снимке вполне может совпадать с индексом на оригинальном томе, то совпадение номеров томов выглядит багом... То ли MS, то ли EMS. Если это действительно так, то пользоваться БД в таком снапшоте категорически нельзя. По крайней мере в том же инстансе FB, который обслуживает основную БД. Повторю - если это так ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 00:18 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
hvladЕсли это действительно так, то пользоваться БД в таком снапшоте категорически нельзя. По крайней мере в том же инстансе FB, который обслуживает основную БД. Повторю - если это так я и говорю, что если бы это было так, его модифицирующие коннекты к снапшоту уже бы убили оригинальную БД, хоть одним инстансом ФБ, хоть разными. Вспомни случай с включением рам-диска, про который говорил Еманов или Пешков. Вроде как в этом случае получается как бы 2 БД с разными лок-файлами, и оригинальной базе при этом, естественно приходит пендец. По-моему эта ситуация аналогична с - удалением БД под линуксом при наличии коннектов, когда ОС где-то сохраняет оригинальный файл - открытием БД на NFS другим сервером та же хрень вроде была когда-то и на винде, когда к одному и тому же файлу можно было подконнектиться под разными "псевдо-путями". По-моему, это все из одной оперы. А тут, раз работа со снапшотом приводит к тормозам основной базы, и раз shutdown снапшота переводит в снапшот и основную базу, получается что xtremio, к счастью, наружу выдает хэндл одного и того же файла, что основной БД, что снапшота. И опять же повторюсь, в этом случае снапшот БД - нихрена не полная физическая копия основной БД, что и подтверждает rdb_dev. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 00:26 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
kdvGallemar На старом железе я делал копию через nbackup - дольше,но по скорости работы лучше. потому что nbackup - это ФИЗИЧЕСКАЯ ПОЛНАЯ копия БД. Я не знаю, сколько еще слов нужно написать чтобы ты понял разницу между логической копией своей xtremio и физической копией файла. Дима,я это ЗНАЮ. Не трать нервы. kdvБыл бы ты поближе, я бы тебе в пределах одного бокала пива все на листочке объяснил, за 5 минут. На следующей неделе буду :) kdvp.s. как показывает практика, народ очень туго понимает как работает nbackup, и вообще всю эту фигню со снимками копий, виртуалок, и прочим бардаком. Почему - хрен его знает. Видимо, если раньше концепцию файлов изучали сразу, то нынче про файлы уже почти никто не понимает. Бывает, не спорю. При внедрении копий с помощью xtreme io и уходе от создании копий nbackup никаких внятных объяснений я не получил. Только сейчас начинают приколы вылазить, типа нехватки места, т.к. копия (вернее снимок) делается два раза в день и надо хранить дельту между основной базой и всеми копиями. А она оказывается может быть очень большой. kdvКак минимум, телепортации не существует. И если кто-то говорит, что он создает копию файла в 480 гиг за 2 секунды, либо он врет, либо это не копия файла. А раз это не копия, значит надо разбираться, что она собой представляет. А значит надо изучать техдокументацию на xtremio. Если не изучать, то конечно, можно и к колдуну пойти, который за 1 секунду будет по 5 таких копий файлов выдавать. Документацию изучаю, информация дошла до начальника моего отдела. Есть жалобы на работу баз, т.к. нагрузка в копии := нагрузка основной базы. А значит схема неработоспособна и разделить таким образом нагрузку не выйдет, даешь nbackup/репликацию ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 04:45 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
kdv Из описания XTREMIO я пока понял, что это для КОПИЙ например баз, поскольку используется сжатие. Там ни разу не сказано, что можно использовать для production - только тестирование, хранение копий, и "разработка". И Near Real-Time Data Analytics: Use XVC technology as a means of offloading the processing of data such as ETL from the production server. For example, if there is a need to run a heavy process on the data (potentially effecting the production server's performance), it is possible to use XVC to create a current copy of the production data and mount it on a different server. This process can then be run on the other server without consuming the production server's resources. This capability enables on-demand near-real-time analytic capacities. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 06:27 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
GallemarДима,я это ЗНАЮ. Не трать нервы. вот и хорошо. а насчет нервов - не трачу. просто лениво было bold-ом выделять. GallemarNear Real-Time Data Analytics фиг знает, что они имеют в виду. я вроде нашел описание, почитаю на досуге https://www.emc.com/collateral/white-papers/h11752-intro-to-XtremIO-array-wp.pdf в частности, вот в этом абзаце уже почти все понятно Theory of Operation The XtremIO Storage Array automatically reduces (deduplicates and compresses) data as it enters the system, processing it in data blocks. Deduplication is global (over the entire system), is always on, and is performed in real-time (never as a post-processing operation). After the deduplication, the data is compressed inline, before it is written to the SSDs. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 08:14 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
в сторону: почитал я тут про дедупликацию, внимательно. и если раньше было как-то пофиг, то теперь понимаю, что это реальное зло. Подается это как "сокращение места для хранения копий", а на самом деле это путь в ад в отношении самого смысла копий. Ведь если сдохнет дедуплицированный блок, то сдохнут все копии файлов , в которых этот блок повторяется. То есть, для админа, который организует именно хранение копий, дедупликация должна быть кошмарным кошмаром. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 08:38 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
Gallemar, короче, все догадки оказались верными https://www.emc.com/collateral/white-paper/h13035-wp-introduction-to-xtremio-snapshots.pdf страница 5. т.е. при записи в снапшот модифицируется оригинал. Снапшот - логическая копия. p.s. единственное, что с дедупликацией тут не так страшно, т.к. xtremio использует нечто типа raid 1, внутри себя, автоматически. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 09:08 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
kdvGallemar, короче, все догадки оказались верными страница 5. т.е. при записи в снапшот модифицируется оригиналНе совсем... Оригинал, это тоже "логическая копия". 1. Любой LUN в iSCSI СХД xtermio, это набор ссылок на дедуплицированные блоки данных и каждый блок данных снабжен хэшем, который первично используется алгоритмом дедупликации; 2. Любая запись в xtermio, это создание/замена ссылки LUN'а на ссылку к свободному блоку, в который будет помещен новый дудуплицированный блок данных, но если такой же блок данных уже присутствует на СХД, никакой записи данных не происходит, а в LUN помещается ссылка на имеющийся блок данных; 3. Пока на блок есть хоть одна ссылка, блок не перезаписывается - ссылок на один и тот же блок данных может быть несколько и не только из разных LUN'ов, но и из одного; 4. "Снапшот", это моментальный снимок массива ссылок LUN'а - создание нового LUN'а с изначально идентичным оригиналу набором ссылок; 5. Любое изменение данных через LUN оригинала не влечет изменение данных снапшота (равно как и наоборот), т.к. после изменения оригинала набор ссылок снапшота уже не будет идентичен оригиналу (см. п.2.); 6. Блок данных СХД, по своей сути, это страйп raid массива и, соответственно, выход из строя одного из SSD и деградация массива не влечет потерю данных; ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 09:44 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
kdvв сторону: То есть, для админа, который организует именно хранение копий, дедупликация должна быть кошмарным кошмаром. Кому-то дедупликацию спускают сверху. Но в случае нашего оборудования https://www.emc.com/en-us/data-protection/data-domain.htm хваленый девайс не показал себя. Бэкапы gbk хорошо дедуплицируются, а вот с nbackup, если его делать 0 уровня раз в неделю всё печально, процент занимаемого места очень близок к 100, сокращения места никакого. Ну и такое хранилище можно рассматривать только как долгосрочный архив, быстро достать и развернуть не получится, время на копирование на и с хранилища уходит раз в 5 больше, чем на обычную шару по понятным причинам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 09:54 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
Кстати, вчера оказывается мои девчонки не могли закоммитить процедуру в снепшоте и базу отправили в shutdown, вместе с пользователями копии вылетели все пользователи рабочей БД,прям посреди рабочего дня :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 09:56 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
Gallemar, при этом, для обслуживания копии БД на снапшоте xtermio использовался тот же инстанс сервера FB, что обслуживает оригинальную базу? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 10:05 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
Gallemar а вот с nbackup, если его делать 0 уровня раз в неделю всё печально, процент занимаемого места очень близок к 100, nbackup уровня 1 это как раз дедупликация относительно уровня 0. И тогда -b 1 через неделю от -b 0 тоже должен быть близок к 100% размера -b 0. GallemarКому-то дедупликацию спускают сверху. ну, в одной конторе хранят такое количество дампов, что без дедупликации там #опа. Так что, определенный смысл все же есть. Gallemarмои девчонки не могли закоммитить процедуру в снепшоте ты думал что снапшот это копия БД, а это не копия. Если вы там вздумаете как-нибудь восстановить БД из снапшота, она вполне может оказаться слегка поврежденной, т.е. недописанной. Я уже говорил, что любой железный снапшот БД это эквивалент копирования БД после ресета. Поскольку у вас снапшоты как бы динамически обновляются данными из production, работая со снапшотом ты этого не видишь. Но стоит только откатиться на снапшот, как... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 10:09 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
kdvты думал что снапшот это копия БД, а это не копия. Если вы там вздумаете как-нибудь восстановить БД из снапшота, она вполне может оказаться слегка поврежденной, т.е. недописанной.Абсолютно верное замечание! Просто надо абстрагироваться от особенностей реализации хранения данных в СХД xtermio и рассматривать его как обычное блочное SCSI устройство со всеми вытекающими... Соответственно, если FB сервер пишет в iSCSI СХД блоки данных одной транзакции, а снапшот делается где-то между записями этих блоков (что чаще всего и происходит), то база всегда оказывается в несогласованном состоянии. Для создания нормального снапшота необходимо отключать от LUN'а все iSCSI инициаторы, т.е. тушить использующие этот LUN сервера, что при интенсивной работе пользователей крайне затруднительно. Плюс xtermio, в данном случае, в том, что снапшот делается моментально и позволяет "тушить" сервак только на очень короткий промежуток времени, пока xtermio делает снапшот. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 10:28 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
rdb_devДля создания нормального снапшота необходимо отключать от LUN'а все iSCSI инициаторы, т.е. тушить использующие этот LUN сервера это если бы у ФБ не было нбэкапа. А так, что для снапшотов xtremio, что для VSS или CBT, перед "снятием снапшота" надо залочить БД нбэкапом, а по окончании снапшота - разлочить. В принципе, все это достаточно просто оформляется в скрипты. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 10:37 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
kdvэто если бы у ФБ не было нбэкапа. А так, что для снапшотов xtremio, что для VSS или CBT, перед "снятием снапшота" надо залочить БД нбэкапом, а по окончании снапшота - разлочить. В принципе, все это достаточно просто оформляется в скрипты.Я имел в виду общий случай создания снапшота LUN'а, а в случае с ФБ, да, согласен - достаточно залочить БД в консистентном состоянии и можно делать снапшот LUN'а с БД средствами xtermio. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 10:46 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
rdb_devGallemar, при этом, для обслуживания копии БД на снапшоте xtermio использовался тот же инстанс сервера FB, что обслуживает оригинальную базу? Нет. Я специально на два поделил. Т.е. один инстанс с портом 3050,второй 3070. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 11:00 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
Единственный ньюанс после создания снапшота LUN'а - если БД оригинала необходимо разблокировать через nbackup -N, чтобы влить в базу данные из дельты, то БД на снапшоте необходимо разблокировать через nbackup -F. Блокирование и разблокирование ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 11:01 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
kdvПоскольку у вас снапшоты как бы динамически обновляются данными из production, работая со снапшотом ты этого не видишь. Мммм, а это как? Можешь объяснять? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 11:02 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
GallemarНет. Я специально на два поделил. Т.е. один инстанс с портом 3050,второй 3070.Хм... Какой режим снапшота использовали - Copy-on-Write? Вам нужен режим Redirect-on-Write. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 11:19 |
|
||
|
Mirroring FireBird 2.5
|
|||
|---|---|---|---|
|
#18+
Gallemar, у тебя же суперклассик? я подозреваю, если бы был суперсервер 3.0, то к снапшоту ты бы никак вторым инстансом подключиться бы не смог. А так, xtremio второму инстансу возвращает тот же хэндл, и получается, что лок-файл используется обоими инстансами. А вот если бы ты подключился к снапшоту ФБ с другого компа, тогда, по идее, база бы почти моментально поломалась. Ну или бы открыть вторым инстансом было бы нельзя. GallemarМммм, а это как? Можешь объяснять? я же дал ссылку на документ, начиная с 5й страницы. Есть информация о блоках, которые существовали в БД production на момент старта снапшота. И есть информация о блоках, которые изменены в production с этого момента. Если идет запись в снапшот, то по факту она идет в production. Снапшот сам по себе не предназначен быть модифицируемым. Модифицировать можно только клон, который является физической копией какого-то снапшота. Все там написано, в том числе про чтение для snapshot неизмененных блоков из production, и т.д. Собственно, rdb_dev и об этом пишет (а я только предполагал, что это так). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2016, 11:19 |
|
||
|
|

start [/forum/topic.php?fid=40&msg=39325822&tid=1561446]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
55ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
57ms |
get tp. blocked users: |
1ms |
| others: | 15ms |
| total: | 166ms |

| 0 / 0 |
