powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Вебинары по технологиям InterSystems
25 сообщений из 65, страница 1 из 3
Вебинары по технологиям InterSystems
    #39485778
VadimF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мы планируем провести серию вебинаров по технологиям InterSystems, для архитекторов и разработчиков, знакомых с технологиями InterSystems.

Первый вебинар "Новые возможности InterSystems Cache'/Ensemble 2017.1" состоится 18 июля c 10:00 до 11:00.

Второй вебинар "DeepSee и DeepSee Web" состоится 15 августа c 10:00 до 11:00.

Будем сообщать о следующих вебинарах.

Если будут какие-то предложения по темам вебинаров, пишите мне или консультантам, которые с вами работают.

Регистрируйтесь по ссылкам выше!
Ждем вас на наших вебинарах!
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39485950
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VadimF,

Время, я так понимаю, московское?

Предлагаю тему "Восстановление целостности базы". Потому что научиться этому на тестовых примерах практически нельзя, а когда необходимость настанет - учиться уже придется на реальных данных, что довольно таки опасно.

И документации все меньше и меньше. Кажется, в текущей версии нет даже информации о структуре базы.
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39486236
Макс1812
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Только на ютуб залейте потом в хорошем/отличном качестве =) В будние дни некогда смотреть.
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39486433
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н.Потому что научиться этому на тестовых примерах практически нельзя...Ничуть не умаляя важности темы, и даже безотносительно к ней: на каких же ещё примерах можно что-либо рассматривать в формате вебинара?
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39486532
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey Maslov,

Я неверно выразился. Правдоподобные тестовые примеры для исправления целостности самому не имея опыта сделать сложно, а неправдоподобные не имеет смысла, так как сам заранее знаешь, что сломал.
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39486539
Фотография DirksDR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н.Предлагаю тему "Восстановление целостности базы".
С одной стороны, это не новая возможность.
С другой стороны, а правильно ли заниматься ремонтом базы в принципе?
У других СУБД я не встречал инструкций и инструментов по ремонту БД,
только восстановление из бакапов.
Восстановление физической целостности путем ремонта не гарантирует логической целостности, имхо.
Чем вызвано такое настойчивое желание ремонтировать БД руками?
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39486545
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DirksDR,

Бывает, что база поломана, а когда - неизвестно. И вообще, жизненный цикл непрерывный, а восстановление из бэкапа несколько дней идет. И ломаются обычно индексы и подобные данные с часто расщепляемыми блоками, потеря которых не фатальна, но и битую структуру держать нельзя. Да мало ли случае может быть в конце концов. Я соглашусь, что полного восстановления данных в битой базе достичь нельзя, так как данные УЖЕ потерялись, в конце концов, какой-то блок расщепился, то записались в базу только некоторые блоки (например). Но исправление целостности данных на уровне блоков может быть лучшим вариантом по сравнению с другими, а восстановлением данных на прикладном уровне можно заняться позже или просто проигнорировать.
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39486550
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н.,

в конце концов, приходилось можно применять и гибридный вариант - восстанавливать данные из бэкапа более старые, и при этом ремонтировать структуру блоков, а потом сверять их. Но что ремонт базы бесполезный навык - не соглашусь.
Просто у вас не было случае, когда сервер на ходу терял диски или что-то подобное. Как правило, в этом случае поломка данных почти гарантирована, журналы и wij не помогают. Не помню только, для этого нужно отключать диск с базой или как раз с wij.
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39486608
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DirksDRУ других СУБД я не встречал инструкций и инструментов по ремонту БД,
только восстановление из бакапов.
Восстановление физической целостности путем ремонта не гарантирует логической целостности, имхо.
Чем вызвано такое настойчивое желание ремонтировать БД руками?Неужели у других СУБД настолько все плохо? Например посыпалась бинарном уровне база, например из-за диска, а бекапы все старые. То все, никаких шансов починить эту базу, только бекап и накатывать что сможешь утянуть?
Восстановление целостности базы каше, позволяет получить рабочую базу. Да, в зависимости от объема и характера повреждений, есть вероятность потери части данных, и в некоторых случаях есть возможность и их восстановить (например повреждения индексов).
Желание восстановить руками возникает, когда время деньги, а вариантов нету. Ну или бекапы старые, или разворачивать базу из бекапа на сотни гигабайт, чтобы восстановить кусочек в несколько килобайт. В общем куча варинтов. Вообще к структура базы каше на мой взгляд довольно простая, и не составляет особой сложности изолировать сбойный блок, если он не представляет особой ценности. При ручном ремонте кстати очень помогает знаение о данных в базе, чтобы принимать решение о важности тех или иных данных и о целесообразности их восстановления.
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39486623
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что касается восстановления данных, то полезен еще навык восстановления из журналов. Да и вообще работать с журналами нужно уметь.
Вы сделали kill очень важного глобала. Восстанавливаем базу из свежего бекапа, копируем оттуда этот глобал, и накатываете все изменения с этим глобалом из журналов после этого бекапа. Но до того рокового KILL. После этого база получится в актуальном состоянии.

клиент сообщает о том что, данные в объекте изменились, но никто этого не делал, и возможно даже прав на это не было. Не всегда возможно покрыть все собственным журналированием. Для этого помогает журналирование Caché. Можно найти изменение в журнале, и проанализировав записи по этому процессу, в дополнении с собственным журналированием, можно примерно составить полную картину того что произошло, и предотвратить это в дальнейшем.

а есть случаи распухания журналов, сейчас уже есть профилирование журналов, и можно понять что там лежит, и понять а нужно ли оно там.
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39486749
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DAiMor,

а еще есть такой способ. Сам бы не додумался, но ребята из СибЭКО попросили помочь. Удалили важные записи, нужно было восстановить. Нашли у журналов объектный интерфейс, просканировали журнал, нашли нужные записи и откатили только удаление записей в одной таблице.
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39486775
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н.,

Ну да, ну с журналами только объектным доступом можно получить много интересного. Хотя в их случае думаю можно было обойтись и JRNFILT
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39486848
Фотография ЕвгенийВ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DirksDRС другой стороны, а правильно ли заниматься ремонтом базы в принципе?
У других СУБД я не встречал инструкций и инструментов по ремонту БД,
только восстановление из бакапов.

Оффтоп, но DBCC CHECKDB (Transact-SQL)
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39486949
Фотография DirksDR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЕвгенийВОффтоп, но DBCC CHECKDB (Transact-SQL)
Проверка целостности это одно, а ремонт уже другое. По Вашей ссылке, в частности, сказано:Используйте аргументы REPAIR только как последнее средство.
Для устранения ошибок рекомендуется восстановление из резервной копии. Операции восстановления не учитывают никакие ограничения, которые могут существовать для таблиц или между таблицами.
Если указанная таблица включена в одно или несколько ограничений, рекомендуется выполнить инструкцию DBCC CHECKCONSTRAINTS после операции восстановления.
Если необходимо использовать аргументы REPAIR, выполните инструкцию DBCC CHECKDB без параметра восстановления, чтобы узнать требуемый уровень восстановления.
При использовании уровня REPAIR_ALLOW_DATA_LOSS рекомендуется создать резервную копию базы данных перед выполнением инструкции DBCC CHECKDB с этим параметром.
Я не для спора, а для раскрытия темы:)
Я согласен, что в некоторых ситуациях ручной ремонт будет полезен.
Но умение работать с журналом не менее важно.
DAiMor
+1
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39487115
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DirksDR,

Для меня это звучит как 'зубная щётка это хорошо, а туалетная бумага ещё важнее'.
Если вы хотите вебинар по теме тонкой работы с журналами, то я ведь только за.
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39487117
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А по своей теме я бы хотел демонстрацию механизмов, при которых возникают ошибки целостности. Ведь есть журналы, wij. Где уязвимость?
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39487363
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н.Ведь есть журналы, wij. Где уязвимость?Журналы - это транзакционная целостность, WIJ - структурная ("физическая"). Если она утрачена, журналы помогут лишь как средство доката после восстановления бэкапа.

Одна из потенциальных уязвимостей: демон записи, как известно, либо пишет в БД всю связанную группу блоков, которая предварительно была записана в WIJ, либо не пишет в БД ничего. По крайней мере, так это задумано. Но где гарантия, что все эти блоки действительно запишутся в БД? 100% гарантии нет, и чем сложнее становятся системы хранения данных, тем она отчасти выше, но и ОС становится "всё дальше" от железа.

Совет, который нередко встречается: перевести дисковый контроллер в режим write-through, отключив write-back, тем самым замедлив скорость записи, но повысив уверенность в её успехе. Кто-нибудь так делает?
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39487507
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey Maslov,

Про журналы понятно, что это маленько из другой оперы.

По поводу режима кэширования - даже есть оно включено для записи, у нормальных дисков есть энергонезависимая память, что должно помогать при отключении.

С wij, как я понимаю, демон записи либо пишет в wij, либо пишет в базу. По крайней мере, мне кажется, так должно быть с точки зрения надежности. По крайней мере, незаписанное в wij не должно попадать в базу. Дальше, если в данные не полностью записались из буфера памяти в wij, то при восстановлении питания и перезапуске Каше эти данные лучше всего игнорировать. Т.е. если сбой произошел на фазе записи в wij, то данные wij нужно игнорировать. Если сбой произошел на фазе записи в базу, то данные wij нужно просто в базу записать заново. Т.е. я не вижу варианта, при котором данные могут потеряться. И вроде бы с неожиданной потерей питания все более-менее нормально.

А вот ситуация с потерей одного из контроллеров мне непонятна, и именно при этом обычно возникают ошибки в базе. Я не помню, правда, какой диск был во встречавшихся мне случаях: с базой или журналами, wij и каталогом Cache. Т.е. например, отстегивается диск, операционная система на это никак не реагирует, Каше отправляет данные из wji на запись в базу, часть из этих данных уходит на контроллер, часть нет? А Каше ничего не видя при этом переключает демон записи в разные режимы, которые нам в итоге даже не дадут понять что произошло? Потом она уходит в режим заморозки, сервер останавливают, меняют, например, контроллер, Но Каше не понимает, какую часть wij нужно докатить в базу, ведь операционная система приняла все данные до фриза? Что-то в таком роде хотелось бы понять, только не на уровне гаданий.
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39487722
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н.,

в описанном вами случае отстегнуться должны были и БД, и WIJ, т.к. был бы цел WIJ, при перезагрузке в нем обнаружились бы блоки, дальше понятно.

Write-back с умершим резервным источником питания или работа вообще без него: "сервер мы купили, а батарейку в контроллер пока нет, но через год купим" - случай из жизни.

Еще одна причины порчи БД: ошибки в самой Cache. К счастью, такого рода ошибки очень редки и их обычно быстро исправляют. Из последнего: возможность деградации БД при уплотнении свободного места в БД (Compact free space). Исправили в Cache 2015.1.4.
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39490609
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VadimFПервый вебинар "Новые возможности InterSystems Cache'/Ensemble 2017.1" состоится 18 июля c 10:00 до 11:00.Пока я разочарован.
Проблемы со звуком, как у организаторов, так и слушателей, причем, слушатели не все смогли до конца настроить звук себе.
Низкое качество звука (шумы, эхо), в том числе из-за некоторых слушателей, которые не отключили микрофоны.
Очень низкая степень интерактивности, ведущий без остановки рассказал информацию по слайдам. Возможно, было в таком случае лучше записать видео и выложить его на ютуб? Смотреть его было бы удобнее, можно делать паузы, опять же, задать вопросы в комментариях.
Отсутствие, как мне показалось, новой информации. Мне кажется, это все можно было узнать в описании релиза. Все-таки вебинар должен давать что-то, что иначе получить тяжело: практику, подробные демонстрации, общение и так далее.

Спасибо коллегам в комментариях, была пара интересных ссылок, но мало кто, как мне кажется, успел их открыть.
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39490697
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я второй раз участвую в вебинарах ISC; первый был лет 6 назад, рассказывали про свеженькое на тот момент "зеркало". Кто проводил - уже не помню, но прошёл он без серьёзных технических проблем, и вопросы дали позадавать, а не сразу "спасибо, до свидания".
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39490721
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нашёл ссылку на обсуждение вебинара по зеркалу .

Приятно было бегло перечесть: могут же, когда захотят.
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39490742
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey Maslov,
да, я помню. По зеркалу вебинар понравился и на тот момент много чего дал.
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39490751
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
По заморозке планов ничего не понял. Посмотрел на 2017.2, в документации есть, а где в портале посмотреть замороженные планы и сравнить их с актуальными, так и не нашел.
Зато случайно в поиске попалось "Alternate Show Plans". Не нашел, где она стабильно находится, но интересно, что для одного запроса могут генериться разные планы, их можно сравнивать в теоретическом быстродействии и практическом. Правда, не понял, какой из этого прок, можно ли установить для запроса альтернативный план?
...
Рейтинг: 0 / 0
Вебинары по технологиям InterSystems
    #39490778
Александр Коблов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н.,

Подробнее про замороженные (frozen) планы запросов

Презентация с Global Summit 2016:
https://learning.intersystems.com/course/view.php?id=122

Документация
http://docs.intersystems.com/latest/csp/docbook/DocBook.UI.Page.cls?KEY=GSQLOPT_frozenplans

В Портале планы показываются на вкладке "SQL-выражения в этом Namespace" в разделе «Обозреватель системы -> SQL». Там же планы можно заморозить.
...
Рейтинг: 0 / 0
25 сообщений из 65, страница 1 из 3
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Вебинары по технологиям InterSystems
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Читали форум (1): Анонимы (1)
Пользователи онлайн (7): Анонимы (5), Bing Bot, Yandex Bot
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]