Alexey Maslovне хочу сыпать соль на раны, но вы наверное и сами поняли, что "сторонняя фирма" вас серьёзно подставила. Это политика Интерсистемс в первую очередь, что она позволяет продавать свои лицензии сторонним фирмам и оставляет поддержку на их совести.
Alexey MaslovПравильнее было бы разрулить вопрос с лицензией, у вас ведь и обновлений нет. Ээм. А что делать с лицензией, софт то не самописаный. Никто ведь гарантий, что он будет работать на другой версии Каше не даст, а просто потому что круто в здравом уме тоже мало кто согласится эпгрейдиться.
Alexey Maslov Насчёт иностранных инженеров: в WRC сильнее Николая Жохова никого сегодня нет, по крайней мере я не встречал.Не могу судить, меня почти всегда переводили в итоге на англоязычных специалистов.
Alexey MaslovНеверной сортировки внутри блока в вашем примере я не увидел (вздохнув с облегчением), а насчёт нарушения сортировки в цепочке блоков объяснение DAiMor-а прозвучало правдоподобно. Такие ошибки Integrity всегда видит.Ну ошибка то внутри блока в любом случае до рассечения, тут мы уже ничего не увидим, даже если что-то было.

Alexey Maslovвот оно как, спасибо, будем знать. Хотя мне трудно представить себе админа в здравом уме и трезвой памяти, который станет чинить БД, предварительно не отключив всех клиентов (включая ECP).Уверяю вас, таки есть, как минимум один .
Ошибки обычно в индексах, пример, который я привел, скорее исключение. Останавливать всю систему ради того, чтобы поправить один индекс, не вижу особого смысла. Система работает по многим российским часовым поясам, чем в какой момент занимается - я не знаю. После исправления логики целостности я просто перестраивают индекс без удаления (кроме одной таблицы, ее вообще не перестраиваю, потому что это порождает несколько десятков гигабайт журналов и такое же распухание CACHETEMP). Явная коллизия за все время была только одна, просто пришлось еще раз исправить ошибку. На случая предположения, что я сам же эти ошибки и делаю - нет, они в разных глобалах происходят.

Alexey Maslovа партнёр не платит вендору и лишает тем самым клиента т/п вендора, значит, он кидает клиентаИз чего вы сделали такие выводы?
Alexey MaslovЭто на вашей новой работе происходит?Да, на новой.
Alexey MaslovНасчёт ремонта БД на ходу: это на самом деле опасно, можно огрести новых ошибок, и вполне возможно, что это ваш случай. Кроме того, остановив работу, вы привлекаете внимание руководства к проблемам:Я не "владелец" системы, если я ее остановлю без согласования, то в первую очередь привлеку внимание к себе. Внимание руководства к проблеме я привлек обычными способами, но версий ни у кого нет, и что делать никому не понятно. Зеркального сервера нет, это проблема, о ней тоже знают, но в случае такого разрушения не факт, что оно поможет.
По поводу новых ошибок. Как вы представляете механизм появления ошибки в одном глобале при правке связности в другом? Я не представляю. Самый вероятный случай: при правке линка одного узла модифицируется родительский блок, при этом в родительский блок на живой системе добавляется подузел, который после сохранения правленого родительского узла видно не будет. Ошибка отлично видится и элементарно исправляется. Ситуации типа расщепления родительского блока, понижения или повышения уровня дерева и подобные штуки на тех объемах и том времени, в котором это находится, крайне маловероятны, и в любом случае это будет видно.

Alexey MaslovРемонтируя БД на ходу, вы превращаетесь в "героя, спасающего мир", из которого в любой момент могут сделать стрелочникаМне уже приходилось экстренно разбираться с прикладными проблемами, отчасти с вопросами "а не из-за твоих ли проблем они возникли?" (в некоторых ситуациях перестало хватать памяти процесса). А кому сейчас легко?

Пара деталей еще:
1. сервера находятся у хостера, за время моего наблюдения хостер сменился, проблемы остались;
2. сервера находятся под VMWare. У меня нет опыта эксплуатации систем подобного объема под виртуалкой (многопроцессорные системы, терабайтные объемы данных).

Alexey MaslovНашёл у себя рецепты по ремонту БД при некоторых типах ошибок, конкретно: 9, 13, 14, 24, 26. Могу выложить куда-нибудь, если интересно.Выложите. Если есть описание номеров, то тоже, это даже более желательно. Мне номера ошибки ничего не говорят, каждый раз текстом читаю.

Alexey MaslovКак вы хорошо знаете, зеркало работает через журнал, а его целостность не зависит от целостности БД. да, но база то будет все равно с нарушенной целостностью, максимум, что можно сделать - это переключиться на целый узел зеркала, а кривой пересоздать. При скорости возникновения ошибок около двух в неделю - это вообще не вариант.

Alexey MaslovЯ тоже, имел в виду появление ошибок в том же самом глобале.Тот же самый глобал после исправления целостности я проверяю. Не всегда удается поправить ошибку с первого раза, был как минимум один случай, когда мои действия породили ошибку целостности. Но в итоге глобал я выправляю. Что не мешает появлению новых ошибок.

kalin,

В моем случае операционка - винда. Но с ней обычно тоже все достаточно стабильно.

24 ошибка оказалась не такой уж простой для исправления руками. Либо удалять море узлов, либо весь блок целиком.
Николай Жохов написал программу для исправления, и мы поправили один глобал (он правил - я смотрел).
В общем, я еще раз порекомендую техподдержку Интерсистемс, там крутые специалисты и она отзывчивая.
(Да, организация в которой происходят эти проблемы, не на поддержке, но получилось так, что немножечко поддержать оказалось можно)

С причиной ошибок пока ничего не ясно.