|
|
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоид, ты можешь сформулировать пользу этих сообщений в логе. Я вот например не вижу никакой. Вот что мне с того факта что при шатдауне было модифицировано такое то количество страниц в такой то таблице, началось это тогда то, закончилось тогда то. Как это вообще планируется использовать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.09.2013, 23:40:24 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Симонов Денисты можешь сформулировать пользу этих сообщений в логе. Я вот например не вижу никакой. Вот что мне с того факта что при шатдауне было модифицировано такое то количество страниц в такой то таблице, началось это тогда то, закончилось тогда то.Если кто-то из Источников Света скажет, что базу Firebird после шатдауна всегда можно "упаковывать в чемодан", копировать куда-то и проч., несмотря на идущие ней откаты DML'ей - всё, вопрос закрываем. Если же шанс получения битой копии остается - польза от сообщений в логе будет как минимум при разборе полётов. Симонов ДенисКак это вообще планируется использовать?Я бы просто делал скриптом: 1) шатдаун базы: Код: plaintext 1. 2. 3. 4. 5. - и далее в этом же скрипте: 2) tail -f firebird.log - и смотрел бы, ЧТО ТАМ появляется. Если шатдаун пришелся именно на активные DML'и, то сообщение об откатах появится в логе сразу же . Если это сообщение будет типа такого: "<timestamp> start rollback changes on table T1, ip=192.168.12.34, connect # 2345, statement: <тут первые 300...500 букаф этого стейтмента>" - то ждём дальше "симметричного" ему сообщения об окончании по коннекту 2345. Базу можно считать действительно закрытой, только когда число сообщений с фразами "start rollback chanes" будет равно "finish tollback changes". ЗЫ. Ты вроде пытался поиграться DML'ями с табличкой-"миллиардершей" ? У тебя, ЕМНИП, диска тогда не хватило. Рекомендую-таки найти 100 Гб хотя бы. Сразу увидишь, что это за зверюга :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 00:09:23 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
"600 сообщений в логе", "не страшно", "диск не переполнится". Проникся. Таблоид> базу Firebird после шатдауна всегда можно "упаковывать в чемодан", копировать Таблоид> куда-то и проч., несмотря на идущие ней откаты DML'ей - всё, вопрос закрываем. При чём тут можно или нет и сообщения в логе? Автоматом ты их всё равно не сможешь анализировать. А если нужно тупо увидеть глазами "готово или нет", то нужно см. результат (output и err) самого gfix-а. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 00:40:33 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоид> Мну давно интересно Т.е. интерес чисто теоретический и синтетический (не говоря уже о том, что крайне редкий на практике). Кстати, "закулисье" должно, наверное, воркэраундиться шатдауном сервера (не проверял). Для надежности. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 00:44:11 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов Рустам"600 сообщений в логе", "не страшно", "диск не переполнится". Проникся.В смысле ? Что так "пробрало" ? :-) Гаджимурадов РустамТаблоид> базу Firebird после шатдауна всегда можно "упаковывать в чемодан", копировать Таблоид> куда-то и проч., несмотря на идущие ней откаты DML'ей - всё, вопрос закрываем. При чём тут можно или нет и сообщения в логе?Если базу СТОПУДОВО МОЖНО копировать сразу после того, как gfix -shut вернул управление и я увидел в атрибутах гстата 'full shutdown' - то на сообщения о незавершенных откатах действительно можно покласть. Или я не прав ? Гаджимурадов РустамАвтоматом ты их всё равно не сможешь анализировать. А если нужно тупо увидеть глазами "готово или нет", то нужно см. результат (output и err) самого gfix-а.Это почему же ? Сделать цикл с интервалом 2-3 сек, который будет подсчитывать число "открывающих" и "закрывающих" (N1, N2) мессаг в логе и вякнет "Готово, копируй!" при обнаружении N1 == N2 - что, нереально сложно что ле ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 00:49:06 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов РустамТаблоид> Мну давно интересно Т.е. интерес чисто теоретический и синтетический (не говоря уже о том, что крайне редкий на практике).Да как же "теоретический", когда я на нашем продуктиве видел ЭТО: gfix зашатдаунил базу, а lsof продолжал еще секунд 10 показывать, что её файл открыт. Раза два или три это было, но точно - видел. И если бы перед этим не изгалялся с нагрузочным тестом на развал индексов (а дело было в 2010, когда у нас missing entries попёрли, не к ночи будь помянуты!) - никогда бы и не узнал об этом "эффекте". Гаджимурадов РустамКстати, "закулисье" должно, наверное, воркэраундиться шатдауном сервера То есть, тупо вводом /etc/init.d/firebird stop ? Гаджимурадов Рустам(не проверял). Для надежности.В чём преграда, проверь! Если есть линух - запусти нагрузочный тест с DML'ями, окон 150-200. Дай ему помолотить полчаса-час и затем зашатдауни базу. И попробуй далее ввести: Код: plaintext 1. Результат, скорее всего, слегка удивит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 00:56:31 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоид, 1. зачем тебе её копировать ? 2. даже если копировать - есть nbackup 3. вот на это посмотреть Таблоидlsof продолжал еще секунд 10 показывать, что её файл открыт сложнее, чем писать какие-то парсеры каких-то логов ? Ты опять устраиваешь бурю в стакане воды. Займись чем-нить реально полезным, полно же дел вокруг... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 01:04:04 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоид> Да как же "теоретический" Да вот так. Во-первых, на практике такое если и встречается, то редко. Во-вторых, ну молотит - тебе-то что? Перебьёшься 10 секунд. > В чём преграда, проверь! Шутник. Во-первых, фб на линуксе у меня под рукой сейчас нет, а ставить лень. Во-вторых, никаких нагрузочных тестов на 150-200 окон длительностью полчаса-час ради такой фигни я в принципе не стал бы запускать. > Результат, скорее всего, слегка удивит. Так если ты его уже проверил - просто напиши, что получилось. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 01:04:43 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоид> В смысле ? Что так "пробрало" ? :-) 600 любых сообщений в логе. Любых. > Или я не прав ? А ХЗ, не уверен. Допустим, не можешь. Дальше что? > нереально сложно что ле ? Я знаю, что у тебя энергии и времени немеряно, но не проще ли тупо поставить паузу на минуту и проверить этот самый lsof ? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 01:07:12 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
hvlad1. зачем тебе её копировать ?потому что несколько раз возникали ситуации, когда надо поиметь максимально актуальную копию продуктива, причём быстро (=> b/r не катит). Ночная копия - да, была, но косяк вылез именно на данных, вбитых сегодня. hvlad2. даже если копировать - есть nbackupЭто я попозже стал делать. Хороший способ, но... там главное всё время быть рядом с экраном и следить, чтобы скрипт обязательно дошёл до строки с 'nbackup -N', а не то "снег башка упадёт" :-) hvlad3. вот на это посмотреть Таблоидlsof продолжал еще секунд 10 показывать, что её файл открыт сложнее, чем писать какие-то парсеры каких-то логов ?парсер тем и хорош, что "смотрит" за меня и "глаз" у него не замыливается. Один раз помучился, отладил - дальше спи спокойно. hvladТы опять устраиваешь бурю в стакане воды. Займись чем-нить реально полезным, полно же дел вокруг...я веду непримиримую борьбу за ликвидацию записи в файл базы после шатдауна! Разве это не реально полезнейшая задача ?! :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 01:28:40 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоидя веду непримиримую борьбу за ликвидацию записи в файл базы после шатдауна!А при чём тут спам в логе ? И разве тебе не сказали много раз, что откаты при шатдауне будут оптимизированны ? Или тебе нравится бесконечно ковырять эту тему ? ТаблоидРазве это не реально полезнейшая задача ?! :-)Я бы её даже в первый десяток актуальных не ставил... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 01:32:37 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов РустамТаблоид> Да как же "теоретический" Да вот так. Во-первых, на практике такое если и встречается, то редко.Редко, не спорю. Только мне последствия интересны, а не "частота встреч" :-) Гаджимурадов РустамВо-вторых, ну молотит - тебе-то что? Перебьёшься 10 секунд.Кхе! это на нашем продакшене было 10 сек, и то - по памяти говорю, могу и ошибаться. А если бы кто запустил что-то "могучеее", то и несколько минут могло бы быть. Посмотри выше - и 40 минут можно при желании "сбацать" :-) Гаджимурадов РустамВо-вторых, никаких нагрузочных тестов на 150-200 окон длительностью полчаса-час ради такой фигни я в принципе не стал бы запускать.То есть, ты ТОЧНО уверен, что запись в базу после шатдауна ничем не грозит базе, которую в этот же момент куда-то там "откладывают" в виде backup'а. Я правильно тебя понял ? Гаджимурадов Рустам> Результат, скорее всего, слегка удивит. Так если ты его уже проверил - просто напиши, что получилось.Дык вот же , полтора года уже как. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 01:36:14 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
hvladТаблоидя веду непримиримую борьбу за ликвидацию записи в файл базы после шатдауна!А при чём тут спам в логе ?Спам - это как раз нынешние errno=104/110. hvladИ разве тебе не сказали много раз, что откаты при шатдауне будут оптимизированны ? Или тебе нравится бесконечно ковырять эту тему ?Я прекрасно понимаю, что если они и будут оптимизированы, то еще не скоро. И потому спросил: до того, как состоится эта оптимизация, - нельзя ли сделать вот эту фичу ? Насколько это сложно вообще: добавить вывод в лог таких сообщений ? hvladТаблоидРазве это не реально полезнейшая задача ?! :-)Я бы её даже в первый десяток актуальных не ставил...Да пускай себе торчит в разряде миноров, раз это от Царя Гороха так. Но хотя бы вывод в лог ФБ добавь(те), ну ?.. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 01:43:38 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов РустамТаблоидЕсли базу СТОПУДОВО МОЖНО копировать сразу после того, как gfix -shut вернул управление и я увидел в атрибутах гстата 'full shutdown' - то на сообщения о незавершенных откатах действительно можно покласть. Или я не прав ?А ХЗ, не уверен. Допустим, не можешь. Дальше что?Если НЕ могу покласть на такие сообщения ?? сам понимаешь: тогда они точно ДОЛЖНЫ быть в логе, а не только в трезвом мозгу ДБАя. Ибо если он забил на них и начал копировать базу, а дальше продакшен слетел и актуальной копией является "та самая", и она оказалась битой, то... телефон kdv на у него сайте вроде всегда висит Гаджимурадов РустамЯ знаю, что у тебя энергии и времени немеряно, но не проще ли тупо поставить паузу на минуту и проверить этот самый lsof ?ну так я и делал именно это! Но разве ты не видишь, что тут "чел. фактор" ? Ну забыл бы я однажды про это, или кто другой вместо мну стал бы шатдаунить... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 01:51:11 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоид> Только мне последствия интересны, а не "частота встреч" :-) Последствия чего? Ну выстрели себе в ногу - тоже редко, тоже интересны последствия будут. > Кхе! это на нашем продакшене было 10 сек, и то - по памяти говорю, могу и ошибаться. > А если бы кто запустил что-то "могучеее", то и несколько минут могло бы быть. > Посмотри выше - и 40 минут можно при желании "сбацать" :-) При желании можно и буй шар проглотить, да. Могучего можно пересчитать по пальцам, да и те живут на репликаторах да на nbackup-ах и живую БД посреди дня шатдаунить не собираются. А если вдруг почему-то и соберутся - будут делать это ручками, а не никакой не автоматикой/парсером. И да, обождут 10 секунд, минуту, если надо - две. > Я правильно тебя понял ? Нет, неправильно. Я сказал то, что сказал. Кому надо - подождёт. Кому чешется - тот ССЗБ. Кстати, с оригиналом ничего и не будет, скорее всего, в отличие от копии. Но зуб никто не даст. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 03:25:45 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоид> сам понимаешь: тогда они точно ДОЛЖНЫ быть в логе Нет, не понимаю. В логе этому не место. Повторюсь, если нужна развернутая статистика (любая) - место ей в output и err gfix-а, а не в логе сервера. > Ибо если он забил на них и начал копировать базу А смысл о чём-то дальше говорить, если он на них забил? Ну он точно так же на сообщения в логе может забить? Дело не только в том, что ты пытаешься бурю в стакане замутить, как сказал Влад, мало того - и буря-то толком не получается. > Но разве ты не видишь, что тут "чел. фактор" ? Нет, не вижу. Чем отличается человеческий фактор "посмотрел lsof" или "посмотрел gfix output" от "посмотрел лог" (при том, что лог не твой) ? Как по мне, так второе и даже первое много лучше и удобнее третьего, которое ты просишь. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 03:31:20 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Гаджимурадов РустамДело не только в том, что ты пытаешься бурю в стакане замутить, как сказал Влад, мало того - и буря-то толком не получается.Ладно. Раз все спокойны на этот счет, значит проблема действительно была только в моей голове. Оставим эту тему, но надеюсь, что тот тикет когда-нить перейдёт в resolved. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 10:54:47 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
ТаблоидЕсли кто-то из Источников Света скажет, что базу Firebird после шатдауна всегда можно "упаковывать в чемодан", копировать куда-то и проч., несмотря на идущие ней откаты DML'ей - всё, вопрос закрываем. Лучше бы тогда попросил что бы Код: plaintext возвращало управление только по окончанию всех откатов. Уж куда проще для твоих скриптов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 12:09:37 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Симонов ДенисЛучше бы тогда попросил что бы Код: plaintext возвращало управление только по окончанию всех откатов. вообще-то, в свежих билдах так оно и должно быть. И я несколько удивлен, что это не так. Так что предлагаю Таблоиду вынести доказательства этого вопроса в отдельный топик. А то "кони, люди" в этой теме начинают утомлять. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 12:21:11 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
dimitrСимонов ДенисЛучше бы тогда попросил что бы Код: plaintext возвращало управление только по окончанию всех откатов. вообще-то, в свежих билдах так оно и должно быть. И я несколько удивлен, что это не так. Так что предлагаю Таблоиду вынести доказательства этого вопроса в отдельный топик.Дык вот же, вчерась ещё. И ниже чуток, когда я дождался таки через 40 минут. ЗЫ. А я - наоборот, сильно бы удивился, если gfix -shut стал бы синхронным и не вертал управление в ось до полного завершения откатов. Это наверняка было бы записано в моей любимой утренней газете , но там тишина пока что. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 12:32:19 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоид, попрошу на кошках вменяемого размера пример, твой миллиард никто в здравом уме заливать не будет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 12:48:10 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
dimitrпопрошу на кошках вменяемого размера пример, твой миллиард никто в здравом уме заливать не будетну так там не миллиард апдейтов было, а гораздо меньше. Просто ему тяжко было обновлять два индекса, КМК, вот он и застрял с откатами на такое время. Кому интересно - залейте у себя 200-300 млн записей в такую же таблицу: Код: plaintext 1. 2. 3. 4. 5. 6. 7. Затем делаем следующее (с предварительно запущенным трейсом): session #1 isql 192.168.99.44/3330:t10e9 -n | mtee /t isql_log.txt 12:34:43.311 Database: 192.168.99.44/3330:t10e9 12:34:43.311 SQL> set plan on; set stat on; update t set s01=s02, s02=s01; 12:36:12.592 PLAN (T NATURAL) session #2 запускаем shell-скрипт, который в цикле будет запрашивать мон-таблицы, с интервалом 10 сек. Запрос этот приведен выше в этом топеге, впрочем - вот, еще раз: askmon.sql Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. askmon.sh Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. Дальше даём поработать минут 10, больше не нужно. session #3 шатдауним базу, с логированием моментов времени: db_shutdown.sh Код: plaintext 1. 2. 3. 4. Код: plaintext 1. 2. Итак, управление в ось из gfix -shut вернулось через 32-23 = 9 секунд. А теперь смотрим в isql-окно. У мну в нём показано вот это: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. А еще смотрим в лог скрипта, запрашивавшего мон-таблицы, и обращаем внимание на моменты времени, когда он запускал isql и возвращался из него. Но только на те моменты, которые уже после шатдауна ( 12:43:32 ) были: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. Ну, и наконец - данные трейса. Вот старт DMl-стейтмента: 12:33:12 Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. Вот я gfix'ом сказал базе "спать!": 12:43:25 Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. А вот завершение DML-откатов: 12:45:56 Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. ИТОГО: gfix -shut вернул управление, но движок после этого еще 2.5 минуты продолжал запись откатов. И еще раз повторю. Для воспроизведения сего не надо иметь таблицу в 1 млрд записей. Сделайте 200-300 млн, навесьте 2-3 индекса и запустите апдейт, включающий эти индексные поля. Дайте ему промолотить 10 минут. ЗЫ. Делал на LI-T3.0.0.30661 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 13:26:23 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоид Код: plaintext 1. 2. 3. 4. 5. 6. 7. При pagesize = 16384, двух индексах и глубине каждого = 3. Жесть, короче!.. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 13:32:23 |
|
||
|
Его Величество Миллиард (эксперименты с таблицей в 10E9 строк)
|
|||
|---|---|---|---|
|
#18+
Таблоид, ну на 3.0 понятно. Туда некоторые вещи могли забыть портировать. Ты проверь на последнем 2.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.09.2013, 13:34:33 |
|
||
|
|

start [/forum/topic.php?fid=40&msg=38403747&tid=1564260]: |
0ms |
get settings: |
9ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
196ms |
get topic data: |
9ms |
get forum data: |
3ms |
get page messages: |
65ms |
get tp. blocked users: |
1ms |
| others: | 268ms |
| total: | 573ms |

| 0 / 0 |
