Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт. / 25 сообщений из 27, страница 1 из 2
30.10.2013, 17:48:11
    #38447204
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
hi all

в некоторую тестовую тряпку в течение примерно 36 часов шла запись от 350 dml-молотилок (не только insert, но и update /delete - т.е. мусора там должно быть много).
Далее тест был остановлен и решено провести бекап этой бедной базы.

С глубоким прискорбием сообщаю, что бекап практически застрял. За два часа он создал .fbk размером примерно 600 К и размер этот почти не увеличивается. К базе других коннектов нет, хост ничем кроме ФБ не грузится.

Накопительный лог запроса к мон-таблицам, отфильтрованный по процессу = '/opt/fb30/bin/gbak', показывает тягостную картину: при числе фетчей = 550 тыс в секунду, число марков - около 100, а экспунгов - около 200 (НЕ тысяч, увы).

Вроде бы в 2.5 такого не было... Поломаться могло что-то ? (база, если надо, имеется, могу выложить на ф/п).
...
Рейтинг: 0 / 0
30.10.2013, 17:48:48
    #38447209
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
ooops... attach забыл
...
Рейтинг: 0 / 0
30.10.2013, 17:59:53
    #38447243
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Таблоид,

кинь скрипт теста. Погоняю как будет время.
...
Рейтинг: 0 / 0
30.10.2013, 18:00:55
    #38447247
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Таблоид,

а ты опять gbak со сборкой мусора запускал?
...
Рейтинг: 0 / 0
30.10.2013, 18:07:21
    #38447267
dimitr
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
там тормозит сборка мусора в индексах, IIRC. Свип базы после 12 часов теста выполняется 4 часа.
...
Рейтинг: 0 / 0
30.10.2013, 18:09:43
    #38447276
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Симонов Денискинь скрипт теста. Погоняю как будет время.сделай пинг вот сюда: p519446 ат яндыкс.ру, а то у тебя в профиле нету мыла.
...
Рейтинг: 0 / 0
30.10.2013, 18:11:26
    #38447282
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Симонов Дениса ты опять gbak со сборкой мусора запускал?а мне и надо, чтобы сборка мусора там выполнилась.

dimitrтам тормозит сборка мусора в индексах, IIRC. Свип базы после 12 часов теста выполняется 4 часа.а это багофича именно ТРЁШКИ или так всегда и было ?
...
Рейтинг: 0 / 0
30.10.2013, 18:13:13
    #38447284
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
dimitrтам тормозит сборка мусора в индексах, IIRC. Свип базы после 12 часов теста выполняется 4 часа.как это ?! стой! halt!!
за каким псом ему собирать мусор в ИНДЕКСАХ при выполнении бекапа ??
...
Рейтинг: 0 / 0
30.10.2013, 18:18:06
    #38447296
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Таблоида мне и надо, чтобы сборка мусора там выполнилась.
мы меряем gbak или сборку мусора? Или все вместе, чтобы результат был непонятнее? :-)
...
Рейтинг: 0 / 0
30.10.2013, 18:20:26
    #38447299
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Таблоидза каким псом ему собирать мусор в ИНДЕКСАХ при выполнении бекапа ??

1. при выполнении бэкапа никакой мусор никогда не собирается. Но!
2. бэкап - это чтение и экспорт данных в виде select * from table. Поэтому,
3. при select сервер пытается собрать мусор в читаемых данных, если он есть. А
4. при сборке мусорных записей вычищаются ключи, принадлежащие этим записям

как бы, все штатно, и как всегда.
...
Рейтинг: 0 / 0
30.10.2013, 18:20:50
    #38447300
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
kdvТаблоида мне и надо, чтобы сборка мусора там выполнилась.
мы меряем gbak или сборку мусора? Или все вместе, чтобы результат был непонятнее? :-)Стоп. Что-то я тут запутался в трёх соснах. Утомился зело. Отбой пока :-)
// хотя по скорости сборки мусора в индексах - вопрос остался: чё так долго-то ? ну не было ж такого в 2.5, ЕМНИП....
...
Рейтинг: 0 / 0
30.10.2013, 18:34:00
    #38447322
Гаджимурадов Рустам
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
kdv> как бы, все штатно, и как всегда.

Заметил аж две с половиной ошибки.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
30.10.2013, 20:05:25
    #38447409
dimitr
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Таблоида это багофича именно ТРЁШКИ или так всегда и было ?
это багофича твоего теста
...
Рейтинг: 0 / 0
30.10.2013, 23:54:37
    #38447568
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Гаджимурадов Рустамkdv> как бы, все штатно, и как всегда.
Заметил аж две с половиной ошибки.
давай, жги. сразу бы и сказал про ошибки.
...
Рейтинг: 0 / 0
31.10.2013, 11:24:23
    #38447930
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
dimitr,

вроде в тройке сборку мусора улучшали. Судя по презентации ввели флаг для страниц без мусора. Или я не о том?
...
Рейтинг: 0 / 0
31.10.2013, 11:28:38
    #38447944
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Симонов Денис,

значит у него все страницы с мусором. Плюс, как обычно, десятки индексов на одной таблице.
...
Рейтинг: 0 / 0
31.10.2013, 12:03:23
    #38448046
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Таблоидdimitrтам тормозит сборка мусора в индексах, IIRC. Свип базы после 12 часов теста выполняется 4 часа.как это ?! стой! halt!!
за каким псом ему собирать мусор в ИНДЕКСАХ при выполнении бекапа ??

за тем псом что ты бекап со сборкой мусора запустил
...
Рейтинг: 0 / 0
01.11.2013, 00:30:17
    #38449119
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Гаджимурадов РустамЗаметил аж две с половиной ошибки.
я жду.
...
Рейтинг: 0 / 0
01.11.2013, 01:09:42
    #38449136
Гаджимурадов Рустам
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
О как... Щас.

> 1. при выполнении бэкапа никакой мусор никогда не собирается. Но!
> 3. при select сервер пытается собрать мусор в читаемых данных, если он есть.

1. Это неправда и ты это знаешь. Про отключение ты
ни в одном пункте почему-то не упомянул, что странно.

3. Не только. Даже при заданном ключе, теоретически,
может сработать неотключенный авто-свип. Правда,
это маловероятно и этот момент надо у птицеводов
уточнить, на всякий случай. Хотя вряд ли и они над
этим задумывались, но в голове прикинуть несложно.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
01.11.2013, 06:57:19
    #38449212
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Гаджимурадов Рустам1. Это неправда и ты это знаешь. Про отключение ты
ни в одном пункте почему-то не упомянул, что странно.
типа, с опцией -g неправда, а без этой опции - правда? Таблоид у нас тут не новичок, раз сказал что без -g вызвал гбак, значит так оно и было. Соответственно мне, и тем более ему, про -g говорить "правду" не надо, я и так уже задолбался это делать.
А все остальное у меня в gbak.htm написано.

Гаджимурадов Рустам3. Не только. Даже при заданном ключе, теоретически,
может сработать неотключенный авто-свип.
авто-свип срабатывает только при старте транзакции. Поэтому я этот пункт больше ничем комментировать не буду.

В общем, ошибок не было, были разве что умолчания возможных вариантов. Которые в контексте вопроса не фигурировали.
...
Рейтинг: 0 / 0
01.11.2013, 11:22:19
    #38449497
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Коннект, у которого включено no_garbage_collect, не только сам не собирает мусор, но и не может стартовать авто-свип.
И так было всегда.
...
Рейтинг: 0 / 0
01.11.2013, 11:29:38
    #38449521
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Мне вот интересно почему ключик -g необходимо указывать при работе gbak? Почему бы не сделать этот режим умалчиваемым (пофиг стоит -g или нет), ведь редко кому нужно при бекапе мусор собирать. В результате новички постоянно попадают на эти грабли.
...
Рейтинг: 0 / 0
01.11.2013, 11:34:08
    #38449535
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
Симонов Денис,

о каких граблях речь ?

Или ты хочешь сказать, что новички первым делом настраивают ночной свип ?
А ведь сборка мусора при бекапе у многих - единственный регулярный способ хоть что-то почистить...
...
Рейтинг: 0 / 0
01.11.2013, 11:43:24
    #38449559
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
hvlad,

граблей никаких нет. Это я не так выразился. Есть жалобы на медленный бекап.
...
Рейтинг: 0 / 0
01.11.2013, 13:54:54
    #38449916
Гаджимурадов Рустам
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт.
hvlad> Коннект, у которого включено no_garbage_collect, не только
hvlad> сам не собирает мусор, но и не может стартовать авто-свип.

Ясно, значит, из п.3 остаётся только вариант, когда
NT сдвинется на 1 и кому-то следующему не повезёт.

Симонов Денис> Мне вот интересно почему ключик -g необходимо указывать при работе gbak?
Симонов Денис> Почему бы не сделать этот режим умалчиваемым (пофиг стоит -g или нет)

Во-первых, обратная совместимость, в каком-то смысле.
Во-вторых, если сделать твой вариант, то сборку мусора
вообще не получится включить (надо будет или новый
параметр добавлять или вручную свип дергать, что хуже).

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / FB 3.0.x: gbak базы, подвергавшейся 36-часовому тесту, практически не идёт. / 25 сообщений из 27, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]