ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Нужен совет по большой базе
25 сообщений из 83, страница 2 из 4
  2  все
Нужен совет по большой базе
    #38933258
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Gallemarя Nbackup юзаю уже давно в хвост и гриву
На террабайтной базе?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
10.04.2015, 16:47
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933263
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
Dimitry SibiryakovGallemarя Nbackup юзаю уже давно в хвост и гриву
На террабайтной базе?..

больше 300 Гб + 350 коннектов.
...
Рейтинг: 0 / 0
10.04.2015, 16:55
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933299
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
GallemarDimitry Sibiryakovпропущено...

На террабайтной базе?..

больше 300 Гб + 350 коннектов.покажи время, за которое отрабатывает nbk (для level >= 1, ес-сно):
Код: plaintext
1.
2.
echo %time%
nbackup -b ...
echo %time%
...
Рейтинг: 0 / 0
10.04.2015, 17:29
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933303
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
Таблоид,не сегодня,хорошо? И вообще скорость зависит не от размера БД,а от интервала времени от последнего nbk 0.
...
Рейтинг: 0 / 0
10.04.2015, 17:31
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933311
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
Таблоид,

2015-04-08 21:58:37 INFO Начало процедуры создания 1 инкрементального бэкапа. Начало дампа.
2015-04-08 22:34:40 INFO Окончание дампа

C последнего nbk 0 прошла неделя. Быстро?
...
Рейтинг: 0 / 0
10.04.2015, 17:38
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933317
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Gallemar и некоторых фишек там нет (очень важных). А мой перевод зарубили,эх...
каких фишек? я вижу что на сайте перевод отстает от английского текста, но можно же и по англицки почитать (или с переводчиком).
а раз твой перевод зарубили, значит он был "не того".
...
Рейтинг: 0 / 0
10.04.2015, 17:43
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933321
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
kdv, -d off
...
Рейтинг: 0 / 0
10.04.2015, 17:45
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933322
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
GallemarИ вообще скорость зависит не от размера БД,а от интервала времени от последнего nbk 0.
- скорость изготовления -b 0 всегда одинаковая (если база не растет).
- скорость изготовления -b n (где N > 0) состоит из
а) всегда одинаковой скорости скана всей базы (чтение)
б) количеству записываемых измененных страниц

то есть, максимально время нбэкапа эквивалентно -b 0, а минимально - -b 1 без изменений с момента -b 0.

у FB 3.0 и IB XE7 скорость -b 1 (или разностного дампа) зависит от количества читаемых и записываемых измененных с -b 0 страниц. То есть от 1 секунды и далее, при любом размере БД.
...
Рейтинг: 0 / 0
10.04.2015, 17:48
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933329
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
GallemarТаблоид,

2015-04-08 21:58:37 INFO Начало процедуры создания 1 инкрементального бэкапа. Начало дампа.
2015-04-08 22:34:40 INFO Окончание дампа

C последнего nbk 0 прошла неделя. Быстро?Да пофигу, сколько там прошло с момента nbk 0.

Сделай nbk-0, затем затащи базу в кеш (gstat -r ... 1>nul 2>&1).
Затем подключись к ней и добавь 1 строку в к-л таблицу.

После этого выполни nbk уровня 1 и сообщи сюда время.
...
Рейтинг: 0 / 0
10.04.2015, 17:55
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933369
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
kdvа раз твой перевод зарубили, значит он был "не того".
Возьмите надо мной шефство.
...
Рейтинг: 0 / 0
10.04.2015, 18:35
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933504
fd00ch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fd00ch
Участник
ArtDen, нет времени объяснять, используй PostgreSQL
...
Рейтинг: 0 / 0
10.04.2015, 22:12
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933596
Зимаргл
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зимаргл
Гость
Терабайтные базы для ФБ - не по соплям размерчик.
Завтра тебе расскажут, что ты бекап неправильно делаешь и памяти тебе надо полтерабайта, чтобы заработало.

Хотя возможно требования закидонские, тогда тебе светит лишь проблемы миграции в будущем ().()
...
Рейтинг: 0 / 0
11.04.2015, 00:52
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933623
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
ЗимарглТерабайтные базы для ФБ - не по соплям размерчик.
например, почему? Тут скорее что терабайтная база под любой СУБД автору не по размеру.
...
Рейтинг: 0 / 0
11.04.2015, 02:54
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933719
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Кстати, вспомнилась вот эта тема: http://www.sql.ru/forum/982489/ego-velichestvo-milliard-eksperimenty-s-tablicey-v-10e9-strok
Я так понимаю, это мне тоже грозит? В случае с супером, каждое новое подключение в самом начале будет дико тормозить при запросе, в котором участвует большая таблица?
...
Рейтинг: 0 / 0
11.04.2015, 11:49
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933720
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ArtDenВ случае с супером, каждое новое подключение в самом начале будет дико
тормозить при запросе, в котором участвует большая таблица?
Нет. Тормозить будет только подключение, прогревающее кэш.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
11.04.2015, 11:52
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933721
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
fd00chArtDen, нет времени объяснять, используй PostgreSQL
Я уже над этим задумывался. Возможно, что начнём на FB, а потом перепишем часть, работающую с базой, на постгре, не дожидаясь терабайтного размера.
...
Рейтинг: 0 / 0
11.04.2015, 11:53
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933724
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Dimitry SibiryakovArtDenВ случае с супером, каждое новое подключение в самом начале будет дико
тормозить при запросе, в котором участвует большая таблица?
Нет. Тормозить будет только подключение, прогревающее кэш.

Это обнадёживает. Если учесть, что всё время будет активно соединение, которое будет писать в базу в том числе и в большие таблицы, то кэш всё время должен держаться в памяти?
...
Рейтинг: 0 / 0
11.04.2015, 11:55
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933788
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
ArtDenDimitry Sibiryakovпропущено...

Нет. Тормозить будет только подключение, прогревающее кэш.

Это обнадёживает. Если учесть, что всё время будет активно соединение, которое будет писать в базу в том числе и в большие таблицы, то кэш всё время должен держаться в памяти?Когда PP будут размазаны по совершенно разным местам базы, то даже на prepare будет тратиться непредсказуемое время, в зав. от того, в кеше страницы с PP или нет. И даже запрос select id from big_table rows 1 будет препариться то 10 мс, то 10 сек (хотя Влад сказал, что планируют переделать). Кстати, препары не срубаются через mon$statements, так что будете ждать-с...
Кроме того: почему-то в ФБ сначала делается оценка кардинальности таблиц, а затем уже проверяются права на них.

Так что сильно не удивляйтесь, что на действительно больших таблицах будут вылазить всякие "странности".
...
Рейтинг: 0 / 0
11.04.2015, 13:46
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933792
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Таблоид , как это грустно всё.

Dimitry SibiryakovArtDenВ случае с супером, каждое новое подключение в самом начале будет дико
тормозить при запросе, в котором участвует большая таблица?
Нет. Тормозить будет только подключение, прогревающее кэш.
А если будет классик? Я так понимаю, что у каждого инстанса классика свой кэш и для каждого подключения в самом начале будут тормоза?
...
Рейтинг: 0 / 0
11.04.2015, 13:55
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933797
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
ArtDenА если будет классик? Я так понимаю, что у каждого инстанса классика свой кэш и для каждого подключения в самом начале будут тормоза?Страничный кеш в CS / SC нельзя ставить выше 4096 (меня за это один из Источников Света как-то сильно обругал, до сих пор мурашки по коже ). Что там влезет в этот ваш 4к кеш на коннект ?

Ставьте эксперименты. Можете и на 3.0, т.к. она сейчас сильно устойчивой стала, гораздо более, чем 2.5.х. Как ни удивительно прозвучит, но еще осенью 3.0 SuperServer было значительно труднее завалить, чем 3.0 SuperClassic (но сейчас они выровнялись).
...
Рейтинг: 0 / 0
11.04.2015, 14:08
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933815
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ArtDenА если будет классик?
Тогда общим кэшем будет работать файловый кэш ОСи. Со всеми вытекающими.

PS: Говорил же я, что понадобится DBA...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
11.04.2015, 14:48
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933824
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
ArtDen,

тормозить будет только самое первое подключение, ибо кэш общий в супере
...
Рейтинг: 0 / 0
11.04.2015, 15:28
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933831
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Симонов Денис,

Тогда имеет смысл использовать супер. Как накоплю записи в тестовой базе, на всякий случай попробую и классик и супер.
...
Рейтинг: 0 / 0
11.04.2015, 15:41
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933832
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
ArtDenСимонов Денис,

Тогда имеет смысл использовать супер. Как накоплю записи в тестовой базе, на всякий случай попробую и классик и супер.
Ага,если FB 3.0, с 2.5 тебя постигнет разочарование.
...
Рейтинг: 0 / 0
11.04.2015, 15:44
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38937467
Romanzek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Romanzek
Участник
Симонов Денистакого бекапа как ты хочешь (StandBy) нету.

На самом деле уже есть. И для обеспечения отказоустойчивости при такой нагрузке вполне реально использовать. Рекомендую вместо всяких репликаций и, тем более, nbackup, попробовать именно StandBy.
В качестве СУБД рекомендовал бы взять RedDatabase 2.5, так как там StandBy железно работает, да и вообще версия стабильна.
...
Рейтинг: 0 / 0
15.04.2015, 16:52
| Ответить | Цитировать | Написать  
25 сообщений из 83, страница 2 из 4
  2  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Нужен совет по большой базе
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]