Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Нужен совет по большой базе / 25 сообщений из 83, страница 1 из 4
  1  все
10.04.2015, 13:02
    #38932976
ArtDen
ArtDen
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
Планируется к запуску большая база. Сама база - не более 50-ти таблиц. 3 самые большие таблицы: 2 с обычными полями и одна с блобами.

Предполагается, что в первый год наполнение базы будет примерно вот такое:
1. Две большие таблицы >500 млн. записей
2. Одна таблица с блобами >50 млн. записей (в строке 4 блоба по 10-50 кБ каждый)
3. Все остальные таблицы - заполнение по мелочи.
Общий объём базы в первый год - более терабайта.
Количество пользователей базы - 5...20. Нагрузка - ~10..20 новых записей в секунду и 1-2 запроса на простые выборки из базы. Удалений нету (точнее их крайне мало - не более 100 в сутки). Длинных транзакций (более 1 сек) нету.

Так вот. Есть вопрос по бакапу. База должна работать в режиме 7*24. Поэтому бакап планируется делать во вторую аналогичную "живую" базу на соседнем сервере, чтобы при необходимости просто переключиться на неё. Насколько это реально? Какие ещё рекомендации по бакапу?

И насчёт железа. Какие рекомендации по памяти, процессору, дисковому хранилищу? Краем уха слышал, что на серваках заказчика, на одном из которых будет работать база, стоит старый 32-битный Windows Server. Насколько это критично?

PS: Firebird был выбран по причине "нам это нужно уже вчера" + разработчики его немного знают ))
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:03
    #38932977
ArtDen
ArtDen
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
Да, ещё. Как настраивать firebird для такой базы и какой вариант выбрать (classic, super)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:06
    #38932979
Gallemar
Gallemar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
ArtDenДа, ещё. Как настраивать firebird для такой базы и какой вариант выбрать (classic, super)
SuperServer не поддерживает SMP (в 2.5)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:09
    #38932984
Gallemar
Gallemar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
ArtDen
Есть вопрос по бакапу. База должна работать в режиме 7*24. Поэтому бакап планируется делать во вторую аналогичную "живую" базу на соседнем сервере, чтобы при необходимости просто переключиться на неё. Насколько это реально? Какие ещё рекомендации по бакапу?

Смотри IBReplicator. И это не бэкап, его придется делать отдельно.
[/quot]
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:11
    #38932988
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
ArtDen,

такого бекапа как ты хочешь (StandBy) нету. Есть инкрементный бекап который выполняется утилитой nbackup.
Если нужна рядом база которая всегда на готове, то можно воспользоваться репликацией. Встроенной репликации в FB нет, но есть куча сторонних инструментов для осуществления репликации.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:15
    #38932994
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
ArtDen Краем уха слышал, что на серваках заказчика, на одном из которых будет работать база, стоит старый 32-битный Windows Server.

под такую большую базу 32 битный сервер это кощунство. Не взлетит. Сразу задумайся о 64 битной оси и FB. Если проект будет разрабатываться достаточно долгое время (полгода-год), то можно сразу начать на FB 3 (Superserver), если на скорую руку, то тогда бери FB 2.5 (Classic или Superclassic)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:19
    #38933006
Мимопроходящий
Мимопроходящий
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
Hello, Симонов Денис!
You wrote on 10 апреля 2015 г. 13:19:31:

Симонов Денис> Если нужна рядом база которая всегда на готове,
> то можно воспользоваться репликацией.
SHADOW тоже можно.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:20
    #38933010
Gallemar
Gallemar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
МимопроходящийHello, Симонов Денис!
You wrote on 10 апреля 2015 г. 13:19:31:

Симонов Денис> Если нужна рядом база которая всегда на готове,
> то можно воспользоваться репликацией.
SHADOW тоже можно.

Ужас,ты в Диабло наверно некромантом играл :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:21
    #38933014
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
ArtDenбакап планируется делать во вторую аналогичную "живую" базу на соседнем
сервере, чтобы при необходимости просто переключиться на неё. Насколько это реально?
Это реально только при использовании репликации или nbackup в тройке.

ArtDenна серваках заказчика, на одном из которых будет работать база, стоит старый
32-битный Windows Server. Насколько это критично?
Это полный П. Сразу в морг.

ArtDenКак настраивать firebird для такой базы и какой вариант выбрать (classic,
super)
Брать надо сразу тройку, супер. Настройку поручить опытному Firebird DBA. MS SQL
DBA - не подойдёт. Крутить параметры наугад - тоже.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:22
    #38933016
Gallemar
Gallemar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
Симонов Денис Встроенной репликации в FB нет, но есть куча сторонних инструментов для осуществления репликации.
Если ПО пишется с нуля, то лучше написать встроенную в него репликацию.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:23
    #38933021
Gallemar
Gallemar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
Dimitry Sibiryakov
Брать надо сразу тройку, супер. Настройку поручить опытному Firebird DBA. MS SQL
DBA - не подойдёт. Крутить параметры наугад - тоже.

Вот. Поручите мне :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:32
    #38933030
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
МимопроходящийSHADOW тоже можно.
Да, и её тоже. Но в этом случае, ЕМНИП, понадобится Линух и NFS.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:35
    #38933033
Ivan_Pisarevsky
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
GallemarПоручите мнеЗеленый пока, как работать с шедоу не знаешь.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:36
    #38933035
Ivan_Pisarevsky
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
Dimitry Sibiryakovв этом случае, ЕМНИП, понадобится Линух и NFS.файберный сундук круче, только бюджет может не стерпеть.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:37
    #38933036
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
ArtDenИ насчёт железа. Какие рекомендации по памяти, процессору, дисковому хранилищу?

http://www.ibase.ru/devinfo/optimize.htm

если иметь в виду размер БД (терабайт) и необходимость быстрого b/r, то никакие массивы из hdd вам практически не светят. Надо raid 10 из SSD, и бэкапить тоже на ssd.

ArtDenПоэтому бакап планируется делать во вторую аналогичную "живую" базу на соседнем сервере
это невозможно терминологически. штатный gbak делает бэкап не в базу, а в файл, с которым пользователи работать не могут.
поэтому вам нужно использовать либо репликацию, либо nbackup.
Проверить скорость копирования файла в 1 терабайт с диска на диск и с компа на комп вы можете самостоятельно, даже без Firebird.

Собственно, пункты 1-3 не являются такими уж большими, поэтому у меня есть сомнения, что в результате это приведет к терабайтной базе. Для примера, сравните кол-во записей в таблицах тут:
http://www.ibase.ru/devinfo/fb1tbtech.htm
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 13:43
    #38933042
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
до кучи, картинка статистики терабайтной БД, отсортирована по размеру таблиц. рядом столбец с суммой размеров все индексов таблицы.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 14:11
    #38933074
ArtDen
ArtDen
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
Симонов ДенисЕсли проект будет разрабатываться достаточно долгое время (полгода-год), то можно сразу начать на FB 3 (Superserver), если на скорую руку, то тогда бери FB 2.5 (Classic или Superclassic)
Проект начался месяц назад. Запуск - через 2 недели :)

kdvпоэтому вам нужно использовать либо репликацию, либо nbackup.
Проверить скорость копирования файла в 1 терабайт с диска на диск и с компа на комп вы можете самостоятельно, даже без Firebird
А разве nbackup умеет дублировать базу на соседний сервер?

kdvСобственно, пункты 1-3 не являются такими уж большими, поэтому у меня есть сомнения, что в результате это приведет к терабайтной базе. Для примера, сравните кол-во записей в таблицах тут:
http://www.ibase.ru/devinfo/fb1tbtech.htm
Да просто я уже потестировал скорость заполнения базы. Прикидка в 1 Тб именно после этого тестирования.

GallemarСмотри IBReplicator. И это не бэкап, его придется делать отдельно.
Да, похоже придётся использовать репликатор. Кстати, есть бесплатные репликаторы для FB?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 15:20
    #38933154
Таблоид
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
ArtDenесть бесплатные репликаторы для FB?А вам точно нужен этот сыр ? Купите IBPRepl, стоимость лицензии для конторы - что слону дробина. Зато можете быть уверенным, что он:
1) работает (у нас, по кр. мере, уже 3.5 года молотит на базе в 60 Гб со 150 коннектами)
2) поддерживается на должном уровне (Дм. Сибиряковым)
3) не юзает прослойки для доступа к данным и потому - шустрый.

// ЗЫ. Не реклама, конечно. Просто стараюсь дать объективную оценку продукту.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 15:23
    #38933160
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
ArtDenА разве nbackup умеет дублировать базу на соседний сервер?А разве nbackup умеет дублировать базу на соседний сервер?

не умеет. Но резервная копия полученная им восстанавливается очень быстро

ArtDenПроект начался месяц назад. Запуск - через 2 недели :)

беда...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 15:25
    #38933166
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
ArtDenесть бесплатные репликаторы для FB?
Есть.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 15:44
    #38933179
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
ArtDenА разве nbackup умеет дублировать базу на соседний сервер?

http://www.firebirdsql.org/file/documentation/reference_manuals/user_manuals/html/ru/nbackup-ru.html

p.s. страшно мне...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 16:20
    #38933220
Таблоид
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
ArtDenА разве nbackup умеет дублировать базу на соседний сервер?nbackup до версии 2.5 включительно при поиске изменённых страниц сканирует ВЕСЬ файл базы. Исправлено сиё только в 3.0, там такие страницы находятся очень быстро.
Сами делайте вывод, нужно ли вам юзать nbackup в ваших условиях.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 16:41
    #38933252
Gallemar
Gallemar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
Ivan_PisarevskyGallemarПоручите мнеЗеленый пока, как работать с шедоу не знаешь.
Что там знать,наливай да закусывай :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 16:43
    #38933254
Gallemar
Gallemar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
ТаблоидArtDenА разве nbackup умеет дублировать базу на соседний сервер?nbackup до версии 2.5 включительно при поиске изменённых страниц сканирует ВЕСЬ файл базы. Исправлено сиё только в 3.0, там такие страницы находятся очень быстро.
Сами делайте вывод, нужно ли вам юзать nbackup в ваших условиях.
Можно и нужно,с 2.5.3, не ниже. Паша,я Nbackup юзаю уже давно в хвост и гриву,проблема была один раз и решилась восстановлением из этого же Nbackup'а.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.04.2015, 16:45
    #38933256
Gallemar
Gallemar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет по большой базе
kdvArtDenА разве nbackup умеет дублировать базу на соседний сервер?

http://www.firebirdsql.org/file/documentation/reference_manuals/user_manuals/html/ru/nbackup-ru.html

p.s. страшно мне...
Отдай мне :)
кстати,русская дока стара и некоторых фишек там нет (очень важных). А мой перевод зарубили,эх...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
  1  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Нужен совет по большой базе / 25 сообщений из 83, страница 1 из 4
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]