ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Нужен совет по большой базе
25 сообщений из 83, страница 1 из 4
  1  все
Нужен совет по большой базе
    #38932976
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Планируется к запуску большая база. Сама база - не более 50-ти таблиц. 3 самые большие таблицы: 2 с обычными полями и одна с блобами.

Предполагается, что в первый год наполнение базы будет примерно вот такое:
1. Две большие таблицы >500 млн. записей
2. Одна таблица с блобами >50 млн. записей (в строке 4 блоба по 10-50 кБ каждый)
3. Все остальные таблицы - заполнение по мелочи.
Общий объём базы в первый год - более терабайта.
Количество пользователей базы - 5...20. Нагрузка - ~10..20 новых записей в секунду и 1-2 запроса на простые выборки из базы. Удалений нету (точнее их крайне мало - не более 100 в сутки). Длинных транзакций (более 1 сек) нету.

Так вот. Есть вопрос по бакапу. База должна работать в режиме 7*24. Поэтому бакап планируется делать во вторую аналогичную "живую" базу на соседнем сервере, чтобы при необходимости просто переключиться на неё. Насколько это реально? Какие ещё рекомендации по бакапу?

И насчёт железа. Какие рекомендации по памяти, процессору, дисковому хранилищу? Краем уха слышал, что на серваках заказчика, на одном из которых будет работать база, стоит старый 32-битный Windows Server. Насколько это критично?

PS: Firebird был выбран по причине "нам это нужно уже вчера" + разработчики его немного знают ))
...
Рейтинг: 0 / 0
10.04.2015, 13:02
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38932977
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Да, ещё. Как настраивать firebird для такой базы и какой вариант выбрать (classic, super)
...
Рейтинг: 0 / 0
10.04.2015, 13:03
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38932979
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
ArtDenДа, ещё. Как настраивать firebird для такой базы и какой вариант выбрать (classic, super)
SuperServer не поддерживает SMP (в 2.5)
...
Рейтинг: 0 / 0
10.04.2015, 13:06
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38932984
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
ArtDen
Есть вопрос по бакапу. База должна работать в режиме 7*24. Поэтому бакап планируется делать во вторую аналогичную "живую" базу на соседнем сервере, чтобы при необходимости просто переключиться на неё. Насколько это реально? Какие ещё рекомендации по бакапу?

Смотри IBReplicator. И это не бэкап, его придется делать отдельно.
[/quot]
...
Рейтинг: 0 / 0
10.04.2015, 13:09
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38932988
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
ArtDen,

такого бекапа как ты хочешь (StandBy) нету. Есть инкрементный бекап который выполняется утилитой nbackup.
Если нужна рядом база которая всегда на готове, то можно воспользоваться репликацией. Встроенной репликации в FB нет, но есть куча сторонних инструментов для осуществления репликации.
...
Рейтинг: 0 / 0
10.04.2015, 13:11
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38932994
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
ArtDen Краем уха слышал, что на серваках заказчика, на одном из которых будет работать база, стоит старый 32-битный Windows Server.

под такую большую базу 32 битный сервер это кощунство. Не взлетит. Сразу задумайся о 64 битной оси и FB. Если проект будет разрабатываться достаточно долгое время (полгода-год), то можно сразу начать на FB 3 (Superserver), если на скорую руку, то тогда бери FB 2.5 (Classic или Superclassic)
...
Рейтинг: 0 / 0
10.04.2015, 13:15
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933006
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
Hello, Симонов Денис!
You wrote on 10 апреля 2015 г. 13:19:31:

Симонов Денис> Если нужна рядом база которая всегда на готове,
> то можно воспользоваться репликацией.
SHADOW тоже можно.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
10.04.2015, 13:19
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933010
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
МимопроходящийHello, Симонов Денис!
You wrote on 10 апреля 2015 г. 13:19:31:

Симонов Денис> Если нужна рядом база которая всегда на готове,
> то можно воспользоваться репликацией.
SHADOW тоже можно.

Ужас,ты в Диабло наверно некромантом играл :)
...
Рейтинг: 0 / 0
10.04.2015, 13:20
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933014
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ArtDenбакап планируется делать во вторую аналогичную "живую" базу на соседнем
сервере, чтобы при необходимости просто переключиться на неё. Насколько это реально?
Это реально только при использовании репликации или nbackup в тройке.

ArtDenна серваках заказчика, на одном из которых будет работать база, стоит старый
32-битный Windows Server. Насколько это критично?
Это полный П. Сразу в морг.

ArtDenКак настраивать firebird для такой базы и какой вариант выбрать (classic,
super)
Брать надо сразу тройку, супер. Настройку поручить опытному Firebird DBA. MS SQL
DBA - не подойдёт. Крутить параметры наугад - тоже.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
10.04.2015, 13:21
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933016
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
Симонов Денис Встроенной репликации в FB нет, но есть куча сторонних инструментов для осуществления репликации.
Если ПО пишется с нуля, то лучше написать встроенную в него репликацию.
...
Рейтинг: 0 / 0
10.04.2015, 13:22
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933021
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
Dimitry Sibiryakov
Брать надо сразу тройку, супер. Настройку поручить опытному Firebird DBA. MS SQL
DBA - не подойдёт. Крутить параметры наугад - тоже.

Вот. Поручите мне :)
...
Рейтинг: 0 / 0
10.04.2015, 13:23
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933030
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
МимопроходящийSHADOW тоже можно.
Да, и её тоже. Но в этом случае, ЕМНИП, понадобится Линух и NFS.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
10.04.2015, 13:32
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933033
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
GallemarПоручите мнеЗеленый пока, как работать с шедоу не знаешь.
...
Рейтинг: 0 / 0
10.04.2015, 13:35
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933035
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
Dimitry Sibiryakovв этом случае, ЕМНИП, понадобится Линух и NFS.файберный сундук круче, только бюджет может не стерпеть.
...
Рейтинг: 0 / 0
10.04.2015, 13:36
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933036
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
ArtDenИ насчёт железа. Какие рекомендации по памяти, процессору, дисковому хранилищу?

http://www.ibase.ru/devinfo/optimize.htm

если иметь в виду размер БД (терабайт) и необходимость быстрого b/r, то никакие массивы из hdd вам практически не светят. Надо raid 10 из SSD, и бэкапить тоже на ssd.

ArtDenПоэтому бакап планируется делать во вторую аналогичную "живую" базу на соседнем сервере
это невозможно терминологически. штатный gbak делает бэкап не в базу, а в файл, с которым пользователи работать не могут.
поэтому вам нужно использовать либо репликацию, либо nbackup.
Проверить скорость копирования файла в 1 терабайт с диска на диск и с компа на комп вы можете самостоятельно, даже без Firebird.

Собственно, пункты 1-3 не являются такими уж большими, поэтому у меня есть сомнения, что в результате это приведет к терабайтной базе. Для примера, сравните кол-во записей в таблицах тут:
http://www.ibase.ru/devinfo/fb1tbtech.htm
...
Рейтинг: 0 / 0
10.04.2015, 13:37
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933042
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
до кучи, картинка статистики терабайтной БД, отсортирована по размеру таблиц. рядом столбец с суммой размеров все индексов таблицы.
...
Рейтинг: 0 / 0
10.04.2015, 13:43
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933074
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Симонов ДенисЕсли проект будет разрабатываться достаточно долгое время (полгода-год), то можно сразу начать на FB 3 (Superserver), если на скорую руку, то тогда бери FB 2.5 (Classic или Superclassic)
Проект начался месяц назад. Запуск - через 2 недели :)

kdvпоэтому вам нужно использовать либо репликацию, либо nbackup.
Проверить скорость копирования файла в 1 терабайт с диска на диск и с компа на комп вы можете самостоятельно, даже без Firebird
А разве nbackup умеет дублировать базу на соседний сервер?

kdvСобственно, пункты 1-3 не являются такими уж большими, поэтому у меня есть сомнения, что в результате это приведет к терабайтной базе. Для примера, сравните кол-во записей в таблицах тут:
http://www.ibase.ru/devinfo/fb1tbtech.htm
Да просто я уже потестировал скорость заполнения базы. Прикидка в 1 Тб именно после этого тестирования.

GallemarСмотри IBReplicator. И это не бэкап, его придется делать отдельно.
Да, похоже придётся использовать репликатор. Кстати, есть бесплатные репликаторы для FB?
...
Рейтинг: 0 / 0
10.04.2015, 14:11
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933154
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
ArtDenесть бесплатные репликаторы для FB?А вам точно нужен этот сыр ? Купите IBPRepl, стоимость лицензии для конторы - что слону дробина. Зато можете быть уверенным, что он:
1) работает (у нас, по кр. мере, уже 3.5 года молотит на базе в 60 Гб со 150 коннектами)
2) поддерживается на должном уровне (Дм. Сибиряковым)
3) не юзает прослойки для доступа к данным и потому - шустрый.

// ЗЫ. Не реклама, конечно. Просто стараюсь дать объективную оценку продукту.
...
Рейтинг: 0 / 0
10.04.2015, 15:20
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933160
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
ArtDenА разве nbackup умеет дублировать базу на соседний сервер?А разве nbackup умеет дублировать базу на соседний сервер?

не умеет. Но резервная копия полученная им восстанавливается очень быстро

ArtDenПроект начался месяц назад. Запуск - через 2 недели :)

беда...
...
Рейтинг: 0 / 0
10.04.2015, 15:23
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933166
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ArtDenесть бесплатные репликаторы для FB?
Есть.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
10.04.2015, 15:25
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933179
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
ArtDenА разве nbackup умеет дублировать базу на соседний сервер?

http://www.firebirdsql.org/file/documentation/reference_manuals/user_manuals/html/ru/nbackup-ru.html

p.s. страшно мне...
...
Рейтинг: 0 / 0
10.04.2015, 15:44
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933220
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
ArtDenА разве nbackup умеет дублировать базу на соседний сервер?nbackup до версии 2.5 включительно при поиске изменённых страниц сканирует ВЕСЬ файл базы. Исправлено сиё только в 3.0, там такие страницы находятся очень быстро.
Сами делайте вывод, нужно ли вам юзать nbackup в ваших условиях.
...
Рейтинг: 0 / 0
10.04.2015, 16:20
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933252
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
Ivan_PisarevskyGallemarПоручите мнеЗеленый пока, как работать с шедоу не знаешь.
Что там знать,наливай да закусывай :)
...
Рейтинг: 0 / 0
10.04.2015, 16:41
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933254
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
ТаблоидArtDenА разве nbackup умеет дублировать базу на соседний сервер?nbackup до версии 2.5 включительно при поиске изменённых страниц сканирует ВЕСЬ файл базы. Исправлено сиё только в 3.0, там такие страницы находятся очень быстро.
Сами делайте вывод, нужно ли вам юзать nbackup в ваших условиях.
Можно и нужно,с 2.5.3, не ниже. Паша,я Nbackup юзаю уже давно в хвост и гриву,проблема была один раз и решилась восстановлением из этого же Nbackup'а.
...
Рейтинг: 0 / 0
10.04.2015, 16:43
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933256
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
kdvArtDenА разве nbackup умеет дублировать базу на соседний сервер?

http://www.firebirdsql.org/file/documentation/reference_manuals/user_manuals/html/ru/nbackup-ru.html

p.s. страшно мне...
Отдай мне :)
кстати,русская дока стара и некоторых фишек там нет (очень важных). А мой перевод зарубили,эх...
...
Рейтинг: 0 / 0
10.04.2015, 16:45
| Ответить | Цитировать | Написать  
25 сообщений из 83, страница 1 из 4
  1  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Нужен совет по большой базе
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]