ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Нужен совет по большой базе
83 сообщений из 83, показаны все 4 страниц
  все  
Нужен совет по большой базе
    #38932976
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Планируется к запуску большая база. Сама база - не более 50-ти таблиц. 3 самые большие таблицы: 2 с обычными полями и одна с блобами.

Предполагается, что в первый год наполнение базы будет примерно вот такое:
1. Две большие таблицы >500 млн. записей
2. Одна таблица с блобами >50 млн. записей (в строке 4 блоба по 10-50 кБ каждый)
3. Все остальные таблицы - заполнение по мелочи.
Общий объём базы в первый год - более терабайта.
Количество пользователей базы - 5...20. Нагрузка - ~10..20 новых записей в секунду и 1-2 запроса на простые выборки из базы. Удалений нету (точнее их крайне мало - не более 100 в сутки). Длинных транзакций (более 1 сек) нету.

Так вот. Есть вопрос по бакапу. База должна работать в режиме 7*24. Поэтому бакап планируется делать во вторую аналогичную "живую" базу на соседнем сервере, чтобы при необходимости просто переключиться на неё. Насколько это реально? Какие ещё рекомендации по бакапу?

И насчёт железа. Какие рекомендации по памяти, процессору, дисковому хранилищу? Краем уха слышал, что на серваках заказчика, на одном из которых будет работать база, стоит старый 32-битный Windows Server. Насколько это критично?

PS: Firebird был выбран по причине "нам это нужно уже вчера" + разработчики его немного знают ))
...
Рейтинг: 0 / 0
10.04.2015, 13:02
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38932977
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Да, ещё. Как настраивать firebird для такой базы и какой вариант выбрать (classic, super)
...
Рейтинг: 0 / 0
10.04.2015, 13:03
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38932979
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
ArtDenДа, ещё. Как настраивать firebird для такой базы и какой вариант выбрать (classic, super)
SuperServer не поддерживает SMP (в 2.5)
...
Рейтинг: 0 / 0
10.04.2015, 13:06
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38932984
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
ArtDen
Есть вопрос по бакапу. База должна работать в режиме 7*24. Поэтому бакап планируется делать во вторую аналогичную "живую" базу на соседнем сервере, чтобы при необходимости просто переключиться на неё. Насколько это реально? Какие ещё рекомендации по бакапу?

Смотри IBReplicator. И это не бэкап, его придется делать отдельно.
[/quot]
...
Рейтинг: 0 / 0
10.04.2015, 13:09
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38932988
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
ArtDen,

такого бекапа как ты хочешь (StandBy) нету. Есть инкрементный бекап который выполняется утилитой nbackup.
Если нужна рядом база которая всегда на готове, то можно воспользоваться репликацией. Встроенной репликации в FB нет, но есть куча сторонних инструментов для осуществления репликации.
...
Рейтинг: 0 / 0
10.04.2015, 13:11
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38932994
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
ArtDen Краем уха слышал, что на серваках заказчика, на одном из которых будет работать база, стоит старый 32-битный Windows Server.

под такую большую базу 32 битный сервер это кощунство. Не взлетит. Сразу задумайся о 64 битной оси и FB. Если проект будет разрабатываться достаточно долгое время (полгода-год), то можно сразу начать на FB 3 (Superserver), если на скорую руку, то тогда бери FB 2.5 (Classic или Superclassic)
...
Рейтинг: 0 / 0
10.04.2015, 13:15
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933006
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
Hello, Симонов Денис!
You wrote on 10 апреля 2015 г. 13:19:31:

Симонов Денис> Если нужна рядом база которая всегда на готове,
> то можно воспользоваться репликацией.
SHADOW тоже можно.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
10.04.2015, 13:19
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933010
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
МимопроходящийHello, Симонов Денис!
You wrote on 10 апреля 2015 г. 13:19:31:

Симонов Денис> Если нужна рядом база которая всегда на готове,
> то можно воспользоваться репликацией.
SHADOW тоже можно.

Ужас,ты в Диабло наверно некромантом играл :)
...
Рейтинг: 0 / 0
10.04.2015, 13:20
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933014
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ArtDenбакап планируется делать во вторую аналогичную "живую" базу на соседнем
сервере, чтобы при необходимости просто переключиться на неё. Насколько это реально?
Это реально только при использовании репликации или nbackup в тройке.

ArtDenна серваках заказчика, на одном из которых будет работать база, стоит старый
32-битный Windows Server. Насколько это критично?
Это полный П. Сразу в морг.

ArtDenКак настраивать firebird для такой базы и какой вариант выбрать (classic,
super)
Брать надо сразу тройку, супер. Настройку поручить опытному Firebird DBA. MS SQL
DBA - не подойдёт. Крутить параметры наугад - тоже.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
10.04.2015, 13:21
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933016
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
Симонов Денис Встроенной репликации в FB нет, но есть куча сторонних инструментов для осуществления репликации.
Если ПО пишется с нуля, то лучше написать встроенную в него репликацию.
...
Рейтинг: 0 / 0
10.04.2015, 13:22
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933021
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
Dimitry Sibiryakov
Брать надо сразу тройку, супер. Настройку поручить опытному Firebird DBA. MS SQL
DBA - не подойдёт. Крутить параметры наугад - тоже.

Вот. Поручите мне :)
...
Рейтинг: 0 / 0
10.04.2015, 13:23
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933030
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
МимопроходящийSHADOW тоже можно.
Да, и её тоже. Но в этом случае, ЕМНИП, понадобится Линух и NFS.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
10.04.2015, 13:32
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933033
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
GallemarПоручите мнеЗеленый пока, как работать с шедоу не знаешь.
...
Рейтинг: 0 / 0
10.04.2015, 13:35
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933035
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
Dimitry Sibiryakovв этом случае, ЕМНИП, понадобится Линух и NFS.файберный сундук круче, только бюджет может не стерпеть.
...
Рейтинг: 0 / 0
10.04.2015, 13:36
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933036
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
ArtDenИ насчёт железа. Какие рекомендации по памяти, процессору, дисковому хранилищу?

http://www.ibase.ru/devinfo/optimize.htm

если иметь в виду размер БД (терабайт) и необходимость быстрого b/r, то никакие массивы из hdd вам практически не светят. Надо raid 10 из SSD, и бэкапить тоже на ssd.

ArtDenПоэтому бакап планируется делать во вторую аналогичную "живую" базу на соседнем сервере
это невозможно терминологически. штатный gbak делает бэкап не в базу, а в файл, с которым пользователи работать не могут.
поэтому вам нужно использовать либо репликацию, либо nbackup.
Проверить скорость копирования файла в 1 терабайт с диска на диск и с компа на комп вы можете самостоятельно, даже без Firebird.

Собственно, пункты 1-3 не являются такими уж большими, поэтому у меня есть сомнения, что в результате это приведет к терабайтной базе. Для примера, сравните кол-во записей в таблицах тут:
http://www.ibase.ru/devinfo/fb1tbtech.htm
...
Рейтинг: 0 / 0
10.04.2015, 13:37
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933042
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
до кучи, картинка статистики терабайтной БД, отсортирована по размеру таблиц. рядом столбец с суммой размеров все индексов таблицы.
...
Рейтинг: 0 / 0
10.04.2015, 13:43
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933074
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Симонов ДенисЕсли проект будет разрабатываться достаточно долгое время (полгода-год), то можно сразу начать на FB 3 (Superserver), если на скорую руку, то тогда бери FB 2.5 (Classic или Superclassic)
Проект начался месяц назад. Запуск - через 2 недели :)

kdvпоэтому вам нужно использовать либо репликацию, либо nbackup.
Проверить скорость копирования файла в 1 терабайт с диска на диск и с компа на комп вы можете самостоятельно, даже без Firebird
А разве nbackup умеет дублировать базу на соседний сервер?

kdvСобственно, пункты 1-3 не являются такими уж большими, поэтому у меня есть сомнения, что в результате это приведет к терабайтной базе. Для примера, сравните кол-во записей в таблицах тут:
http://www.ibase.ru/devinfo/fb1tbtech.htm
Да просто я уже потестировал скорость заполнения базы. Прикидка в 1 Тб именно после этого тестирования.

GallemarСмотри IBReplicator. И это не бэкап, его придется делать отдельно.
Да, похоже придётся использовать репликатор. Кстати, есть бесплатные репликаторы для FB?
...
Рейтинг: 0 / 0
10.04.2015, 14:11
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933154
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
ArtDenесть бесплатные репликаторы для FB?А вам точно нужен этот сыр ? Купите IBPRepl, стоимость лицензии для конторы - что слону дробина. Зато можете быть уверенным, что он:
1) работает (у нас, по кр. мере, уже 3.5 года молотит на базе в 60 Гб со 150 коннектами)
2) поддерживается на должном уровне (Дм. Сибиряковым)
3) не юзает прослойки для доступа к данным и потому - шустрый.

// ЗЫ. Не реклама, конечно. Просто стараюсь дать объективную оценку продукту.
...
Рейтинг: 0 / 0
10.04.2015, 15:20
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933160
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
ArtDenА разве nbackup умеет дублировать базу на соседний сервер?А разве nbackup умеет дублировать базу на соседний сервер?

не умеет. Но резервная копия полученная им восстанавливается очень быстро

ArtDenПроект начался месяц назад. Запуск - через 2 недели :)

беда...
...
Рейтинг: 0 / 0
10.04.2015, 15:23
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933166
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ArtDenесть бесплатные репликаторы для FB?
Есть.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
10.04.2015, 15:25
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933179
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
ArtDenА разве nbackup умеет дублировать базу на соседний сервер?

http://www.firebirdsql.org/file/documentation/reference_manuals/user_manuals/html/ru/nbackup-ru.html

p.s. страшно мне...
...
Рейтинг: 0 / 0
10.04.2015, 15:44
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933220
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
ArtDenА разве nbackup умеет дублировать базу на соседний сервер?nbackup до версии 2.5 включительно при поиске изменённых страниц сканирует ВЕСЬ файл базы. Исправлено сиё только в 3.0, там такие страницы находятся очень быстро.
Сами делайте вывод, нужно ли вам юзать nbackup в ваших условиях.
...
Рейтинг: 0 / 0
10.04.2015, 16:20
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933252
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
Ivan_PisarevskyGallemarПоручите мнеЗеленый пока, как работать с шедоу не знаешь.
Что там знать,наливай да закусывай :)
...
Рейтинг: 0 / 0
10.04.2015, 16:41
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933254
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
ТаблоидArtDenА разве nbackup умеет дублировать базу на соседний сервер?nbackup до версии 2.5 включительно при поиске изменённых страниц сканирует ВЕСЬ файл базы. Исправлено сиё только в 3.0, там такие страницы находятся очень быстро.
Сами делайте вывод, нужно ли вам юзать nbackup в ваших условиях.
Можно и нужно,с 2.5.3, не ниже. Паша,я Nbackup юзаю уже давно в хвост и гриву,проблема была один раз и решилась восстановлением из этого же Nbackup'а.
...
Рейтинг: 0 / 0
10.04.2015, 16:43
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933256
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
kdvArtDenА разве nbackup умеет дублировать базу на соседний сервер?

http://www.firebirdsql.org/file/documentation/reference_manuals/user_manuals/html/ru/nbackup-ru.html

p.s. страшно мне...
Отдай мне :)
кстати,русская дока стара и некоторых фишек там нет (очень важных). А мой перевод зарубили,эх...
...
Рейтинг: 0 / 0
10.04.2015, 16:45
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933258
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Gallemarя Nbackup юзаю уже давно в хвост и гриву
На террабайтной базе?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
10.04.2015, 16:47
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933263
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
Dimitry SibiryakovGallemarя Nbackup юзаю уже давно в хвост и гриву
На террабайтной базе?..

больше 300 Гб + 350 коннектов.
...
Рейтинг: 0 / 0
10.04.2015, 16:55
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933299
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
GallemarDimitry Sibiryakovпропущено...

На террабайтной базе?..

больше 300 Гб + 350 коннектов.покажи время, за которое отрабатывает nbk (для level >= 1, ес-сно):
Код: plaintext
1.
2.
echo %time%
nbackup -b ...
echo %time%
...
Рейтинг: 0 / 0
10.04.2015, 17:29
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933303
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
Таблоид,не сегодня,хорошо? И вообще скорость зависит не от размера БД,а от интервала времени от последнего nbk 0.
...
Рейтинг: 0 / 0
10.04.2015, 17:31
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933311
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
Таблоид,

2015-04-08 21:58:37 INFO Начало процедуры создания 1 инкрементального бэкапа. Начало дампа.
2015-04-08 22:34:40 INFO Окончание дампа

C последнего nbk 0 прошла неделя. Быстро?
...
Рейтинг: 0 / 0
10.04.2015, 17:38
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933317
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Gallemar и некоторых фишек там нет (очень важных). А мой перевод зарубили,эх...
каких фишек? я вижу что на сайте перевод отстает от английского текста, но можно же и по англицки почитать (или с переводчиком).
а раз твой перевод зарубили, значит он был "не того".
...
Рейтинг: 0 / 0
10.04.2015, 17:43
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933321
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
kdv, -d off
...
Рейтинг: 0 / 0
10.04.2015, 17:45
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933322
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
GallemarИ вообще скорость зависит не от размера БД,а от интервала времени от последнего nbk 0.
- скорость изготовления -b 0 всегда одинаковая (если база не растет).
- скорость изготовления -b n (где N > 0) состоит из
а) всегда одинаковой скорости скана всей базы (чтение)
б) количеству записываемых измененных страниц

то есть, максимально время нбэкапа эквивалентно -b 0, а минимально - -b 1 без изменений с момента -b 0.

у FB 3.0 и IB XE7 скорость -b 1 (или разностного дампа) зависит от количества читаемых и записываемых измененных с -b 0 страниц. То есть от 1 секунды и далее, при любом размере БД.
...
Рейтинг: 0 / 0
10.04.2015, 17:48
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933329
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
GallemarТаблоид,

2015-04-08 21:58:37 INFO Начало процедуры создания 1 инкрементального бэкапа. Начало дампа.
2015-04-08 22:34:40 INFO Окончание дампа

C последнего nbk 0 прошла неделя. Быстро?Да пофигу, сколько там прошло с момента nbk 0.

Сделай nbk-0, затем затащи базу в кеш (gstat -r ... 1>nul 2>&1).
Затем подключись к ней и добавь 1 строку в к-л таблицу.

После этого выполни nbk уровня 1 и сообщи сюда время.
...
Рейтинг: 0 / 0
10.04.2015, 17:55
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933369
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
kdvа раз твой перевод зарубили, значит он был "не того".
Возьмите надо мной шефство.
...
Рейтинг: 0 / 0
10.04.2015, 18:35
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933504
fd00ch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fd00ch
Участник
ArtDen, нет времени объяснять, используй PostgreSQL
...
Рейтинг: 0 / 0
10.04.2015, 22:12
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933596
Зимаргл
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зимаргл
Гость
Терабайтные базы для ФБ - не по соплям размерчик.
Завтра тебе расскажут, что ты бекап неправильно делаешь и памяти тебе надо полтерабайта, чтобы заработало.

Хотя возможно требования закидонские, тогда тебе светит лишь проблемы миграции в будущем ().()
...
Рейтинг: 0 / 0
11.04.2015, 00:52
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933623
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
ЗимарглТерабайтные базы для ФБ - не по соплям размерчик.
например, почему? Тут скорее что терабайтная база под любой СУБД автору не по размеру.
...
Рейтинг: 0 / 0
11.04.2015, 02:54
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933719
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Кстати, вспомнилась вот эта тема: http://www.sql.ru/forum/982489/ego-velichestvo-milliard-eksperimenty-s-tablicey-v-10e9-strok
Я так понимаю, это мне тоже грозит? В случае с супером, каждое новое подключение в самом начале будет дико тормозить при запросе, в котором участвует большая таблица?
...
Рейтинг: 0 / 0
11.04.2015, 11:49
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933720
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ArtDenВ случае с супером, каждое новое подключение в самом начале будет дико
тормозить при запросе, в котором участвует большая таблица?
Нет. Тормозить будет только подключение, прогревающее кэш.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
11.04.2015, 11:52
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933721
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
fd00chArtDen, нет времени объяснять, используй PostgreSQL
Я уже над этим задумывался. Возможно, что начнём на FB, а потом перепишем часть, работающую с базой, на постгре, не дожидаясь терабайтного размера.
...
Рейтинг: 0 / 0
11.04.2015, 11:53
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933724
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Dimitry SibiryakovArtDenВ случае с супером, каждое новое подключение в самом начале будет дико
тормозить при запросе, в котором участвует большая таблица?
Нет. Тормозить будет только подключение, прогревающее кэш.

Это обнадёживает. Если учесть, что всё время будет активно соединение, которое будет писать в базу в том числе и в большие таблицы, то кэш всё время должен держаться в памяти?
...
Рейтинг: 0 / 0
11.04.2015, 11:55
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933788
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
ArtDenDimitry Sibiryakovпропущено...

Нет. Тормозить будет только подключение, прогревающее кэш.

Это обнадёживает. Если учесть, что всё время будет активно соединение, которое будет писать в базу в том числе и в большие таблицы, то кэш всё время должен держаться в памяти?Когда PP будут размазаны по совершенно разным местам базы, то даже на prepare будет тратиться непредсказуемое время, в зав. от того, в кеше страницы с PP или нет. И даже запрос select id from big_table rows 1 будет препариться то 10 мс, то 10 сек (хотя Влад сказал, что планируют переделать). Кстати, препары не срубаются через mon$statements, так что будете ждать-с...
Кроме того: почему-то в ФБ сначала делается оценка кардинальности таблиц, а затем уже проверяются права на них.

Так что сильно не удивляйтесь, что на действительно больших таблицах будут вылазить всякие "странности".
...
Рейтинг: 0 / 0
11.04.2015, 13:46
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933792
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Таблоид , как это грустно всё.

Dimitry SibiryakovArtDenВ случае с супером, каждое новое подключение в самом начале будет дико
тормозить при запросе, в котором участвует большая таблица?
Нет. Тормозить будет только подключение, прогревающее кэш.
А если будет классик? Я так понимаю, что у каждого инстанса классика свой кэш и для каждого подключения в самом начале будут тормоза?
...
Рейтинг: 0 / 0
11.04.2015, 13:55
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933797
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
ArtDenА если будет классик? Я так понимаю, что у каждого инстанса классика свой кэш и для каждого подключения в самом начале будут тормоза?Страничный кеш в CS / SC нельзя ставить выше 4096 (меня за это один из Источников Света как-то сильно обругал, до сих пор мурашки по коже ). Что там влезет в этот ваш 4к кеш на коннект ?

Ставьте эксперименты. Можете и на 3.0, т.к. она сейчас сильно устойчивой стала, гораздо более, чем 2.5.х. Как ни удивительно прозвучит, но еще осенью 3.0 SuperServer было значительно труднее завалить, чем 3.0 SuperClassic (но сейчас они выровнялись).
...
Рейтинг: 0 / 0
11.04.2015, 14:08
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933815
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ArtDenА если будет классик?
Тогда общим кэшем будет работать файловый кэш ОСи. Со всеми вытекающими.

PS: Говорил же я, что понадобится DBA...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
11.04.2015, 14:48
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933824
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
ArtDen,

тормозить будет только самое первое подключение, ибо кэш общий в супере
...
Рейтинг: 0 / 0
11.04.2015, 15:28
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933831
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Симонов Денис,

Тогда имеет смысл использовать супер. Как накоплю записи в тестовой базе, на всякий случай попробую и классик и супер.
...
Рейтинг: 0 / 0
11.04.2015, 15:41
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38933832
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
ArtDenСимонов Денис,

Тогда имеет смысл использовать супер. Как накоплю записи в тестовой базе, на всякий случай попробую и классик и супер.
Ага,если FB 3.0, с 2.5 тебя постигнет разочарование.
...
Рейтинг: 0 / 0
11.04.2015, 15:44
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38937467
Romanzek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Romanzek
Участник
Симонов Денистакого бекапа как ты хочешь (StandBy) нету.

На самом деле уже есть. И для обеспечения отказоустойчивости при такой нагрузке вполне реально использовать. Рекомендую вместо всяких репликаций и, тем более, nbackup, попробовать именно StandBy.
В качестве СУБД рекомендовал бы взять RedDatabase 2.5, так как там StandBy железно работает, да и вообще версия стабильна.
...
Рейтинг: 0 / 0
15.04.2015, 16:52
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38937511
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
Hello, Romanzek!
You wrote on 15 апреля 2015 г. 17:22:09:

Romanzek> На самом деле уже есть. И для обеспечения отказоустойчивости при такой
> нагрузке вполне реально использовать. Рекомендую вместо всяких
> репликаций и, тем более, nbackup, попробовать именно StandBy.
> В качестве СУБД рекомендовал бы взять RedDatabase 2.5, так как там
> StandBy железно работает, да и вообще версия стабильна.
какой оголтелый и лживый маркетинг...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.04.2015, 17:22
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38937742
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Мимопроходящий,

standby там действительно работает. правда, вместо этого стэндбая нынче на линуксе можно другой standby - DRBD. Правда, с DRBD вроде не все так гладко .
...
Рейтинг: 0 / 0
15.04.2015, 21:17
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38937790
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dimitr
Участник
kdvstandby там действительно работает
прямо таки "вместо всяких репликаций"?
...
Рейтинг: 0 / 0
15.04.2015, 22:24
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38937825
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
dimitrпрямо таки "вместо всяких репликаций"?
конечно нет.
standby это тиражирование. Максимум что там можно сделать, в отношении копии базы, это либо ее вообще не трогать до сбоя основного сервера, либо с ней работать в режиме read-only.
Кстати, я почитал про DRBD+MySQL, и не очень понял, чего они там хотят. Одновременно же работать с тиражированной базой там никак не получится.
...
Рейтинг: 0 / 0
15.04.2015, 23:15
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38937867
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
kdvя почитал про DRBD+MySQL, и не очень понял, чего они там хотят. Одновременно же
работать с тиражированной базой там никак не получится.
Да, они считают, что multimaster репликация и несколько нод, активных одновременно, это
голубая мечта и вообще анрил.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.04.2015, 01:02
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38938517
Romanzek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Romanzek
Участник
Мимопроходящийкакой оголтелый и лживый маркетинг...

Обоснуйте?
Система работает в продакшине уже почти год. Нагрузка - примерно 1.5 млн транзакций в сутки.
В чем лживость?
...
Рейтинг: 0 / 0
16.04.2015, 17:22
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38938520
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Romanzek,

O! Ты первый пользователь красной базы на этом форуме.

Мимопроходящий,

а ты их искал недавно.
...
Рейтинг: 0 / 0
16.04.2015, 17:26
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38938531
Romanzek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Romanzek
Участник
Симонов ДенисRomanzek,

O! Ты первый пользователь красной базы на этом форуме.


Не совсем пользователь. Я разработчик.
А пользователей RedDatabase много. Например, вся ФССП работает на этой БД (несколько тысяч инсталляций). В Канаде телевидение и некоторые Российские телекомпании используют для организации вещания. В нескольких федеральных ведомствах (помимо ФССП) стоит. Есть также более мелкие установки, в основном по OpenSource лицензиям. Но поддержка их тоже осуществляется - бывают вопросы и проблемы. Бренд пока не раскручен - это правда. И никто практически не знает про эту СУБД. Но это не означает, что она не работает. Комьюнити Firebird нас хорошо знает - мы сотрудничаем.
...
Рейтинг: 0 / 0
16.04.2015, 17:34
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38938539
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
RomanzekНе совсем пользователь. Я разработчик.
Рома, чудик, ты зачем усы сбрил
"ник" сменил?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.04.2015, 17:39
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38938540
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dimitr
Участник
Dimitry Sibiryakov,

Дима, иногда лучше жевать, ей богу...
...
Рейтинг: 0 / 0
16.04.2015, 17:41
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38938543
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Romanzek,

я знаю что у них достаточно пользователей. Бывал на их сайте. Просто пока никого из тех кто реально использует RedDatabase на этом форуме не было. Тут как-то отмечался Роман Симаков, который сам же и её разработчик и всё.
...
Рейтинг: 0 / 0
16.04.2015, 17:42
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38938544
Romanzek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Romanzek
Участник
Dimitry SibiryakovРома, чудик, ты зачем усы сбрил
"ник" сменил?

Это другой Роман :) Так повелось, что у нас в компании два Романа Александровича.
...
Рейтинг: 0 / 0
16.04.2015, 17:42
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38938549
Romanzek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Romanzek
Участник
Симонов ДенисRomanzek,

я знаю что у них достаточно пользователей. Бывал на их сайте. Просто пока никого из тех кто реально использует RedDatabase на этом форуме не было. Тут как-то отмечался Роман Симаков, который сам же и её разработчик и всё.

У нас много работы. И мало времени :) Поэтому мы на форумах редко бываем. Но стараемся исправляться.
Если какие-то вопросы есть, готов ответить. Роман Симаков также доступен и открыт для общения.
...
Рейтинг: 0 / 0
16.04.2015, 17:45
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38938560
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
RomanzekТак повелось, что у нас в компании два Романа Александровича.
Ух ты...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.04.2015, 17:58
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38938572
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
RomanzekПоэтому мы на форумах редко бываем.
Ну и зря :) Тут бывают вопросы,на которые вы дадите ответы:
http://www.sql.ru/forum/965973/kto-nibud-polzovalsya-red-replicator-ego-mozhno-ispolzovat-s-firebird
http://www.sql.ru/forum/966014/v-chem-otlichie-nbackup-ot-red-soft-i-ot-firebird
http://www.sql.ru/forum/962356/red-baza-dannyh-vs-firebird-2-5
...
Рейтинг: 0 / 0
16.04.2015, 18:07
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38939870
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Gallemar,

ну ты и некро-провокатор. Там как минимум один топик уже 3 года как закончился.
...
Рейтинг: 0 / 0
18.04.2015, 19:41
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38939930
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Продолжу о своём )
В таблице-миллиарднике есть поле, которое ссылается на словарь. Естественно FB создаёт для него индекс. Так вот, меня гложат сомнения, что этот индекс приносит какую-либо пользу, а скорее наоборот. Можно ли этот индекс отключить и вообще сделать так, чтобы для fk без указания on delete или on update не создавался индекс?
...
Рейтинг: 0 / 0
18.04.2015, 23:13
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38939931
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Под "on delete или on update" имелся ввиду on delete cascade и on update cascade
...
Рейтинг: 0 / 0
18.04.2015, 23:17
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38939932
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ArtDenon delete cascade и on update cascade
За такое надо убивать. А от индекса ты никак не избавишься, забудь.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
18.04.2015, 23:22
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38939934
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Я вижу пользу от индекса внешнего ключа только в случае каскадных операций. Зачем он нужен в других случаях?
...
Рейтинг: 0 / 0
18.04.2015, 23:27
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38939944
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ArtDenЗачем он нужен в других случаях?
А проверки, по-твоему, должны идти натуралом при операциях с мастер-таблицей?

Если тебе так мешает этот индекс - не создавай ключ, используй целостность на триггерах.
Ненадёжно, конечно, зато может работать без индекса.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
19.04.2015, 00:37
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38939945
RWolf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
RWolf
Участник
Dimitry Sibiryakov,

а что не так с "on ... cascade"?
...
Рейтинг: 0 / 0
19.04.2015, 00:47
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38939963
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gallemar
Участник
kdvGallemar,
ну ты и некро-провокатор. Там как минимум один топик уже 3 года как закончился.
Ну и что? Мне интересно как мой софт будет на RDB работать, уже одобрение на тестирование получил. Потом обзор напишу,как раз домен себе купил :) http://blog.gallemar.ru/
...
Рейтинг: 0 / 0
19.04.2015, 02:57
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38939966
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Dimitry SibiryakovА проверки, по-твоему, должны идти натуралом при операциях с мастер-таблицей?
А разве для проверок недостаточно индекса pk, на который это поле ссылается?
...
Рейтинг: 0 / 0
19.04.2015, 06:14
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38939981
зюзя топ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
зюзя топ
Гость
RWolfа что не так с "on ... cascade"?
Не все умеют его готовить. Это как рыба фугу: если приготовлено правильно - деликатес, если неправильно - умер.
...
Рейтинг: 0 / 0
19.04.2015, 09:01
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38939982
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Давайте не офтопить. У меня FK, ссылающийся на словарь. Естественно, что никаких on delete cascade и on update cascade там нету, но индекс создаётся. Можно ли отказаться от создания этого индекса?
...
Рейтинг: 0 / 0
19.04.2015, 09:10
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38940014
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
ArtDenУ меня FK, ссылающийся на словарь. Естественно, что никаких on delete cascade и on update cascade там нету, но индекс создаётся. Можно ли отказаться от создания этого индекса?Нет
...
Рейтинг: 0 / 0
19.04.2015, 11:19
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38940015
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
ArtDenDimitry SibiryakovА проверки, по-твоему, должны идти натуралом при операциях с мастер-таблицей?
А разве для проверок недостаточно индекса pk, на который это поле ссылается?FK проверяется как при изменениях дочерней таблицы, так и при изменениях родителя. О чем тебе и говорят.
...
Рейтинг: 0 / 0
19.04.2015, 11:20
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38940021
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
Да, похоже от индекса не обойтись. Жалко.
...
Рейтинг: 0 / 0
19.04.2015, 11:35
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38940025
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ArtDenДа, похоже от индекса не обойтись. Жалко.
Повторяю ещё раз, медленно: если таблица справочника не изменяется (изменяется очень
редко), то ты можешь вообще не создавать FK, а целостность контролировать триггерами.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
19.04.2015, 11:47
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38940029
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Таблоид
Участник
ArtDenВ таблице- миллиарднике есть поле, которое ссылается на словарь
. . .
Да, похоже от индекса не обойтись. Жалко.Не шутите с миллиардом. Это серьёзное число записей для нынешних версий ФБ, тем более что дальше там будет и полтора, и два млрд.
Разбейте эту таблицу на 10 штук. Во всех пропишите FK на master-таблицу ("словарь"). Индексы по ним будут иметь меньшую глубину и затраты на их обновление при DML будут меньше. Поиск РР в этих таблицах также будет идти быстрее.
Изменения таблиц реализуйте через обновляемую вьюху (решение о том, какую именно таблицу обновлять, должно приниматься в триггере этой вьюхи). А в приложении уже должна использоваться именно эта вьюха, а не таблицы.
Короче - эмуляция секционирования :-)
...
Рейтинг: 0 / 0
19.04.2015, 11:54
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38940346
Romanzek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Romanzek
Участник
Dimitry SibiryakovArtDenДа, похоже от индекса не обойтись. Жалко.
Повторяю ещё раз, медленно: если таблица справочника не изменяется (изменяется очень
редко), то ты можешь вообще не создавать FK, а целостность контролировать триггерами.

Достаточно, чтобы не менялся первичный ключ в словаре и не удалялись из него записи. Вставка, изменение не ключевых полей - все это не нарушает ссылочной целостности и допустимо. Если этого нет, FK можно прибить.
...
Рейтинг: 0 / 0
20.04.2015, 10:02
| Ответить | Цитировать | Написать  
Нужен совет по большой базе
    #38940352
ArtDen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ArtDen
Гость
В общем, пока оставлю как есть. Не хочу городить различные костыли там, где проблему можно попытаться решить другим способом. Тем более что на тестовой базе пока сильных тормозов на "разогретой" базе не замечено при >700 млн. записях в 2-х больших таблицах, причём идёт непрерывная репликация с 10-ю филиалами каждые 10 секунд. Правда в тестовую базу сейчас не пишутся блобы, но думаю они расклад не сильно изменят.
...
Рейтинг: 0 / 0
20.04.2015, 10:10
| Ответить | Цитировать | Написать  
83 сообщений из 83, показаны все 4 страниц
  все  
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Нужен совет по большой базе
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]