powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Как обстоят дела с большими базами данных.
25 сообщений из 70, страница 1 из 3
Как обстоят дела с большими базами данных.
    #38528139
Отчаянный
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Есть цель написать с нуля ЕРП для крупного заказчика. Количество пользователей - около 70 человек. Помимо обычных данных в базе будет храниться большое количество файлов - от копий заказов до различных чертежей изделий и готовой продукции. До этого Firebird использовал для небольших задач. Для задач подобного плана использовал Oracle. Но в Firebird подкупает бесплатность самой БД + "легкость" клиентского приложения, которому достаточно одной DLL для работы с сервером. Как данная БД будет ворочаться, когда достигнет объемов больше 10Гб? Какие подводные камни возникают при таких объемах данных?
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528151
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Требования к радиусу кривизны рук разработчика возрастают многократно.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528176
pastor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Отчаянный,

20 Гб - Win32. SSD. 24*7*365. 20 подключений. 70 000 транз/сутки. нормально.
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528209
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОтчаянныйКак данная БД будет ворочаться, когда достигнет объемов больше 10Гб? Какие подводные камни возникают при таких объемах данных?Нормально она ворочается. У нас около 350 коннектов (по два на каждого юзера), база сейчас свыше 50 Гб (блобов очень мало). Кол-во транзакций в сутки - 1.1...1.3 млн (судя по логу последних дней).

Но вам обязательно придется:
1) настроить firebird.conf, т.к. по дефолту там настройки для запуска на P-III 350 MHz и работы 10 чел. Речь идёт прежде всего о DefaultDBCachePages, TempCacheLimit и, возможно, LockHashSlots.
2) освоить средство трассирования, дабы видеть тормозные запросы
3) мониторить базу на предмет застрявших OIT и отстреливать такие коннекты (в том числе пресловутый коннект от ИБЭ, когда "открыли таблицу и ушли домой")
4) не стесняться ходить сюда, на форум, и задавать глупые вопросы: ибо ФБ-разрабы тут очень частые гости и получите помощь из первых рук.

Подводный камень #1: размер страницы базы. Он должен быть не менее 8К. Если же юзаете таблицы с юникодом, то ставьте 16К, иначе непременно по индексам упрётесь в implementation limit exceeded.
Подводный камень #2: накопление мусора при "нечтении старых данных" (см. материал на ibase.ru) - обязательно по крону запускайте gfix -sweep. Если можете, лучше сразу добавьте в ХП, меняющие или удаляющие большие объёмы данных, повторную перечитку по только что выполненным критериям. Мусор должен собирать тот, кто насорил, а не тот, кто пришёл после.
Подводный камень #3: забывание отслежки новых сообщений в firebird.log. Базу ФБ развалить трудно, и обычно этому предшествуют сообщения в логе. На них обязательно обращайте внимание. К сож-ю, лог ФБ надо фильтровать: там будет еще и туча спама вида errno=-104 / -110 от некорректных отключек юзеров. :(
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528217
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоидлучше сразу добавьте в ХП, меняющие или удаляющие большие объёмы данных,
повторную перечитку по только что выполненным критериям. Мусор должен собирать тот, кто
насорил, а не тот, кто пришёл после.
Влад бы сказал "иногда лучше жевать..."
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528221
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОтчаянныйКакие подводные камни возникают при таких объемах данных?Сегодня детских не завезли(с).

Условно можно считать, что при объеме ОЗУ сервера большем чем база, то такая база "маленькая", она даже не средняя.

У нас при 35 гигах и более сотни коннектов потолок нащупать не удалось.

Dimitry SibiryakovТребования к радиусу кривизны рук разработчика+100500
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528229
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovТаблоидМусор должен собирать тот, кто насорил, а не тот, кто пришёл после.
Влад бы сказал "иногда лучше жевать..."Ну так кассирше со стоящим перед ней клиентом, коннект которой начал мусор собирать за каким-то поросёнком - ей что сказать ? Чтобы тоже жевала ? :-)
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528234
oleg_m
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоиддобавьте в ХП, меняющие или удаляющие большие объёмы данных, повторную перечитку по только что выполненным критериям.
и ты Брут? неожидал
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528240
oleg_m
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидDimitry Sibiryakovпропущено...

Влад бы сказал "иногда лучше жевать..."Ну так кассирше со стоящим перед ней клиентом, коннект которой начал мусор собирать за каким-то поросёнком - ей что сказать ? Чтобы тоже жевала ? :-)
тут
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528250
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
oleg_m тут Что именно "там" ? Про ту "же самую транзакцию" ?
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528272
Фотография DarkMaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Отчаянный,

10Гб - фигня вопрос даже при дефотных настройках (знаю, знаю - их можно менять ;) )... Вот когда до 100Гб дорастет - перечитай пост Таблоида...
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528277
Фотография DarkMaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovТребования к радиусу кривизны рук разработчика возрастают многократно.


"Завалю сервер одним запросом" (с) Ded
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528280
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DarkMasterкогда до 100Гб дорастет - перечитай пост Таблоида...нет, ему раньше придется, если эти 70 юзеров действительно что-то молотят, а не просто "сидят в программе".
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528286
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидПро ту "же самую транзакцию" ?
Ага. Откуда в "той же самой ХП" возьмётся мусор, годный к сборке.

Собственно говоря, откуда вообще в данных, необходимых для работы АРМ кассирши может
взяться мусор?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528335
WildSery
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидНу так кассирше со стоящим перед ней клиентом, коннект которой начал мусор собирать за каким-то поросёнком - ей что сказать ? Чтобы тоже жевала ? :-)
Если (внезапно) твоё приложение написано так, что кассовые запросы могут наткнуться на мусор, то даже в этом случае выход есть - коннект этого рабочего места без сборки мусора.
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528337
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovТаблоидПро ту "же самую транзакцию" ?
Ага. Откуда в "той же самой ХП" возьмётся мусор, годный к сборке.Найди, где я сказал про ТУ ЖЕ САМУЮ транзакцию.
Dimitry Sibiryakov[Собственно говоря, откуда вообще в данных, необходимых для работы АРМ кассирши может взяться мусор?..Если база спроектирована поклонниками EAV, то запросто.
И даже если не EAV, тоже: например, кассир при закрытии ("отгрузке") документа вызовет запись проводок, а обороты и остатки по счетам лежат там же, куда лезут бухи со своими корректировками.
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528344
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WildSeryконнект этого рабочего места без сборки мусора.да там половина таких рабочих мест получится, на которых мусор надо отключать ввиду повышенных требований к отклику программы: кассиры, менеджеры по запчастям и сервису. Везде, где клиенты толкутся - там и отключать придется. Не айс.
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528356
WildSery
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид,

Что именно "не айс"? То, что за них мусор будут те же бухгалтера собирать?
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528357
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hello, Таблоид!
You wrote on 16 января 2014 г. 14:55:40:

ТаблоидВезде, где клиенты толкутся - там и отключать придется.
Не айс. твоё чувство ПРЕКРАСНОГО мешает?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528358
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидНайди, где я сказал про ТУ ЖЕ САМУЮ транзакцию.
А откуда в "той же самой ХП, меняющей или удаляющей большие объёмы данных" (про которую ты
сказал) возьмётся совсем другая транзакция?

ТаблоидЕсли база спроектирована поклонниками EAV, то запросто.
И даже если не EAV, тоже: например, кассир при закрытии ("отгрузке") документа вызовет
запись проводок, а обороты и остатки по счетам лежат там же, куда лезут бухи со своими
корректировками.
У-у-у, как всё запущенно... Это с какого перепугу у вас кассир, "перед которым клиенты
стоят" делает какую-то "отгрузку"? Впрочем, можешь не отвечать, я и так помню что у вас в
конторе полный бардак творится.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528375
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WildSeryЧто именно "не айс"? То, что за них мусор будут те же бухгалтера собирать?Да, и не только бухи. Всякие начальнеги, клиент-менеджеры, логисты и проч. - им ведь тоже надоработать, а не на песочные часы глазеть. То, что коннект-поросёнок удалил / проапдейтил за день 100000 строк и дальше сказал: "ну я пошёл, а вы тут сами убирайтесь, на кого бог пошлёт" - это действительно выглядит как свинство с его стороны. Что в реале, что в виртуале :-)
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528392
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovТаблоидНайди, где я сказал про ТУ ЖЕ САМУЮ транзакцию.А откуда в "той же самой ХП, меняющей или удаляющей большие объёмы данных" (про которую ты
сказал) возьмётся совсем другая транзакция?А что, "та же самая ХП" не может быть вызвана клиентом сразу после успешного коммита ? с теми же самыми параметрами + дополнительным параметром-флажком ("только прочитать") ?
Dimitry SibiryakovЭто с какого перепугу у вас кассир, "перед которым клиенты стоят" делает какую-то "отгрузку"?А по-твоему кто её должен делать ? Кто должен переводить изделия из регистра "Резерв" в регистр "Отгружено" ? Уж не склад ли, который заинтересован в списании с себя как можно большей недостачи ?
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528415
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидА по-твоему кто её должен делать ?реально бардак. Клиент принес на кассу товар, надо просто и быстро зафиксировать факт прохождения товара мимо кассы и получить оплату. Какие нахрен проводки? Какой мусор? Инсерт-инсерт-инсерт-принт. Хотя всякие скидочные-бонусные карты привносят гемору, тут возможны варианты.
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528419
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидА по-твоему кто её должен делать ? Кто должен переводить изделия из регистра
"Резерв" в регистр "Отгружено" ?
Тот, кто отгружает, вестимо. Кассирша, однако, деньги принимает, отгружать - не её работа.
И, кстати, какой-такой мусор может начать собирать update одной записи?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Как обстоят дела с большими базами данных.
    #38528420
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_PisarevskyКакой мусор? Инсерт-инсерт-инсерт-принт. Хотя всякие скидочные-бонусные карты привносят гемору, тут возможны варианты.
смотря как написать. В одной системе в одном городе под конец дня обработка товаров на кассе занимала под 10 минут (если не больше, уже смутно помню). Из-за тучи версий и тучи долго активных транзакций производительность падала линейно от начала дня.
Пришлось переписывать.
...
Рейтинг: 0 / 0
25 сообщений из 70, страница 1 из 3
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Как обстоят дела с большими базами данных.
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]