|
|
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
Есть цель написать с нуля ЕРП для крупного заказчика. Количество пользователей - около 70 человек. Помимо обычных данных в базе будет храниться большое количество файлов - от копий заказов до различных чертежей изделий и готовой продукции. До этого Firebird использовал для небольших задач. Для задач подобного плана использовал Oracle. Но в Firebird подкупает бесплатность самой БД + "легкость" клиентского приложения, которому достаточно одной DLL для работы с сервером. Как данная БД будет ворочаться, когда достигнет объемов больше 10Гб? Какие подводные камни возникают при таких объемах данных? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 13:22:11 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
Требования к радиусу кривизны рук разработчика возрастают многократно. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 13:26:58 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
Отчаянный, 20 Гб - Win32. SSD. 24*7*365. 20 подключений. 70 000 транз/сутки. нормально. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 13:36:42 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
ОтчаянныйКак данная БД будет ворочаться, когда достигнет объемов больше 10Гб? Какие подводные камни возникают при таких объемах данных?Нормально она ворочается. У нас около 350 коннектов (по два на каждого юзера), база сейчас свыше 50 Гб (блобов очень мало). Кол-во транзакций в сутки - 1.1...1.3 млн (судя по логу последних дней). Но вам обязательно придется: 1) настроить firebird.conf, т.к. по дефолту там настройки для запуска на P-III 350 MHz и работы 10 чел. Речь идёт прежде всего о DefaultDBCachePages, TempCacheLimit и, возможно, LockHashSlots. 2) освоить средство трассирования, дабы видеть тормозные запросы 3) мониторить базу на предмет застрявших OIT и отстреливать такие коннекты (в том числе пресловутый коннект от ИБЭ, когда "открыли таблицу и ушли домой") 4) не стесняться ходить сюда, на форум, и задавать глупые вопросы: ибо ФБ-разрабы тут очень частые гости и получите помощь из первых рук. Подводный камень #1: размер страницы базы. Он должен быть не менее 8К. Если же юзаете таблицы с юникодом, то ставьте 16К, иначе непременно по индексам упрётесь в implementation limit exceeded. Подводный камень #2: накопление мусора при "нечтении старых данных" (см. материал на ibase.ru) - обязательно по крону запускайте gfix -sweep. Если можете, лучше сразу добавьте в ХП, меняющие или удаляющие большие объёмы данных, повторную перечитку по только что выполненным критериям. Мусор должен собирать тот, кто насорил, а не тот, кто пришёл после. Подводный камень #3: забывание отслежки новых сообщений в firebird.log. Базу ФБ развалить трудно, и обычно этому предшествуют сообщения в логе. На них обязательно обращайте внимание. К сож-ю, лог ФБ надо фильтровать: там будет еще и туча спама вида errno=-104 / -110 от некорректных отключек юзеров. :( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 13:55:14 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
Таблоидлучше сразу добавьте в ХП, меняющие или удаляющие большие объёмы данных, повторную перечитку по только что выполненным критериям. Мусор должен собирать тот, кто насорил, а не тот, кто пришёл после. Влад бы сказал "иногда лучше жевать..." Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 13:59:26 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
ОтчаянныйКакие подводные камни возникают при таких объемах данных?Сегодня детских не завезли(с). Условно можно считать, что при объеме ОЗУ сервера большем чем база, то такая база "маленькая", она даже не средняя. У нас при 35 гигах и более сотни коннектов потолок нащупать не удалось. Dimitry SibiryakovТребования к радиусу кривизны рук разработчика+100500 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:00:48 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидМусор должен собирать тот, кто насорил, а не тот, кто пришёл после. Влад бы сказал "иногда лучше жевать..."Ну так кассирше со стоящим перед ней клиентом, коннект которой начал мусор собирать за каким-то поросёнком - ей что сказать ? Чтобы тоже жевала ? :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:04:51 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
Таблоиддобавьте в ХП, меняющие или удаляющие большие объёмы данных, повторную перечитку по только что выполненным критериям. и ты Брут? неожидал ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:06:16 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
ТаблоидDimitry Sibiryakovпропущено... Влад бы сказал "иногда лучше жевать..."Ну так кассирше со стоящим перед ней клиентом, коннект которой начал мусор собирать за каким-то поросёнком - ей что сказать ? Чтобы тоже жевала ? :-) тут ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:09:51 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
oleg_m тут Что именно "там" ? Про ту "же самую транзакцию" ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:15:34 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
Отчаянный, 10Гб - фигня вопрос даже при дефотных настройках (знаю, знаю - их можно менять ;) )... Вот когда до 100Гб дорастет - перечитай пост Таблоида... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:25:31 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТребования к радиусу кривизны рук разработчика возрастают многократно. "Завалю сервер одним запросом" (с) Ded ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:27:24 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
DarkMasterкогда до 100Гб дорастет - перечитай пост Таблоида...нет, ему раньше придется, если эти 70 юзеров действительно что-то молотят, а не просто "сидят в программе". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:31:11 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
ТаблоидПро ту "же самую транзакцию" ? Ага. Откуда в "той же самой ХП" возьмётся мусор, годный к сборке. Собственно говоря, откуда вообще в данных, необходимых для работы АРМ кассирши может взяться мусор?.. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:34:06 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
ТаблоидНу так кассирше со стоящим перед ней клиентом, коннект которой начал мусор собирать за каким-то поросёнком - ей что сказать ? Чтобы тоже жевала ? :-) Если (внезапно) твоё приложение написано так, что кассовые запросы могут наткнуться на мусор, то даже в этом случае выход есть - коннект этого рабочего места без сборки мусора. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:49:16 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидПро ту "же самую транзакцию" ? Ага. Откуда в "той же самой ХП" возьмётся мусор, годный к сборке.Найди, где я сказал про ТУ ЖЕ САМУЮ транзакцию. Dimitry Sibiryakov[Собственно говоря, откуда вообще в данных, необходимых для работы АРМ кассирши может взяться мусор?..Если база спроектирована поклонниками EAV, то запросто. И даже если не EAV, тоже: например, кассир при закрытии ("отгрузке") документа вызовет запись проводок, а обороты и остатки по счетам лежат там же, куда лезут бухи со своими корректировками. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:49:27 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
WildSeryконнект этого рабочего места без сборки мусора.да там половина таких рабочих мест получится, на которых мусор надо отключать ввиду повышенных требований к отклику программы: кассиры, менеджеры по запчастям и сервису. Везде, где клиенты толкутся - там и отключать придется. Не айс. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:51:44 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
Таблоид, Что именно "не айс"? То, что за них мусор будут те же бухгалтера собирать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:56:34 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
Hello, Таблоид! You wrote on 16 января 2014 г. 14:55:40: ТаблоидВезде, где клиенты толкутся - там и отключать придется. Не айс. твоё чувство ПРЕКРАСНОГО мешает? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:57:00 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
ТаблоидНайди, где я сказал про ТУ ЖЕ САМУЮ транзакцию. А откуда в "той же самой ХП, меняющей или удаляющей большие объёмы данных" (про которую ты сказал) возьмётся совсем другая транзакция? ТаблоидЕсли база спроектирована поклонниками EAV, то запросто. И даже если не EAV, тоже: например, кассир при закрытии ("отгрузке") документа вызовет запись проводок, а обороты и остатки по счетам лежат там же, куда лезут бухи со своими корректировками. У-у-у, как всё запущенно... Это с какого перепугу у вас кассир, "перед которым клиенты стоят" делает какую-то "отгрузку"? Впрочем, можешь не отвечать, я и так помню что у вас в конторе полный бардак творится. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 14:57:14 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
WildSeryЧто именно "не айс"? То, что за них мусор будут те же бухгалтера собирать?Да, и не только бухи. Всякие начальнеги, клиент-менеджеры, логисты и проч. - им ведь тоже надоработать, а не на песочные часы глазеть. То, что коннект-поросёнок удалил / проапдейтил за день 100000 строк и дальше сказал: "ну я пошёл, а вы тут сами убирайтесь, на кого бог пошлёт" - это действительно выглядит как свинство с его стороны. Что в реале, что в виртуале :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 15:02:39 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovТаблоидНайди, где я сказал про ТУ ЖЕ САМУЮ транзакцию.А откуда в "той же самой ХП, меняющей или удаляющей большие объёмы данных" (про которую ты сказал) возьмётся совсем другая транзакция?А что, "та же самая ХП" не может быть вызвана клиентом сразу после успешного коммита ? с теми же самыми параметрами + дополнительным параметром-флажком ("только прочитать") ? Dimitry SibiryakovЭто с какого перепугу у вас кассир, "перед которым клиенты стоят" делает какую-то "отгрузку"?А по-твоему кто её должен делать ? Кто должен переводить изделия из регистра "Резерв" в регистр "Отгружено" ? Уж не склад ли, который заинтересован в списании с себя как можно большей недостачи ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 15:09:53 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
ТаблоидА по-твоему кто её должен делать ?реально бардак. Клиент принес на кассу товар, надо просто и быстро зафиксировать факт прохождения товара мимо кассы и получить оплату. Какие нахрен проводки? Какой мусор? Инсерт-инсерт-инсерт-принт. Хотя всякие скидочные-бонусные карты привносят гемору, тут возможны варианты. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 15:18:38 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
ТаблоидА по-твоему кто её должен делать ? Кто должен переводить изделия из регистра "Резерв" в регистр "Отгружено" ? Тот, кто отгружает, вестимо. Кассирша, однако, деньги принимает, отгружать - не её работа. И, кстати, какой-такой мусор может начать собирать update одной записи?.. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 15:21:07 |
|
||
|
Как обстоят дела с большими базами данных.
|
|||
|---|---|---|---|
|
#18+
Ivan_PisarevskyКакой мусор? Инсерт-инсерт-инсерт-принт. Хотя всякие скидочные-бонусные карты привносят гемору, тут возможны варианты. смотря как написать. В одной системе в одном городе под конец дня обработка товаров на кассе занимала под 10 минут (если не больше, уже смутно помню). Из-за тучи версий и тучи долго активных транзакций производительность падала линейно от начала дня. Пришлось переписывать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2014, 15:21:29 |
|
||
|
|

start [/forum/topic.php?fid=40&msg=38528280&tid=1563974]: |
0ms |
get settings: |
10ms |
get forum list: |
18ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
195ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
88ms |
get tp. blocked users: |
2ms |
| others: | 191ms |
| total: | 523ms |

| 0 / 0 |
